Compare commits

...
7 Commits
Author SHA1 Message Date
armonica 22a6f74184 修正: 85PO動画のX-Frame-Options遮断解消とクリーン埋め込みプロキシ対応
- UnifiedEmbedSanitizerに85POを統合し、同一オリジン中継(/api/clean-embed)経由でX-Frame-Options遮断を完全解消
- IsCloudflareChallengeHtmlにkt_player/video_urlの検出を追加し、正常プレイヤーHTMLの誤判定を防止
- ProxyEmbedRequestAsyncのUA調整(curl/8.13.0)によりアセットおよび動画ストリームのプロキシ取得を完全化
- UnifiedHttpHelperにWindows標準curl.exeによるCloudflare回避フォールバックを追加
- プレイヤー内video_urlの自動プロキシ化と広告コード無効化による即時動画再生を実現
2026-11-11 19:35:16 +09:00
armonica bec51879c7 追加: 85PO(85po.com / 85ro.com / 85po.net)の動画閲覧・埋め込みプレイヤー再生対応
- DomainClassifierに85po.comおよび関連ドメインを登録し動画メディアとして自動認識
- VideoEmbedExtractorにResolve85PoAsyncを実装し公式埋め込みプレイヤー(embed)の自動抽出・解決に対応
- UnifiedHtmlRendererのトップページに85POのサンプルカードおよび対応ドメインチップを追加
- Windows環境でのWinHttpHandler適用によるCloudflare TLSフィンガープリント耐性の向上
- レガシーVideoUrlResolverへの85POホスト判定の追加による後方互換性担保
2026-11-11 18:56:18 +09:00
armonica cd202a1719 修正: 大量画像ZIP化時のページ抜け防止と10秒取得試行・中断/続行ダイアログの実装
- ページ遷移直後のZIPダウンロード開始時にバックグラウンド先読みリクエストを即時中断・一時停止し接続競合を解消
- 3桁を超える大量画像でも抜けが発生しないようページ順に10秒間繰り返し取得を試行するロジックへ改修
- 10秒間試行して取得できない場合にエラーメッセージおよび「中断」「続行」ボタンをダイアログ上に表示して処理を制御
- E-Hentaiスクレイパーの大量ページ取得時の並列数制御とリトライを追加
2026-11-05 02:42:25 +09:00
armonica bc8bce8de4 改善: ZIPダウンロード時のページ抜け防止、保存先事前指定および進捗モーダルの実装
- ダウンロードボタン押下時にFile System Access APIを用いて先に保存先(ファイル名・場所)を指定するフローを導入
- 保存先指定後にリアルタイム進捗モーダル(進行状況・パーセンテージ・件数・スキップ警告・中断機能)を表示
- 各画像の取得において最大3回リトライ+待機を行い、一時的な通信エラーによる抜けを完全防止(タイムアウト時のみスキップ許容)
- 外部依存ゼロの軽量インラインZIPエンジン(Store形式・UTF-8対応)を実装し、ブラウザ内で高速かつ確実にアーカイブを生成・保存
- サーバーサイドAPI(/api/download-zip)にも最大3回のリトライおよび待機処理を追加し、バックエンド側でも抜け防止を徹底
2026-11-04 11:13:41 +09:00
armonica ab8216b38e 追加: 全ページZIP一括ダウンロードAPIの新設とヘッダーボタンの追加
- ギャラリーの全ページ画像を安全かつ高速にZIPアーカイブとして一括配信するAPI(/api/download-zip)を新設
- 最大4並列での画像取得、ContentTypeおよび拡張子の自動判別、ゼロ埋め連番ファイル名(001.jpg等)による格納を実装
- サーバーメモリ枯渇を防ぐ一時ファイルストリーミング配信とFastest圧縮レベルによる高速生成を実現
- ビューアー画面およびサムネイル一覧画面のヘッダーに「ZIP保存」ボタンを追加
2026-11-04 10:46:30 +09:00
armonica b9a316254b 追加: 全ページサムネイル一覧表示画面の新設とヘッダー遷移ボタンの追加
- ギャラリー全ページのサムネイルをグリッドカード形式で閲覧できる新画面(RenderThumbnailGridPage)を新設
- ビューアーヘッダーに「サムネイル一覧」ボタンを追加し、ワンクリックで全ページ一覧画面へ遷移可能に
- サムネイル画面のカードクリック時に該当ページ番号(?page=N)付きでビューアーを直接開くシームレスな画面連携を実装
- Program.csにて /?url=...&view=thumbnails および /thumbnails?url=... のルーティングを追加
2026-11-04 10:43:10 +09:00
armonica 60c2648add 追加: HTML表示内での画像のみ表示(没入モード)とスクロール・キーボード切り替え機能
- OS全画面APIとは別に、HTML表示領域全体で画像のみを集中閲覧できる没入モード(画像のみ表示)を追加
- コントロールバーに「画像のみ」切り替えボタン(ショートカット: V / I)を配置
- 画像のみ表示モード時にマウスホイール上下でのスムーズなページ送り、キーボード(矢印キー、A/D、Space、PageUp/Down、Home/End)によるページ切り替えに対応
- 画面右上のフローティング解除ボタン(✕)およびEscキーによる通常表示復帰を実装
2026-11-04 10:39:55 +09:00
9 changed files with 2334 additions and 46 deletions

No files matched your search

@@ -1,4 +1,4 @@
using System.Text.RegularExpressions;
using System.Text.RegularExpressions;
using HtmlAgilityPack;
using Microsoft.Extensions.Logging;
using WebImageViewer.Class.Legacy.Common;
@@ -155,6 +155,24 @@ public class VideoUrlResolver
};
}
// 85PO
if (url.Contains("85po.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("85ro.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("85po.net", StringComparison.OrdinalIgnoreCase))
{
var match = Regex.Match(url, @"(?:/v/|/embed/|/videos/|^)(?<id>[0-9]+)", RegexOptions.IgnoreCase);
var id = match.Success ? match.Groups["id"].Value : "video";
return new ResolvedVideoResult
{
Site = "85po",
VideoId = id,
PlayerUrl = $"https://www.85po.com/embed/{id}",
OriginalUrl = url,
Title = title ?? $"85PO 動画 ({id})",
IsSuccess = true
};
}
// HDZog
if (url.Contains("hdzog.com", StringComparison.OrdinalIgnoreCase))
{
@@ -514,4 +532,3 @@ public class VideoUrlResolver
};
}
}
@@ -1,4 +1,6 @@
using System.Diagnostics;
using System.Net;
using System.Text;
using System.Text.Json;
using Microsoft.Extensions.Configuration;
using Microsoft.Extensions.Logging;
@@ -52,13 +54,35 @@ public class UnifiedHttpHelper
req.Headers.Referrer = new Uri(referer);
}
using var resp = await _httpClient.SendAsync(req, ct);
using var resp = await this._httpClient.SendAsync(req, ct);
resp.EnsureSuccessStatusCode();
return await resp.Content.ReadAsStringAsync(ct);
var content = await resp.Content.ReadAsStringAsync(ct);
// Cloudflare チャレンジ画面の場合は Windows 環境であれば curl.exe で再試行
if (OperatingSystem.IsWindows() && IsCloudflareChallenge(content))
{
this._logger.LogInformation("Cloudflareチャレンジを検知したためcurl.exeでの取得を試行します: {Url}", url);
return await this.GetHtmlViaCurlAsync(url, referer, ct);
}
return content;
}
catch (Exception ex)
{
_logger.LogError(ex, "HTTPリクエストに失敗しました: {Url}", url);
if (OperatingSystem.IsWindows())
{
try
{
this._logger.LogInformation("HttpClientリクエスト失敗のためcurl.exeでの取得を試行します: {Url}", url);
return await this.GetHtmlViaCurlAsync(url, referer, ct);
}
catch (Exception curlEx)
{
this._logger.LogWarning(curlEx, "curl.exeでのフォールバック取得にも失敗しました: {Url}", url);
}
}
this._logger.LogError(ex, "HTTPリクエストに失敗しました: {Url}", url);
throw;
}
}
@@ -148,4 +172,70 @@ public class UnifiedHttpHelper
var contentType = resp.Content.Headers.ContentType?.MediaType ?? "image/jpeg";
return (data, contentType);
}
/// <summary>
/// レスポンス文字列がCloudflareのチャレンジ画面であるかを判定します。
/// </summary>
private static bool IsCloudflareChallenge(string? html)
{
if (string.IsNullOrWhiteSpace(html))
{
return false;
}
return html.Contains("<title>Attention Required! | Cloudflare</title>", StringComparison.OrdinalIgnoreCase) ||
html.Contains("<title>Just a moment...</title>", StringComparison.OrdinalIgnoreCase) ||
html.Contains("cf-browser-verification", StringComparison.OrdinalIgnoreCase) ||
html.Contains("cf_chl_prog", StringComparison.OrdinalIgnoreCase);
}
/// <summary>
/// Windows標準のcurl.exeを利用して、Cloudflare TLSフィンガープリント保護下のHTMLを取得します。
/// </summary>
private async Task<string> GetHtmlViaCurlAsync(string url, string? referer, CancellationToken ct)
{
var curlPath = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.System), "curl.exe");
if (!File.Exists(curlPath))
{
curlPath = "curl.exe";
}
var psi = new ProcessStartInfo
{
FileName = curlPath,
UseShellExecute = false,
RedirectStandardOutput = true,
RedirectStandardError = true,
CreateNoWindow = true,
StandardOutputEncoding = Encoding.UTF8
};
psi.ArgumentList.Add("-s");
psi.ArgumentList.Add("-L");
psi.ArgumentList.Add("-A");
psi.ArgumentList.Add("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36");
psi.ArgumentList.Add("-m");
psi.ArgumentList.Add("15");
if (!string.IsNullOrEmpty(referer))
{
psi.ArgumentList.Add("-e");
psi.ArgumentList.Add(referer);
}
psi.ArgumentList.Add(url);
using var process = new Process { StartInfo = psi };
process.Start();
var output = await process.StandardOutput.ReadToEndAsync(ct);
await process.WaitForExitAsync(ct);
if (process.ExitCode == 0 && !string.IsNullOrWhiteSpace(output))
{
return output;
}
throw new HttpRequestException($"curl exited with code {process.ExitCode}");
}
}
File diff suppressed because it is too large. Load diff
@@ -1,4 +1,4 @@
using System.Collections.Concurrent;
using System.Collections.Concurrent;
using System.Text.Json;
using System.Text.RegularExpressions;
using HtmlAgilityPack;
@@ -102,26 +102,37 @@ public class UnifiedEHentaiScraper : BaseUnifiedScraper
};
}
// 4. 2ページ目以降の画像 URL を showpage API で並列取得
// 4. 2ページ目以降の画像 URL を showpage API で並列取得(3桁ページでもレート制限で抜けないよう並列数制御+リトライ)
var remainingEntries = pageEntries.Skip(1).ToList();
if (remainingEntries.Count > 0 && !string.IsNullOrWhiteSpace(showkey))
{
using var semaphore = new SemaphoreSlim(10);
using var semaphore = new SemaphoreSlim(4);
var tasks = remainingEntries.Select(async entry =>
{
await semaphore.WaitAsync(ct);
try
{
var imgInfo = await FetchImageViaShowpageApiAsync(gid, entry.Page, entry.ImgKey, showkey, entry.ThumbUrl, item.Title, ct);
if (imgInfo != null)
for (int attempt = 1; attempt <= 3; attempt++)
{
images[entry.Page] = imgInfo;
try
{
var imgInfo = await FetchImageViaShowpageApiAsync(gid, entry.Page, entry.ImgKey, showkey, entry.ThumbUrl, item.Title, ct);
if (imgInfo != null)
{
images[entry.Page] = imgInfo;
break;
}
}
catch (Exception ex) when (attempt == 3)
{
Logger.LogWarning(ex, "[{SiteName}] ページ {Page} の画像URL取得に失敗しました", SiteName, entry.Page);
}
catch
{
await Task.Delay(attempt * 500, ct);
}
}
}
catch (Exception ex)
{
Logger.LogWarning(ex, "[{SiteName}] ページ {Page} の画像URL取得に失敗しました", SiteName, entry.Page);
}
finally
{
semaphore.Release();
@@ -229,7 +240,7 @@ public class UnifiedEHentaiScraper : BaseUnifiedScraper
int pageIndex = 0;
int maxPages = totalFiles > 0 ? (int)Math.Ceiling(totalFiles / 20.0) : 5;
while (pageIndex < maxPages && pageIndex < 20)
while (pageIndex < maxPages && pageIndex < 100)
{
var pageUrl = $"{BaseUrl}/g/{gid}/{token}/?p={pageIndex}";
var doc = await LoadHtmlDocumentAsync(pageUrl, ct: ct);
@@ -1,4 +1,4 @@
using WebImageViewer.Class.Unified.Models;
using WebImageViewer.Class.Unified.Models;
namespace WebImageViewer.Class.Unified.Services;
@@ -39,6 +39,12 @@ public static class DomainClassifier
{ "missav.com", ("missav", "MissAV") },
{ "missav.ws", ("missav", "MissAV") },
{ "missav.net", ("missav", "MissAV") },
{ "85po.com", ("85po", "85PO") },
{ "www.85po.com", ("85po", "85PO") },
{ "85ro.com", ("85po", "85RO") },
{ "www.85ro.com", ("85po", "85RO") },
{ "85po.net", ("85po", "85PO") },
{ "www.85po.net", ("85po", "85PO") },
{ "spankbang.com", ("spankbang", "SpankBang") },
{ "jp.spankbang.com", ("spankbang", "SpankBang") },
{ "spankbang.party", ("spankbang", "SpankBang") },
@@ -118,6 +124,10 @@ public static class DomainClassifier
{
return new DomainClassificationResult(MediaType.Video, "123av", "123av", host);
}
if (string.Equals(host, "85po", StringComparison.OrdinalIgnoreCase) || host.Contains("85po") || host.Contains("85ro"))
{
return new DomainClassificationResult(MediaType.Video, "85po", "85PO", host);
}
if (string.Equals(host, "missav", StringComparison.OrdinalIgnoreCase) || host.Contains("missav"))
{
return new DomainClassificationResult(MediaType.Video, "missav", "MissAV", host);
@@ -97,7 +97,12 @@ public class UnifiedEmbedSanitizer
"v-scope",
"player(json.parse",
"embed-dev-",
"/assets/t4/embed/"
"/assets/t4/embed/",
"kt_player",
"kt_player.js",
"85po.com",
"85ro.com",
"85po.net"
};
#endregion
@@ -181,6 +186,8 @@ public class UnifiedEmbedSanitizer
// 正常な動画プレイヤーの構成要素が含まれていればチャレンジ画面ではない
if (html.Contains("id=\"player\"", StringComparison.OrdinalIgnoreCase) ||
html.Contains("id='player'", StringComparison.OrdinalIgnoreCase) ||
html.Contains("kt_player", StringComparison.OrdinalIgnoreCase) ||
html.Contains("video_url", StringComparison.OrdinalIgnoreCase) ||
html.Contains("plyr", StringComparison.OrdinalIgnoreCase) ||
html.Contains("hls.min.js", StringComparison.OrdinalIgnoreCase) ||
html.Contains("jwplayer", StringComparison.OrdinalIgnoreCase) ||
@@ -201,13 +208,17 @@ public class UnifiedEmbedSanitizer
/// <returns>除去対象である場合は true、それ以外は false</returns>
public static bool Is123AvDomain(string? siteKey, string? originalUrl = null, string? embedUrl = null)
{
if (string.Equals(siteKey, "123av", StringComparison.OrdinalIgnoreCase))
if (string.Equals(siteKey, "123av", StringComparison.OrdinalIgnoreCase) ||
string.Equals(siteKey, "85po", StringComparison.OrdinalIgnoreCase))
{
return true;
}
if (!string.IsNullOrWhiteSpace(originalUrl) &&
(originalUrl.Contains("123av.", StringComparison.OrdinalIgnoreCase) ||
originalUrl.Contains("85po.com", StringComparison.OrdinalIgnoreCase) ||
originalUrl.Contains("85ro.com", StringComparison.OrdinalIgnoreCase) ||
originalUrl.Contains("85po.net", StringComparison.OrdinalIgnoreCase) ||
originalUrl.Contains("jav-master", StringComparison.OrdinalIgnoreCase) ||
originalUrl.Contains("javplayer.cc", StringComparison.OrdinalIgnoreCase)))
{
@@ -216,6 +227,9 @@ public class UnifiedEmbedSanitizer
if (!string.IsNullOrWhiteSpace(embedUrl) &&
(embedUrl.Contains("123av.", StringComparison.OrdinalIgnoreCase) ||
embedUrl.Contains("85po.com", StringComparison.OrdinalIgnoreCase) ||
embedUrl.Contains("85ro.com", StringComparison.OrdinalIgnoreCase) ||
embedUrl.Contains("85po.net", StringComparison.OrdinalIgnoreCase) ||
embedUrl.Contains("jav-master", StringComparison.OrdinalIgnoreCase) ||
embedUrl.Contains("javplayer.cc", StringComparison.OrdinalIgnoreCase) ||
embedUrl.Contains("sadie-shop.site", StringComparison.OrdinalIgnoreCase)))
@@ -247,7 +261,7 @@ public class UnifiedEmbedSanitizer
var effectiveReferer = !string.IsNullOrWhiteSpace(refererUrl)
? refererUrl.Trim()
: "https://123av.com/";
: (trimmed.Contains("85po", StringComparison.OrdinalIgnoreCase) || trimmed.Contains("85ro", StringComparison.OrdinalIgnoreCase) ? "https://www.85po.com/" : "https://123av.com/");
return $"/api/clean-embed?url={Uri.EscapeDataString(trimmed)}&referer={Uri.EscapeDataString(effectiveReferer)}";
}
@@ -274,7 +288,7 @@ public class UnifiedEmbedSanitizer
var effectiveReferer = !string.IsNullOrWhiteSpace(refererUrl)
? refererUrl.Trim()
: "https://123av.com/";
: (targetUrl.Contains("85po", StringComparison.OrdinalIgnoreCase) || targetUrl.Contains("85ro", StringComparison.OrdinalIgnoreCase) ? "https://www.85po.com/" : "https://123av.com/");
string? rawHtml = null;
@@ -337,6 +351,30 @@ public class UnifiedEmbedSanitizer
embedPathAndQuery = RewritePosterQueryParam(embedPathAndQuery, embedUrl);
}
// 85PO 向けプレイヤー設定のリライト(広告無効化、リダイレクト無効化、動画URLプロキシ化)
if (embedUrl.Contains("85po.com", StringComparison.OrdinalIgnoreCase) ||
embedUrl.Contains("85ro.com", StringComparison.OrdinalIgnoreCase) ||
embedUrl.Contains("85po.net", StringComparison.OrdinalIgnoreCase))
{
var effectiveRef = !string.IsNullOrWhiteSpace(refererUrl) ? refererUrl.Trim() : embedUrl;
// 広告設定を無効化(広告待ち時間をゼロに)
html = Regex.Replace(html, @"adv_(?:start|pre|post|pause)_html:\s*['""][^'""]*['""]", "adv_start_html: '', adv_pre_html: '', adv_post_html: '', adv_pause_html: ''", RegexOptions.IgnoreCase);
html = Regex.Replace(html, @"empty_referer_redirect:\s*['""][^'""]*['""]", "empty_referer_redirect: ''", RegexOptions.IgnoreCase);
// video_url および video_alt_url をプロキシURLに変換
html = Regex.Replace(
html,
@"(?<prefix>\bvideo_(?:alt_)?url\d*:\s*['""])(?<url>https?://[^'""]+)(?<suffix>['""])",
m =>
{
var rawUrl = m.Groups["url"].Value;
var proxied = $"/api/proxy-embed-req?url={Uri.EscapeDataString(rawUrl)}&referer={Uri.EscapeDataString(effectiveRef)}";
return m.Groups["prefix"].Value + proxied + m.Groups["suffix"].Value;
},
RegexOptions.IgnoreCase);
}
// 0. 万が一 FlareSolverr 等で <div id="player" class="plyr ...">...</div> が静的に展開されていた場合は
// クライアント側で正規の new Plyr(video) が初期化できるよう空の <div id="player"></div> にリセット
if (html.Contains("embed-dev-", StringComparison.OrdinalIgnoreCase) &&
@@ -482,8 +520,12 @@ public class UnifiedEmbedSanitizer
try
{
bool isSurrit = targetUri.Host.EndsWith("surrit.com", StringComparison.OrdinalIgnoreCase);
var client = isSurrit ? SurritClient.Value : this._httpClientFactory.CreateClient();
if (!isSurrit)
bool is85po = targetUri.Host.Contains("85po.com", StringComparison.OrdinalIgnoreCase) ||
targetUri.Host.Contains("85ro.com", StringComparison.OrdinalIgnoreCase) ||
targetUri.Host.Contains("85po.net", StringComparison.OrdinalIgnoreCase) ||
targetUri.Host.Contains("ppxdd.com", StringComparison.OrdinalIgnoreCase);
var client = (isSurrit || is85po) ? SurritClient.Value : this._httpClientFactory.CreateClient();
if (!isSurrit && !is85po)
{
client.Timeout = TimeSpan.FromSeconds(30);
}
@@ -493,11 +535,11 @@ public class UnifiedEmbedSanitizer
var effectiveReferer = !string.IsNullOrWhiteSpace(referer)
? referer.Trim()
: (isSurrit ? "https://missav.ai/" : $"{targetUri.Scheme}://{targetUri.Authority}/");
: (isSurrit ? "https://missav.ai/" : (is85po ? "https://www.85po.com/" : $"{targetUri.Scheme}://{targetUri.Authority}/"));
string refererOrigin = isSurrit
? "https://missav.ai"
: $"{targetUri.Scheme}://{targetUri.Authority}";
: (is85po ? "https://www.85po.com" : $"{targetUri.Scheme}://{targetUri.Authority}");
if (Uri.TryCreate(effectiveReferer, UriKind.Absolute, out var refUri))
{
@@ -511,6 +553,12 @@ public class UnifiedEmbedSanitizer
req.Headers.TryAddWithoutValidation("Accept", "*/*");
req.Headers.TryAddWithoutValidation("Referer", "https://missav.ai/");
}
else if (is85po)
{
req.Headers.TryAddWithoutValidation("User-Agent", "curl/8.13.0");
req.Headers.TryAddWithoutValidation("Accept", "*/*");
req.Headers.TryAddWithoutValidation("Referer", effectiveReferer);
}
else
{
req.Headers.TryAddWithoutValidation("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36");
@@ -1058,11 +1106,10 @@ public class UnifiedEmbedSanitizer
var EMBED_PATH = '{{jsPathAndQuery}}';
var REFERER_URL = '{{jsReferer}}';
// 0. document.referrer を https://123av.com/ に固定
// (embed-dev-*.js の透明リンク広告 IIFE は /^https:\/\/123av.com/.test(document.referrer) が true のとき即座に return して何もしない仕様)
// 0. document.referrer を元ページURLに設定
try {
Object.defineProperty(document, 'referrer', {
get: function() { return 'https://123av.com/'; },
get: function() { return REFERER_URL || 'https://123av.com/'; },
configurable: true
});
} catch (e) {}
@@ -1,4 +1,5 @@
using System.Text.RegularExpressions;
using System.Net;
using System.Text.RegularExpressions;
using HtmlAgilityPack;
using Microsoft.Extensions.Logging;
using WebImageViewer.Class.Unified.Common;
@@ -68,6 +69,10 @@ public class VideoEmbedExtractor
resolvedItem = await ResolveMissAvAsync(trimmedUrl, ct);
break;
case "85po":
resolvedItem = await this.Resolve85PoAsync(trimmedUrl, ct);
break;
case "spankbang":
resolvedItem = ResolveSpankBang(trimmedUrl);
break;
@@ -192,6 +197,149 @@ public class VideoEmbedExtractor
#region 各サイト別リゾルバー
/// <summary>
/// 85PO (85po.com / 85ro.com / 85po.net) の動画および埋め込みプレイヤー情報を解決します。
/// </summary>
/// <param name="url">入力されたURLまたはID文字列</param>
/// <param name="ct">キャンセレーショントークン</param>
/// <returns>解決された統一動画情報</returns>
private async Task<UnifiedVideoItem> Resolve85PoAsync(string url, CancellationToken ct)
{
// 1. URLから動画IDを抽出(例: /v/37405.html, /embed/37405, 37405 等)
var matchId = Regex.Match(url, @"(?:/v/|/embed/|/videos/|^)(?<id>\d+)(?:\.html)?", RegexOptions.IgnoreCase);
string videoId = matchId.Success ? matchId.Groups["id"].Value : "";
// ホスト名の取得(85po.com / 85ro.com / 85po.net)
string host = "www.85po.com";
if (Uri.TryCreate(url, UriKind.Absolute, out var parsedUri) && !string.IsNullOrWhiteSpace(parsedUri.Host))
{
host = parsedUri.Host.ToLowerInvariant();
}
// 言語プレフィックスの抽出 (/ja/, /en/ 等)
string langPrefix = "";
if (url.Contains("/ja/", StringComparison.OrdinalIgnoreCase))
{
langPrefix = "/ja";
}
else if (url.Contains("/en/", StringComparison.OrdinalIgnoreCase))
{
langPrefix = "/en";
}
// メタデータ取得用URLの決定
// 85POの公式埋め込みプレイヤーURLは言語プレフィックスなしの /embed/{id}
string targetFetchUrl = !string.IsNullOrEmpty(videoId)
? $"https://{host}/embed/{videoId}"
: (url.StartsWith("http", StringComparison.OrdinalIgnoreCase) ? url : $"https://{host}/");
string originalPageUrl = !string.IsNullOrEmpty(videoId)
? $"https://{host}{langPrefix}/v/{videoId}.html"
: url;
string? title = null;
string? posterUrl = null;
// 2. ページHTMLを取得してタイトル・サムネイルを抽出
// もし動画IDが抽出できていない場合、トップページ等と判定して先頭動画リンクを探索
try
{
var html = await this._httpHelper.GetHtmlAsync(targetFetchUrl, useFlareSolverr: false, referer: $"https://{host}/", ct: ct);
if (!string.IsNullOrWhiteSpace(html))
{
var doc = new HtmlDocument();
doc.LoadHtml(html);
// ID未取得の場合、ページ内の動画リンクを探す
if (string.IsNullOrEmpty(videoId))
{
var linkNode = doc.DocumentNode.SelectSingleNode("//a[contains(@href, '/v/') and contains(@href, '.html')]");
if (linkNode != null)
{
var href = linkNode.GetAttributeValue("href", "");
var m = Regex.Match(href, @"/v/(?<id>\d+)\.html", RegexOptions.IgnoreCase);
if (m.Success)
{
videoId = m.Groups["id"].Value;
originalPageUrl = $"https://{host}/v/{videoId}.html";
}
}
}
// タイトル抽出
var ogTitle = doc.DocumentNode.SelectSingleNode("//meta[@property='og:title']")?.GetAttributeValue("content", null);
if (!string.IsNullOrWhiteSpace(ogTitle))
{
title = WebUtility.HtmlDecode(ogTitle).Trim();
}
else
{
var titleNode = doc.DocumentNode.SelectSingleNode("//title");
if (titleNode != null)
{
var rawTitle = WebUtility.HtmlDecode(titleNode.InnerText).Trim();
title = Regex.Replace(rawTitle, @"\s*[-|–]\s*85PO.*$", "", RegexOptions.IgnoreCase).Trim();
}
else
{
var mTitle = Regex.Match(html, @"video_title:\s*['""]([^'""]+)['""]", RegexOptions.IgnoreCase);
if (mTitle.Success)
{
title = WebUtility.HtmlDecode(mTitle.Groups[1].Value).Trim();
}
}
}
// サムネイル抽出
var ogImage = doc.DocumentNode.SelectSingleNode("//meta[@property='og:image']")?.GetAttributeValue("content", null);
if (!string.IsNullOrWhiteSpace(ogImage))
{
posterUrl = ogImage.Trim();
}
else
{
var mPreview = Regex.Match(html, @"preview_url:\s*['""]([^'""]+)['""]", RegexOptions.IgnoreCase);
if (mPreview.Success)
{
posterUrl = mPreview.Groups[1].Value.Trim();
}
}
}
}
catch (Exception ex)
{
this._logger.LogWarning(ex, "85PO HTMLの取得に失敗しました。フォールバックで構築します: {Url}", url);
}
// フォールバックIDの確定
if (string.IsNullOrEmpty(videoId))
{
videoId = "video";
}
if (string.IsNullOrWhiteSpace(title))
{
title = $"85PO ({videoId})";
}
// サムネイルのフォールバック
if (string.IsNullOrWhiteSpace(posterUrl) && int.TryParse(videoId, out var numId))
{
int folderId = (numId / 1000) * 1000;
posterUrl = $"https://{host}/contents/videos_screenshots/{folderId}/{videoId}/preview.jpg";
}
var embedUrl = $"https://{host}/embed/{videoId}";
return new UnifiedVideoItem
{
Site = "85po",
VideoId = videoId,
Title = title,
OriginalUrl = originalPageUrl,
EmbedUrl = embedUrl,
PosterUrl = posterUrl
};
}
/// <summary>
/// MissAV の埋め込み・HLSストリームを解決します。
/// Cloudflare保護を通過し、surrit.comのm3u8を安全な内部プロキシ経由(CORS・Referer解決)で設定することで、
@@ -1,4 +1,6 @@
using Microsoft.Extensions.DependencyInjection;
using System.Net;
using System.Runtime.Versioning;
using Microsoft.Extensions.DependencyInjection;
using WebImageViewer.Class.Unified.Common;
using WebImageViewer.Class.Unified.Scrapers;
using WebImageViewer.Class.Unified.Services;
@@ -19,8 +21,16 @@ public static class UnifiedServiceExtensions
/// <returns>登録後のサービスコレクション</returns>
public static IServiceCollection AddUnifiedServices(this IServiceCollection services)
{
// HTTP通信ヘルパー
services.AddHttpClient<UnifiedHttpHelper>();
// HTTP通信ヘルパー(Cloudflare TLSフィンガープリント対策としてWindows環境ではWinHttpHandlerを適用)
if (OperatingSystem.IsWindows())
{
services.AddHttpClient<UnifiedHttpHelper>()
.ConfigurePrimaryHttpMessageHandler(CreateWinHttpHandler);
}
else
{
services.AddHttpClient<UnifiedHttpHelper>();
}
// 画像スクレイパー群
services.AddScoped<IUnifiedScraper, UnifiedHitomiScraper>();
@@ -43,4 +53,21 @@ public static class UnifiedServiceExtensions
}
#endregion
#region □メソッド(Private)
/// <summary>
/// Windows環境専用のWinHttpHandlerインスタンスを生成・構成します。
/// </summary>
/// <returns>構成済みのHttpMessageHandler</returns>
[SupportedOSPlatform("windows")]
private static HttpMessageHandler CreateWinHttpHandler()
{
return new WinHttpHandler
{
AutomaticDecompression = DecompressionMethods.All
};
}
#endregion
}
+217 -3
View File
@@ -1,4 +1,5 @@
using Microsoft.AspNetCore.HttpOverrides;
using System.IO.Compression;
using Microsoft.AspNetCore.HttpOverrides;
using WebImageViewer.Class.Legacy;
using WebImageViewer.Class.Unified;
using WebImageViewer.Class.Unified.Common;
@@ -46,7 +47,7 @@ app.UseForwardedHeaders();
// ==========================================
// 統一アクセス方式 (/?url=[各ページURL])
// ==========================================
app.MapGet("/", async (string? url, string? play, string? stream, UnifiedViewerService viewerService, CancellationToken ct) =>
app.MapGet("/", async (string? url, string? play, string? stream, string? view, UnifiedViewerService viewerService, CancellationToken ct) =>
{
// URLパラメータが未指定(かつplay/streamも未指定)の場合は統一トップページを表示
if (string.IsNullOrWhiteSpace(url) && string.IsNullOrWhiteSpace(play) && string.IsNullOrWhiteSpace(stream))
@@ -71,9 +72,13 @@ app.MapGet("/", async (string? url, string? play, string? stream, UnifiedViewerS
return Results.Content(UnifiedHtmlRenderer.RenderVideoViewer(result.Video), "text/html; charset=utf-8");
}
// 画像の場合はギャラリービューアー画面を同一URLのままレンダリング
// 画像の場合はギャラリービューアー画面またはサムネイル一覧画面をレンダリング
if (result.Type == MediaType.Gallery && result.Gallery != null)
{
if (string.Equals(view, "thumbnails", StringComparison.OrdinalIgnoreCase))
{
return Results.Content(UnifiedHtmlRenderer.RenderThumbnailGridPage(result.Gallery), "text/html; charset=utf-8");
}
return Results.Content(UnifiedHtmlRenderer.RenderGalleryViewer(result.Gallery), "text/html; charset=utf-8");
}
@@ -83,6 +88,131 @@ app.MapGet("/", async (string? url, string? play, string? stream, UnifiedViewerS
statusCode: 404);
});
// ==========================================
// 全ページサムネイル一覧画面エンドポイント
// ==========================================
app.MapGet("/thumbnails", async (string? url, UnifiedViewerService viewerService, CancellationToken ct) =>
{
if (string.IsNullOrWhiteSpace(url))
{
return Results.Redirect("/");
}
var result = await viewerService.ResolveAsync(url, null, null, ct);
if (!result.IsSuccess || result.Gallery == null)
{
return Results.Content(
UnifiedHtmlRenderer.RenderErrorPage(result.ErrorMessage ?? "ギャラリーを読み込めませんでした。", result.StatusCode),
"text/html; charset=utf-8",
statusCode: result.StatusCode);
}
return Results.Content(UnifiedHtmlRenderer.RenderThumbnailGridPage(result.Gallery), "text/html; charset=utf-8");
});
// ==========================================
// 全ページZIP一括ダウンロードAPI
// ==========================================
app.MapGet("/api/download-zip", async (
string url,
UnifiedViewerService viewerService,
UnifiedHttpHelper httpHelper,
HttpContext httpContext,
ILoggerFactory loggerFactory,
CancellationToken ct) =>
{
if (string.IsNullOrWhiteSpace(url))
{
return Results.BadRequest("URL is required");
}
var logger = loggerFactory.CreateLogger("ZipDownload");
var result = await viewerService.ResolveAsync(url, null, null, ct);
if (!result.IsSuccess || result.Gallery == null || result.Gallery.Images.Count == 0)
{
return Results.NotFound(new { error = result.ErrorMessage ?? "ギャラリー画像を取得できませんでした。" });
}
var gallery = result.Gallery;
// ファイル名として使用できない文字を除去
var invalidChars = Path.GetInvalidFileNameChars();
var cleanTitle = string.Concat(gallery.Title.Select(c => invalidChars.Contains(c) ? '_' : c)).Trim();
if (string.IsNullOrWhiteSpace(cleanTitle)) cleanTitle = "gallery";
var zipFileName = $"{cleanTitle}.zip";
httpContext.Response.ContentType = "application/zip";
httpContext.Response.Headers.ContentDisposition = $"attachment; filename=\"{Uri.EscapeDataString(zipFileName)}\"; filename*=UTF-8''{Uri.EscapeDataString(zipFileName)}";
// サーバーメモリを圧迫しないよう一時ファイルを使用して安全にZIPストリーミング生成
var tempZipPath = Path.GetTempFileName();
try
{
using (var fileStream = new FileStream(tempZipPath, FileMode.Create, FileAccess.ReadWrite, FileShare.None, 4096, FileOptions.DeleteOnClose))
{
using (var archive = new ZipArchive(fileStream, ZipArchiveMode.Create, leaveOpen: true))
{
// 最大4並列で各ページの画像データを取得
using var semaphore = new SemaphoreSlim(4);
var downloadTasks = gallery.Images.Select(async img =>
{
await semaphore.WaitAsync(ct);
try
{
var (data, contentType) = await FetchImageBytesForZipAsync(img.ImageUrl, gallery.SourceUrl, httpHelper, ct);
return (img.PageNumber, img.ImageUrl, Data: data, ContentType: contentType);
}
finally
{
semaphore.Release();
}
}).ToList();
var downloadResults = await Task.WhenAll(downloadTasks);
foreach (var item in downloadResults.OrderBy(r => r.PageNumber))
{
if (item.Data == null || item.Data.Length == 0)
{
logger.LogWarning("ページ {Page} の画像ダウンロードをスキップしました (データなし)", item.PageNumber);
continue;
}
var ext = DetermineImageExtensionForZip(item.ContentType, item.ImageUrl);
var entryName = $"{item.PageNumber:D3}{ext}";
var entry = archive.CreateEntry(entryName, CompressionLevel.Fastest);
using var entryStream = entry.Open();
await entryStream.WriteAsync(item.Data, ct);
}
}
fileStream.Position = 0;
await fileStream.CopyToAsync(httpContext.Response.Body, ct);
}
return Results.Empty;
}
catch (OperationCanceledException)
{
logger.LogInformation("ZIPダウンロードがクライアントによりキャンセルされました: {Url}", url);
return Results.Empty;
}
catch (Exception ex)
{
logger.LogError(ex, "ZIPアーカイブ生成エラー: {Url}", url);
return Results.Problem(detail: ex.Message, statusCode: 500);
}
finally
{
if (File.Exists(tempZipPath))
{
try { File.Delete(tempZipPath); } catch { }
}
}
});
// ==========================================
// 画像プロキシAPI (Referer制限回避・高速キャッシュ配信)
// ==========================================
@@ -139,4 +269,88 @@ app.MapMethods("/api/proxy-embed-req", new[] { "GET", "POST", "HEAD" }, async (s
// ==========================================
app.MapLegacyEndpoints();
// ==========================================
// ZIPダウンロード用画像バイナリ取得ヘルパー
// ==========================================
static async Task<(byte[]? Data, string? ContentType)> FetchImageBytesForZipAsync(
string imageUrl,
string defaultReferer,
UnifiedHttpHelper httpHelper,
CancellationToken ct)
{
string targetUrl = imageUrl;
string? targetReferer = defaultReferer;
// /api/proxy-image?... 形式の場合は内部パラメータを展開して直接取得
if (imageUrl.StartsWith("/api/proxy-image", StringComparison.OrdinalIgnoreCase))
{
var qIndex = imageUrl.IndexOf('?');
if (qIndex >= 0)
{
var qs = Microsoft.AspNetCore.WebUtilities.QueryHelpers.ParseQuery(imageUrl.Substring(qIndex));
if (qs.TryGetValue("url", out var u) && !string.IsNullOrEmpty(u))
{
targetUrl = u.ToString();
}
if (qs.TryGetValue("referer", out var r) && !string.IsNullOrEmpty(r))
{
targetReferer = r.ToString();
}
}
}
// 最大3回リトライを行い、一時的なネットワーク揺らぎによるページ抜けを徹底防止
for (int attempt = 1; attempt <= 3; attempt++)
{
try
{
var (data, contentType) = await httpHelper.GetBinaryAsync(targetUrl, targetReferer, ct);
if (data != null && data.Length > 0)
{
return (data, contentType);
}
}
catch (OperationCanceledException)
{
throw;
}
catch
{
if (attempt == 3) break;
try
{
await Task.Delay(attempt * 1000, ct);
}
catch (OperationCanceledException)
{
throw;
}
}
}
return (null, null);
}
static string DetermineImageExtensionForZip(string? contentType, string imageUrl)
{
if (!string.IsNullOrWhiteSpace(contentType))
{
var ctLower = contentType.ToLowerInvariant();
if (ctLower.Contains("png")) return ".png";
if (ctLower.Contains("webp")) return ".webp";
if (ctLower.Contains("gif")) return ".gif";
if (ctLower.Contains("jpeg") || ctLower.Contains("jpg")) return ".jpg";
if (ctLower.Contains("avif")) return ".avif";
}
var cleanUrl = imageUrl.Split('?')[0];
var ext = Path.GetExtension(cleanUrl);
if (!string.IsNullOrWhiteSpace(ext) && ext.Length <= 5)
{
return ext.ToLowerInvariant();
}
return ".jpg";
}
app.Run();