diff --git a/WebImageViewer/Class/Unified/Services/UnifiedEmbedSanitizer.cs b/WebImageViewer/Class/Unified/Services/UnifiedEmbedSanitizer.cs new file mode 100644 index 0000000..57bb122 --- /dev/null +++ b/WebImageViewer/Class/Unified/Services/UnifiedEmbedSanitizer.cs @@ -0,0 +1,1308 @@ +using System.Net; +using System.Text; +using System.Text.Json; +using System.Text.Json.Nodes; +using System.Text.RegularExpressions; +using Microsoft.Extensions.Logging; +using WebImageViewer.Class.Unified.Common; + +namespace WebImageViewer.Class.Unified.Services; + +/// +/// 123av等の動画埋め込みプレイヤーHTMLから、定期的に出現する透明なリンクエリア(オーバーレイ広告)および +/// 外部サイトへの強制リンクスクリプトを除去・無害化するサニタイズサービスクラス +/// +public class UnifiedEmbedSanitizer +{ + #region □定数(Private) + + /// + /// 外部広告・ポップアンダー・クリックハイジャック配信ドメインのキーワード一覧 + /// + private static readonly string[] AdScriptKeywords = + { + "popads", + "popcash", + "popunder", + "clickunder", + "exoclick", + "juicyads", + "trafficjunky", + "adsterra", + "magsrv", + "realsrv", + "acscdn", + "syndication", + "tsyndicate", + "twinrdsyn", + "onmarshtompor", + "wpadmngr", + "pncloudfl", + "bidgear", + "galaksion", + "hilltopads", + "propeller", + "clickadu", + "evadav", + "richads", + "mondiad", + "ad-maven", + "admaven", + "histats", + "googletagmanager", + "google-analytics", + "doubleclick", + "googlesyndication", + "outbrain", + "taboola", + "rollerads", + "pushhouse", + "stripchat", + "chaturbate", + "livejasmin", + "bongacams", + "cam4", + "jerkmate", + "ad-stir", + "i-mobile", + "fam-ad", + "adarea", + "kokarea", + "attacheatableoverlabor", + " stacked-clean", + "cloudflareinsights.com" + }; + + /// + /// 動画プレイヤー本体のスクリプトと判定するための保護キーワード一覧 + /// + private static readonly string[] PlayerPreserveKeywords = + { + "jwplayer", + "plyr", + "videojs", + "video.js", + "hls.js", + "hls.min.js", + "new hls", + "hls.loadsource", + "dplayer", + "artplayer", + "fluidplayer", + "flowplayer", + "mediaelement", + "eval(function(p,a,c,k,e,d)", + ".m3u8", + ".mp4", + "v-scope", + "player(json.parse", + "embed-dev-", + "/assets/t4/embed/" + }; + + #endregion + + #region □変数(Private) + + /// + /// 統一HTTP通信ヘルパー + /// + private readonly UnifiedHttpHelper _httpHelper; + + /// + /// HTTPクライアントファクトリ(プロキシ通信用) + /// + private readonly IHttpClientFactory _httpClientFactory; + + /// + /// ロガーインスタンス + /// + private readonly ILogger _logger; + + #endregion + + #region □コンストラクタ + + /// + /// クラスの新しいインスタンスを初期化します。 + /// + /// 統一HTTP通信ヘルパー + /// HTTPクライアントファクトリ + /// ロガー + public UnifiedEmbedSanitizer( + UnifiedHttpHelper httpHelper, + IHttpClientFactory httpClientFactory, + ILogger logger) + { + this._httpHelper = httpHelper; + this._httpClientFactory = httpClientFactory; + this._logger = logger; + } + + #endregion + + #region □メソッド(Public) + + /// + /// 指定されたサイトキーまたはURLが123av関連ドメイン(透明リンクエリア除去対象)であるかを判定します。 + /// + /// サイト識別キー + /// 元ページのURL + /// 埋め込みプレイヤーのURL + /// 除去対象である場合は true、それ以外は false + public static bool Is123AvDomain(string? siteKey, string? originalUrl = null, string? embedUrl = null) + { + if (string.Equals(siteKey, "123av", StringComparison.OrdinalIgnoreCase)) + { + return true; + } + + if (!string.IsNullOrWhiteSpace(originalUrl) && + (originalUrl.Contains("123av.", StringComparison.OrdinalIgnoreCase) || + originalUrl.Contains("jav-master", StringComparison.OrdinalIgnoreCase) || + originalUrl.Contains("javplayer.cc", StringComparison.OrdinalIgnoreCase))) + { + return true; + } + + if (!string.IsNullOrWhiteSpace(embedUrl) && + (embedUrl.Contains("123av.", StringComparison.OrdinalIgnoreCase) || + embedUrl.Contains("jav-master", StringComparison.OrdinalIgnoreCase) || + embedUrl.Contains("javplayer.cc", StringComparison.OrdinalIgnoreCase) || + embedUrl.Contains("sadie-shop.site", StringComparison.OrdinalIgnoreCase))) + { + return true; + } + + return false; + } + + /// + /// 外部の埋め込みプレイヤーURLを、透明リンクエリア・外部リンク除去用のクリーン埋め込みエンドポイントURLに変換します。 + /// + /// 元の埋め込みプレイヤーURL + /// 参照元URL(123avの動画ページURL等) + /// クリーン埋め込みエンドポイントのURL + public static string ToCleanEmbedUrl(string embedUrl, string? refererUrl = null) + { + if (string.IsNullOrWhiteSpace(embedUrl)) + { + return string.Empty; + } + + var trimmed = embedUrl.Trim(); + if (trimmed.StartsWith("/api/clean-embed", StringComparison.OrdinalIgnoreCase)) + { + return trimmed; + } + + var effectiveReferer = !string.IsNullOrWhiteSpace(refererUrl) + ? refererUrl.Trim() + : "https://123av.com/"; + + return $"/api/clean-embed?url={Uri.EscapeDataString(trimmed)}&referer={Uri.EscapeDataString(effectiveReferer)}"; + } + + /// + /// 埋め込みプレイヤーのHTMLを取得し、透明なリンクエリア(オーバーレイ広告)および外部リンク処理を除去したHTMLを返します。 + /// + /// 埋め込みプレイヤーのURL + /// Refererヘッダーとして送信する元ページURL + /// キャンセルトークン + /// サニタイズ済みのHTML文字列 + public async Task GetSanitizedEmbedHtmlAsync(string embedUrl, string? refererUrl = null, CancellationToken ct = default) + { + if (string.IsNullOrWhiteSpace(embedUrl)) + { + return BuildFallbackSandboxedHtml("", refererUrl); + } + + var targetUrl = embedUrl.Trim(); + if (targetUrl.StartsWith("//")) + { + targetUrl = "https:" + targetUrl; + } + + var effectiveReferer = !string.IsNullOrWhiteSpace(refererUrl) + ? refererUrl.Trim() + : "https://123av.com/"; + + string? rawHtml = null; + + try + { + rawHtml = await this._httpHelper.GetHtmlAsync(targetUrl, useFlareSolverr: false, referer: effectiveReferer, ct: ct); + if (IsCloudflareChallengeHtml(rawHtml)) + { + this._logger.LogInformation("埋め込みURLがCloudflare保護されているためFlareSolverrで再取得します: {Url}", targetUrl); + rawHtml = await this._httpHelper.GetHtmlAsync(targetUrl, useFlareSolverr: true, referer: effectiveReferer, ct: ct); + } + } + catch (Exception ex) + { + this._logger.LogWarning(ex, "通常HTTPでの埋め込みHTML取得に失敗したためFlareSolverrを試行します: {Url}", targetUrl); + try + { + rawHtml = await this._httpHelper.GetHtmlAsync(targetUrl, useFlareSolverr: true, referer: effectiveReferer, ct: ct); + } + catch (Exception flareEx) + { + this._logger.LogWarning(flareEx, "FlareSolverrでも埋め込みHTMLの取得に失敗しました。サンドボックス保護ラッパーを返します: {Url}", targetUrl); + } + } + + if (string.IsNullOrWhiteSpace(rawHtml) || IsCloudflareChallengeHtml(rawHtml)) + { + return BuildFallbackSandboxedHtml(targetUrl, effectiveReferer); + } + + return SanitizeEmbedHtml(rawHtml, targetUrl, effectiveReferer); + } + + /// + /// 埋め込みプレイヤーHTML文字列から広告スクリプト・透明リンクを除去し、常時監視クリーナースクリプトを注入します。 + /// + /// 元の埋め込みプレイヤーHTML + /// 埋め込みプレイヤーのURL + /// 元ページのURL + /// 洗浄・保護スクリプト注入済みのHTML + public static string SanitizeEmbedHtml(string rawHtml, string embedUrl, string? refererUrl = null) + { + if (string.IsNullOrWhiteSpace(rawHtml)) + { + return BuildFallbackSandboxedHtml(embedUrl, refererUrl); + } + + var html = rawHtml; + + // 元の埋め込みURLからオリジン・パス&クエリを抽出 + string embedOrigin = "https://123av.com"; + string embedPathAndQuery = "/"; + + if (Uri.TryCreate(embedUrl, UriKind.Absolute, out var parsedUri)) + { + embedOrigin = $"{parsedUri.Scheme}://{parsedUri.Authority}"; + embedPathAndQuery = parsedUri.PathAndQuery; + + // poster クエリパラメータが外部URLの場合、CORSエラーを防ぐためプロキシURLに変換 + embedPathAndQuery = RewritePosterQueryParam(embedPathAndQuery, embedUrl); + } + + // 0. 万が一 FlareSolverr 等で
...
が静的に展開されていた場合は + // クライアント側で正規の new Plyr(video) が初期化できるよう空の
にリセット + if (html.Contains("embed-dev-", StringComparison.OrdinalIgnoreCase) && + Regex.IsMatch(html, @"]*\bid\s*=\s*[""']player[""'][^>]*\bclass\s*=\s*[""'][^""']*\bplyr\b", RegexOptions.IgnoreCase)) + { + html = Regex.Replace( + html, + @"]*>.*?", + "\r\n
\r\n", + RegexOptions.IgnoreCase | RegexOptions.Singleline); + } + + // 1. 外部広告・ポップアンダー系および Cloudflare JSD / Insights ", + match => + { + var rawSrc = match.Groups["src"].Value.Trim(); + var lowerSrc = rawSrc.ToLowerInvariant(); + if (lowerSrc.Contains("/cdn-cgi/challenge-platform/") || + lowerSrc.Contains("cloudflareinsights.com") || + (ContainsAnyKeyword(lowerSrc, AdScriptKeywords) && !ContainsAnyKeyword(lowerSrc, PlayerPreserveKeywords))) + { + return ""; + } + return match.Value; + }, + RegexOptions.IgnoreCase | RegexOptions.Singleline); + + // 2. インライン広告・ポップアンダー・Cloudflare JSD 生成 ブロックを除去 + html = Regex.Replace( + html, + @"]*\bsrc\s*=)[^>]*>(?.*?)", + match => + { + var code = match.Groups["code"].Value; + var lowerCode = code.ToLowerInvariant(); + + if (lowerCode.Contains("/cdn-cgi/challenge-platform/") || + lowerCode.Contains("__cf$cv$params")) + { + return ""; + } + + // 動画プレイヤー初期化コードを含む場合は保持しつつ、内部の window.open 呼び出しおよび広告IIFEを無害化 + if (ContainsAnyKeyword(lowerCode, PlayerPreserveKeywords)) + { + var cleanedCode = SanitizePlayerJsCode(code); + return match.Value.Replace(code, cleanedCode); + } + + // プレイヤーコードを含まず、広告・ポップアンダー・透明リンク生成を行うスクリプトは丸ごと除去 + if (ContainsAnyKeyword(lowerCode, AdScriptKeywords) || + lowerCode.Contains("window.open") || + lowerCode.Contains("target=\"_blank\"") || + lowerCode.Contains("target='_blank'") || + lowerCode.Contains("createelement('a')") || + lowerCode.Contains("createelement(\"a\")") || + lowerCode.Contains("__pu2") || + lowerCode.Contains("9999999") || + lowerCode.Contains("2147483647")) + { + return ""; + } + + return match.Value; + }, + RegexOptions.IgnoreCase | RegexOptions.Singleline); + + // 3. 静的に配置されている外部リンク や広告 タグを除去 + html = Regex.Replace( + html, + @"]*\btarget\s*=\s*[""']?_blank[""']?[^>]*>.*?", + "", + RegexOptions.IgnoreCase | RegexOptions.Singleline); + + html = Regex.Replace( + html, + @"]*>.*?", + "", + RegexOptions.IgnoreCase | RegexOptions.Singleline); + + // 4. プレイヤーの相対パス および + + + {{(!string.IsNullOrEmpty(safeEmbed) ? $$""" + + """ : $$""" + + """)}} + + +"""; + } + + /// + /// 埋め込みプレイヤーの <head> 先頭に注入する、透明リンクエリア・外部サイト遷移除去用のスクリプトおよびCSSブロックを構築します。 + /// 動画プレイヤー(Plyr / hls.js)のイベントリスナー登録やDOM構造には一切干渉せず、透明広告リンクのみを完全遮断します。 + /// + /// 埋め込みプレイヤーの完全URL + /// 埋め込みプレイヤーのオリジン + /// 元の埋め込みURLのPathAndQuery + /// 参照元URL + /// 注入するHTMLスニペット + private static string BuildInjectedProtectionBlock( + string embedUrl, + string embedOrigin, + string embedPathAndQuery, + string refererUrl) + { + var jsEmbedUrl = EscapeJsString(embedUrl); + var jsEmbedOrigin = EscapeJsString(embedOrigin); + var jsPathAndQuery = EscapeJsString(embedPathAndQuery); + var jsReferer = EscapeJsString(refererUrl); + + return $$""" + + + +"""; + } + + /// + /// JavaScriptのシングルクォート文字列リテラル向けにエスケープを行います。 + /// + /// 元の文字列 + /// エスケープ後の文字列 + private static string EscapeJsString(string? value) + { + if (string.IsNullOrEmpty(value)) + { + return string.Empty; + } + + return value + .Replace("\\", "\\\\") + .Replace("'", "\\'") + .Replace("\r", "") + .Replace("\n", ""); + } + + #endregion +} diff --git a/WebImageViewer/Class/Unified/UnifiedServiceExtensions.cs b/WebImageViewer/Class/Unified/UnifiedServiceExtensions.cs index 875cb3b..7041ab4 100644 --- a/WebImageViewer/Class/Unified/UnifiedServiceExtensions.cs +++ b/WebImageViewer/Class/Unified/UnifiedServiceExtensions.cs @@ -1,15 +1,22 @@ -using Microsoft.Extensions.DependencyInjection; +using Microsoft.Extensions.DependencyInjection; using WebImageViewer.Class.Unified.Common; using WebImageViewer.Class.Unified.Scrapers; using WebImageViewer.Class.Unified.Services; namespace WebImageViewer.Class.Unified; +/// +/// 新アーキテクチャ(Unified)用のDIサービス登録拡張クラス +/// public static class UnifiedServiceExtensions { + #region □メソッド(Public) + /// /// 新アーキテクチャ(Unified)のサービス群をDIコンテナに登録します。 /// + /// サービスコレクション + /// 登録後のサービスコレクション public static IServiceCollection AddUnifiedServices(this IServiceCollection services) { // HTTP通信ヘルパー @@ -23,6 +30,9 @@ public static class UnifiedServiceExtensions services.AddScoped(); services.AddScoped(); + // 123av等の透明リンクエリア・外部広告除去サニタイザー + services.AddScoped(); + // 動画埋め込み抽出エンジン services.AddScoped(); @@ -31,4 +41,6 @@ public static class UnifiedServiceExtensions return services; } + + #endregion } diff --git a/WebImageViewer/Program.cs b/WebImageViewer/Program.cs index 0b41914..5428294 100644 --- a/WebImageViewer/Program.cs +++ b/WebImageViewer/Program.cs @@ -1,4 +1,4 @@ -using Microsoft.AspNetCore.HttpOverrides; +using Microsoft.AspNetCore.HttpOverrides; using WebImageViewer.Class.Legacy; using WebImageViewer.Class.Unified; using WebImageViewer.Class.Unified.Common; @@ -114,6 +114,25 @@ app.MapGet("/api/proxy-image", async (string url, string? referer, HttpContext h } }); +// ========================================== +// 123av等の動画プレイヤー透明リンクエリア・外部リンク除去プロキシAPI +// ========================================== +app.MapGet("/api/clean-embed", async (string? url, string? referer, UnifiedEmbedSanitizer embedSanitizer, CancellationToken ct) => +{ + if (string.IsNullOrWhiteSpace(url)) + { + return Results.BadRequest("url is required"); + } + + var sanitizedHtml = await embedSanitizer.GetSanitizedEmbedHtmlAsync(url, referer, ct); + return Results.Content(sanitizedHtml, "text/html; charset=utf-8"); +}); + +app.MapMethods("/api/proxy-embed-req", new[] { "GET", "POST", "HEAD" }, async (string? url, string? referer, HttpContext httpContext, UnifiedEmbedSanitizer embedSanitizer, CancellationToken ct) => +{ + return await embedSanitizer.ProxyEmbedRequestAsync(httpContext, url, referer, ct); +}); + // ========================================== // 旧バージョン(Legacy)のエンドポイント登録 // (/view, /video, /{site}/{id}, /spankbang/{id}, 旧API等を過去互換用として保持)