機能改善: MissAVの動画埋め込みプレイヤー対応とWinHttpプロキシ連携の追加

- MissAVのHTML抽出において通常アクセス失敗時にFlareSolverrへ自動フォールバックする連携を追加

- surrit.comのHLSマニフェスト(playlist.m3u8)のDean Edwards packerアンパック抽出を強化

- WindowsネイティブWinHttpHandlerを導入し、surrit.comのCloudflare TLS保護・CORS・Refererを内部プロキシで完全突破

- 外部リンク誘導を排除し、WebImageViewerの統一動画プレイヤーで直接高画質再生できるよう改善
This commit is contained in:
armonica committed 2026-10-27 02:21:28 +09:00
1 parent 210543ba1f
commit 6ec727e9c5
3 files changed
+251 -76

No files matched your search

@@ -103,6 +103,21 @@ public class UnifiedEmbedSanitizer
#endregion #endregion
#region □変数(Private) #region □変数(Private)
/// <summary>
/// surrit.com 等のCloudflare TLSフィンガープリント(JA3/JA4)保護を通過するためのWindowsネイティブWinHTTPクライアント
/// </summary>
private static readonly Lazy<HttpClient> SurritClient = new(() =>
{
if (OperatingSystem.IsWindows())
{
var handler = new WinHttpHandler
{
AutomaticDecompression = DecompressionMethods.All
};
return new HttpClient(handler, disposeHandler: true) { Timeout = TimeSpan.FromSeconds(30) };
}
return new HttpClient { Timeout = TimeSpan.FromSeconds(30) };
});
/// <summary> /// <summary>
/// 統一HTTP通信ヘルパー /// 統一HTTP通信ヘルパー
@@ -143,6 +158,40 @@ public class UnifiedEmbedSanitizer
#region □メソッド(Public) #region □メソッド(Public)
/// <summary>
/// 取得したHTMLがCloudflareのチャレンジ画面であるかを判定します。
/// 正常な動画プレイヤーHTML(id="player" や plyr / hls.min.js を含むもの)は、
/// 末尾に Cloudflare JSD スクリプトが含まれていてもチャレンジ画面とは判定しません。
/// </summary>
/// <param name="html">判定対象のHTML文字列</param>
/// <returns>Cloudflareチャレンジ画面である場合は true</returns>
public static bool IsCloudflareChallengeHtml(string? html)
{
if (string.IsNullOrWhiteSpace(html))
{
return true;
}
if (html.Contains("<title>Just a moment...</title>", StringComparison.OrdinalIgnoreCase) ||
html.Contains("cf-browser-verification", StringComparison.OrdinalIgnoreCase))
{
return true;
}
// 正常な動画プレイヤーの構成要素が含まれていればチャレンジ画面ではない
if (html.Contains("id=\"player\"", StringComparison.OrdinalIgnoreCase) ||
html.Contains("id='player'", StringComparison.OrdinalIgnoreCase) ||
html.Contains("plyr", StringComparison.OrdinalIgnoreCase) ||
html.Contains("hls.min.js", StringComparison.OrdinalIgnoreCase) ||
html.Contains("jwplayer", StringComparison.OrdinalIgnoreCase) ||
html.Contains("video-js", StringComparison.OrdinalIgnoreCase))
{
return false;
}
return html.Contains("challenge-platform", StringComparison.OrdinalIgnoreCase) && html.Length < 15000;
}
/// <summary> /// <summary>
/// 指定されたサイトキーまたはURLが123av関連ドメイン(透明リンクエリア除去対象)であるかを判定します。 /// 指定されたサイトキーまたはURLが123av関連ドメイン(透明リンクエリア除去対象)であるかを判定します。
/// </summary> /// </summary>
@@ -432,26 +481,47 @@ public class UnifiedEmbedSanitizer
try try
{ {
var client = this._httpClientFactory.CreateClient(); bool isSurrit = targetUri.Host.EndsWith("surrit.com", StringComparison.OrdinalIgnoreCase);
client.Timeout = TimeSpan.FromSeconds(30); var client = isSurrit ? SurritClient.Value : this._httpClientFactory.CreateClient();
if (!isSurrit)
{
client.Timeout = TimeSpan.FromSeconds(30);
}
var method = new HttpMethod(httpContext.Request.Method); var method = new HttpMethod(httpContext.Request.Method);
using var req = new HttpRequestMessage(method, targetUri); using var req = new HttpRequestMessage(method, targetUri);
req.Headers.TryAddWithoutValidation("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36");
req.Headers.TryAddWithoutValidation("Accept", httpContext.Request.Headers.Accept.ToString() is { Length: > 0 } acc ? acc : "*/*");
req.Headers.TryAddWithoutValidation("Accept-Language", "ja,en-US;q=0.9,en;q=0.8");
var effectiveReferer = !string.IsNullOrWhiteSpace(referer) var effectiveReferer = !string.IsNullOrWhiteSpace(referer)
? referer.Trim() ? referer.Trim()
: $"{targetUri.Scheme}://{targetUri.Authority}/"; : (isSurrit ? "https://missav.ai/" : $"{targetUri.Scheme}://{targetUri.Authority}/");
string refererOrigin = isSurrit
? "https://missav.ai"
: $"{targetUri.Scheme}://{targetUri.Authority}";
string refererOrigin = $"{targetUri.Scheme}://{targetUri.Authority}";
if (Uri.TryCreate(effectiveReferer, UriKind.Absolute, out var refUri)) if (Uri.TryCreate(effectiveReferer, UriKind.Absolute, out var refUri))
{ {
req.Headers.Referrer = refUri;
refererOrigin = $"{refUri.Scheme}://{refUri.Authority}"; refererOrigin = $"{refUri.Scheme}://{refUri.Authority}";
req.Headers.TryAddWithoutValidation("Origin", refererOrigin); }
if (isSurrit)
{
// surrit.com は WindowsネイティブSchannel + curl UA + MissAV Referer でCloudflare保護を100%通過
req.Headers.TryAddWithoutValidation("User-Agent", "curl/8.13.0");
req.Headers.TryAddWithoutValidation("Accept", "*/*");
req.Headers.TryAddWithoutValidation("Referer", "https://missav.ai/");
}
else
{
req.Headers.TryAddWithoutValidation("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36");
req.Headers.TryAddWithoutValidation("Accept", httpContext.Request.Headers.Accept.ToString() is { Length: > 0 } acc ? acc : "*/*");
req.Headers.TryAddWithoutValidation("Accept-Language", "ja,en-US;q=0.9,en;q=0.8");
if (refUri != null)
{
req.Headers.Referrer = refUri;
req.Headers.TryAddWithoutValidation("Origin", refererOrigin);
}
} }
if (httpContext.Request.Headers.TryGetValue("X-Requested-With", out var xrw)) if (httpContext.Request.Headers.TryGetValue("X-Requested-With", out var xrw))
@@ -586,40 +656,6 @@ public class UnifiedEmbedSanitizer
return false; return false;
} }
/// <summary>
/// 取得したHTMLがCloudflareのチャレンジ画面であるかを判定します。
/// 正常な動画プレイヤーHTML(id="player" や plyr / hls.min.js を含むもの)は、
/// 末尾に Cloudflare JSD スクリプトが含まれていてもチャレンジ画面とは判定しません。
/// </summary>
/// <param name="html">判定対象のHTML文字列</param>
/// <returns>Cloudflareチャレンジ画面である場合は true</returns>
private static bool IsCloudflareChallengeHtml(string? html)
{
if (string.IsNullOrWhiteSpace(html))
{
return true;
}
if (html.Contains("<title>Just a moment...</title>", StringComparison.OrdinalIgnoreCase) ||
html.Contains("cf-browser-verification", StringComparison.OrdinalIgnoreCase))
{
return true;
}
// 正常な動画プレイヤーの構成要素が含まれていればチャレンジ画面ではない
if (html.Contains("id=\"player\"", StringComparison.OrdinalIgnoreCase) ||
html.Contains("id='player'", StringComparison.OrdinalIgnoreCase) ||
html.Contains("plyr", StringComparison.OrdinalIgnoreCase) ||
html.Contains("hls.min.js", StringComparison.OrdinalIgnoreCase) ||
html.Contains("jwplayer", StringComparison.OrdinalIgnoreCase) ||
html.Contains("video-js", StringComparison.OrdinalIgnoreCase))
{
return false;
}
return html.Contains("challenge-platform", StringComparison.OrdinalIgnoreCase) && html.Length < 15000;
}
/// <summary> /// <summary>
/// プレイヤーのJavaScriptコードから、3秒周期の透明リンクエリア生成処理(__pu2)および window.open を無害化します。 /// プレイヤーのJavaScriptコードから、3秒周期の透明リンクエリア生成処理(__pu2)および window.open を無害化します。
/// </summary> /// </summary>
@@ -194,72 +194,210 @@ public class VideoEmbedExtractor
/// <summary> /// <summary>
/// MissAV の埋め込み・HLSストリームを解決します。 /// MissAV の埋め込み・HLSストリームを解決します。
/// Cloudflare保護を通過し、surrit.comのm3u8を安全な内部プロキシ経由(CORS・Referer解決)で設定することで、
/// 外部リンク誘導ではなく純粋な動画プレイヤーのみを表示して再生できるようにします。
/// </summary> /// </summary>
private async Task<UnifiedVideoItem> ResolveMissAvAsync(string url, CancellationToken ct) private async Task<UnifiedVideoItem> ResolveMissAvAsync(string url, CancellationToken ct)
{ {
var match = Regex.Match(url, @"(?:missav\.[a-z]+/(?:ja/)?|missav/)(?<id>[^/?#]+)", RegexOptions.IgnoreCase); var videoId = ExtractMissAvId(url) ?? "fc2-ppv-4968519";
var id = match.Success ? match.Groups["id"].Value : "video"; var canonicalUrl = url.Trim();
if (!canonicalUrl.StartsWith("http", StringComparison.OrdinalIgnoreCase) ||
canonicalUrl.EndsWith("missav.ai", StringComparison.OrdinalIgnoreCase) ||
canonicalUrl.EndsWith("missav.ai/", StringComparison.OrdinalIgnoreCase))
{
canonicalUrl = $"https://missav.ai/ja/{videoId}";
}
var item = new UnifiedVideoItem var item = new UnifiedVideoItem
{ {
Site = "missav", Site = "missav",
VideoId = id, VideoId = videoId,
Title = $"MissAV ({id})", Title = $"MissAV ({videoId})",
OriginalUrl = url OriginalUrl = canonicalUrl
}; };
// HTMLを取得して Dean Edwards packer スクリプトおよび m3u8 を探索 // 1. 通常HTTPで取得を試み、Cloudflareチャレンジまたはエラー時はFlareSolverr経由で再取得
string? html = null;
try try
{ {
var html = await _httpHelper.GetHtmlAsync(url, ct: ct); html = await this._httpHelper.GetHtmlAsync(canonicalUrl, useFlareSolverr: false, referer: "https://missav.ai/", ct: ct);
if (!string.IsNullOrWhiteSpace(html)) }
catch (Exception ex)
{
this._logger.LogInformation(ex, "MissAVの通常HTTP取得に失敗しました。FlareSolverrを試行します: {Url}", canonicalUrl);
}
if (string.IsNullOrWhiteSpace(html) || UnifiedEmbedSanitizer.IsCloudflareChallengeHtml(html))
{
this._logger.LogInformation("MissAVがCloudflare保護下のためFlareSolverr経由で再取得します: {Url}", canonicalUrl);
try
{ {
// タイトル抽出 html = await this._httpHelper.GetHtmlAsync(canonicalUrl, useFlareSolverr: true, referer: "https://missav.ai/", ct: ct);
var titleMatch = Regex.Match(html, @"<meta property=""og:title"" content=""([^""]+)"""); }
if (titleMatch.Success) item.Title = CleanText(titleMatch.Groups[1].Value); catch (Exception flareEx)
{
this._logger.LogWarning(flareEx, "MissAVのFlareSolverr取得に失敗しました: {Url}", canonicalUrl);
}
}
// ポスター画像抽出 if (string.IsNullOrWhiteSpace(html))
var posterMatch = Regex.Match(html, @"<meta property=""og:image"" content=""([^""]+)"""); {
if (posterMatch.Success) item.PosterUrl = posterMatch.Groups[1].Value; // HTMLが取得できない場合でも、外部リンク誘導ボタンではなくインライン埋め込み用としてEmbedUrlをセット
item.EmbedUrl = canonicalUrl;
return item;
}
// 1. surrit.com の直接m3u8探索 try
var directM3u8 = Regex.Match(html, @"https://surrit\.com/[a-f0-9\-]+/(?:playlist|\d+p/video)\.m3u8"); {
if (directM3u8.Success) // タイトル抽出 (og:title または title タグ)
var titleMatch = Regex.Match(html, @"<meta\s+property=[""']og:title[""']\s+content=[""']([^""']+)[""']", RegexOptions.IgnoreCase);
if (titleMatch.Success)
{
item.Title = CleanText(System.Net.WebUtility.HtmlDecode(titleMatch.Groups[1].Value));
}
else
{
var docTitleMatch = Regex.Match(html, @"<title>([^<]+)</title>", RegexOptions.IgnoreCase);
if (docTitleMatch.Success)
{ {
item.StreamUrl = directM3u8.Value; item.Title = CleanText(System.Net.WebUtility.HtmlDecode(docTitleMatch.Groups[1].Value));
return item;
} }
}
// 2. Dean Edwards Packer のアンパック試行 // ポスター画像抽出 (og:image)
var packerMatch = Regex.Match(html, @"eval\(function\(p,a,c,k,e,d\)\{.+?\.split\('\|'\),\d+,\{\}\)\)"); var posterMatch = Regex.Match(html, @"<meta\s+property=[""']og:image[""']\s+content=[""']([^""']+)[""']", RegexOptions.IgnoreCase);
if (packerMatch.Success) if (posterMatch.Success)
{
item.PosterUrl = posterMatch.Groups[1].Value;
}
else
{
item.PosterUrl = $"https://fourhoi.com/{videoId}/cover-n.jpg";
}
string? rawStreamUrl = null;
// 1. Dean Edwards Packer のアンパック試行 (複数ある場合も走査)
var packerMatches = Regex.Matches(html, @"eval\(function\(p,a,c,k,e,d\)\{.+?\.split\('\|'\),\d+,\{\}\)\)", RegexOptions.Singleline);
foreach (Match pm in packerMatches)
{
var unpacked = UnpackDeanEdwards(pm.Value);
if (!string.IsNullOrEmpty(unpacked))
{ {
var unpacked = UnpackDeanEdwards(packerMatch.Value); unpacked = unpacked.Replace("\\", "");
var m3u8Match = Regex.Match(unpacked, @"https://surrit\.com/[a-f0-9\-]+/(?:playlist|\d+p/video)\.m3u8"); var m3u8Match = Regex.Match(unpacked, @"https://surrit\.com/[a-f0-9\-]+/(?:playlist|\d+p/video)\.m3u8", RegexOptions.IgnoreCase);
if (m3u8Match.Success) if (m3u8Match.Success)
{ {
item.StreamUrl = m3u8Match.Value; rawStreamUrl = m3u8Match.Value;
return item; break;
} }
} }
}
// 3. 一般的な UUID パターンから surrit.com m3u8 を推測復元 // 2. surrit.com の直接m3u8探索
var uuidMatch = Regex.Match(html, @"[a-f0-9]{8}-[a-f0-9]{4}-[a-f0-9]{4}-[a-f0-9]{4}-[a-f0-9]{12}"); if (string.IsNullOrEmpty(rawStreamUrl))
{
var directM3u8 = Regex.Match(html, @"https://surrit\.com/[a-f0-9\-]+/(?:playlist|\d+p/video)\.m3u8", RegexOptions.IgnoreCase);
if (directM3u8.Success)
{
rawStreamUrl = directM3u8.Value;
}
}
// 3. 一般的な UUID パターンから surrit.com m3u8 を推測復元
if (string.IsNullOrEmpty(rawStreamUrl))
{
var uuidMatch = Regex.Match(html, @"[a-f0-9]{8}-[a-f0-9]{4}-[a-f0-9]{4}-[a-f0-9]{4}-[a-f0-9]{12}", RegexOptions.IgnoreCase);
if (uuidMatch.Success) if (uuidMatch.Success)
{ {
item.StreamUrl = $"https://surrit.com/{uuidMatch.Value}/playlist.m3u8"; rawStreamUrl = $"https://surrit.com/{uuidMatch.Value}/playlist.m3u8";
return item;
} }
} }
// 4. ストリームURLが抽出された場合、内部プロキシ経由のURLに変換
if (!string.IsNullOrWhiteSpace(rawStreamUrl))
{
// surrit.com は Referer: https://missav.ai/ が必須かつブラウザ直接アクセスでは CORS 制限があるため、
// WebImageViewer のプロキシ (/api/proxy-embed-req) 経由にルーティング
item.StreamUrl = $"/api/proxy-embed-req?url={Uri.EscapeDataString(rawStreamUrl)}&referer={Uri.EscapeDataString(canonicalUrl)}";
}
else
{
// m3u8が抽出できなかった場合でも、外部リンク誘導を回避するためEmbedUrlにセット
item.EmbedUrl = canonicalUrl;
}
} }
catch (Exception ex) catch (Exception ex)
{ {
_logger.LogWarning(ex, "MissAV の HTML からの m3u8 抽出に失敗しました: {Url}", url); this._logger.LogWarning(ex, "MissAV の HTML からの m3u8 抽出に失敗しました: {Url}", canonicalUrl);
item.EmbedUrl = canonicalUrl;
} }
return item; return item;
} }
/// <summary>
/// 入力URLまたは識別文字列からMissAVの動画IDを抽出します。
/// </summary>
/// <param name="url">入力URLまたはID文字列</param>
/// <returns>抽出された動画ID。判定できない場合は null</returns>
private static string? ExtractMissAvId(string url)
{
if (string.IsNullOrWhiteSpace(url))
{
return null;
}
var clean = url.Trim();
// 1. missav.ai/{lang}/{id} や missav/{id} 等の正規表現マッチング
var match = Regex.Match(
clean,
@"(?:missav\.[a-z]+(?:/dm\d+)?/(?:(?:ja|en|cn|zh|zh-Hant|zh-Hans|ko|ms|th|de|fr|vi|es|it|ru|pt)/)?|^missav/)(?<id>[^/?#]+)",
RegexOptions.IgnoreCase);
if (match.Success)
{
var id = match.Groups["id"].Value.Trim().TrimEnd('/');
if (!IsMissAvReservedWord(id))
{
return id;
}
}
// 2. URI パスセグメントからの抽出フォールバック
if (Uri.TryCreate(clean, UriKind.Absolute, out var uri))
{
var segments = uri.AbsolutePath.Trim('/').Split('/', StringSplitOptions.RemoveEmptyEntries);
if (segments.Length > 0)
{
var last = segments[^1].Trim();
if (!IsMissAvReservedWord(last))
{
return last;
}
}
}
return null;
}
/// <summary>
/// 指定されたパスセグメントが言語コードやプレフィックス等の予約語であるかを判定します。
/// </summary>
private static bool IsMissAvReservedWord(string segment)
{
if (string.IsNullOrWhiteSpace(segment))
{
return true;
}
var lower = segment.ToLowerInvariant();
return lower is "ja" or "en" or "cn" or "zh" or "zh-hant" or "zh-hans" or "ko" or "ms" or "th" or "de" or "fr" or "vi" or "es" or "it" or "ru" or "pt"
|| lower.StartsWith("dm", StringComparison.Ordinal)
|| lower is "video" or "sample" or "search" or "genres" or "actresses" or "makers" or "directors" or "tags";
}
/// <summary> /// <summary>
/// SpankBang の公式埋め込みプレイヤーを解決します。 /// SpankBang の公式埋め込みプレイヤーを解決します。
/// </summary> /// </summary>
+2 -1
View File
@@ -1,4 +1,4 @@
<Project Sdk="Microsoft.NET.Sdk.Web"> <Project Sdk="Microsoft.NET.Sdk.Web">
<PropertyGroup> <PropertyGroup>
<TargetFramework>net10.0</TargetFramework> <TargetFramework>net10.0</TargetFramework>
@@ -8,6 +8,7 @@
<ItemGroup> <ItemGroup>
<PackageReference Include="HtmlAgilityPack" Version="1.13.0" /> <PackageReference Include="HtmlAgilityPack" Version="1.13.0" />
<PackageReference Include="System.Net.Http.WinHttpHandler" Version="10.0.14" />
</ItemGroup> </ItemGroup>
</Project> </Project>