改善: 123av動画ページからの埋め込みURL抽出とクリーン埋め込みURL変換を強化
Resolve123AvAsyncでのAjax API・v-scope解析時に外部広告ドメインを除外し、抽出した埋め込みプレイヤーURLを /api/clean-embed 経由のサニタイズ済みURLへ自動変換するよう更新
This commit is contained in:
1 parent
373169d697
commit
0e805184d9
1 file changed
+67
-11
@@ -1,4 +1,4 @@
|
|||||||
using System.Text.RegularExpressions;
|
using System.Text.RegularExpressions;
|
||||||
using HtmlAgilityPack;
|
using HtmlAgilityPack;
|
||||||
using Microsoft.Extensions.Logging;
|
using Microsoft.Extensions.Logging;
|
||||||
using WebImageViewer.Class.Unified.Common;
|
using WebImageViewer.Class.Unified.Common;
|
||||||
@@ -280,8 +280,13 @@ public class VideoEmbedExtractor
|
|||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// 123av の埋め込みプレイヤーを動的解決します。
|
/// 123av の埋め込みプレイヤーを動的解決します。
|
||||||
/// ページHTML内の player(JSON.parse(...)) から最新の埋め込みプレイヤーURL(jav-master等)を抽出します。
|
/// ページHTML内の player(JSON.parse(...)) 等から最新の埋め込みプレイヤーURL(jav-master等)を抽出し、
|
||||||
|
/// 定期的に出現する透明なリンクエリア(オーバーレイ広告)および外部リンク処理を除去するクリーン埋め込みURLに変換します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
|
/// <param name="url">対象ページのURL</param>
|
||||||
|
/// <param name="customPlayUrl">明示指定された再生URL(任意)</param>
|
||||||
|
/// <param name="ct">キャンセルトークン</param>
|
||||||
|
/// <returns>解決された動画アイテム</returns>
|
||||||
private async Task<UnifiedVideoItem> Resolve123AvAsync(string url, string? customPlayUrl = null, CancellationToken ct = default)
|
private async Task<UnifiedVideoItem> Resolve123AvAsync(string url, string? customPlayUrl = null, CancellationToken ct = default)
|
||||||
{
|
{
|
||||||
// 0. 直接 jav-master 等の埋め込みプレイヤーURLが指定された場合の即時対応
|
// 0. 直接 jav-master 等の埋め込みプレイヤーURLが指定された場合の即時対応
|
||||||
@@ -295,7 +300,7 @@ public class VideoEmbedExtractor
|
|||||||
VideoId = vId,
|
VideoId = vId,
|
||||||
Title = $"123av 動画 ({vId})",
|
Title = $"123av 動画 ({vId})",
|
||||||
OriginalUrl = url,
|
OriginalUrl = url,
|
||||||
EmbedUrl = url
|
EmbedUrl = UnifiedEmbedSanitizer.ToCleanEmbedUrl(url, "https://123av.com/")
|
||||||
};
|
};
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -356,7 +361,22 @@ public class VideoEmbedExtractor
|
|||||||
// 2. 123av 公式ページHTMLを取得して実プレイヤーURLおよびタイトル・サムネイルを動的抽出
|
// 2. 123av 公式ページHTMLを取得して実プレイヤーURLおよびタイトル・サムネイルを動的抽出
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
var html = await _httpHelper.GetHtmlAsync(canonicalUrl, ct: ct);
|
string? html = null;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
html = await this._httpHelper.GetHtmlAsync(canonicalUrl, useFlareSolverr: false, ct: ct);
|
||||||
|
if (string.IsNullOrWhiteSpace(html) ||
|
||||||
|
html.Contains("<title>Just a moment...</title>", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
(html.Contains("challenge-platform", StringComparison.OrdinalIgnoreCase) && !html.Contains("watch__title", StringComparison.OrdinalIgnoreCase)))
|
||||||
|
{
|
||||||
|
html = await this._httpHelper.GetHtmlAsync(canonicalUrl, useFlareSolverr: true, ct: ct);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch
|
||||||
|
{
|
||||||
|
html = await this._httpHelper.GetHtmlAsync(canonicalUrl, useFlareSolverr: true, ct: ct);
|
||||||
|
}
|
||||||
|
|
||||||
if (!string.IsNullOrWhiteSpace(html))
|
if (!string.IsNullOrWhiteSpace(html))
|
||||||
{
|
{
|
||||||
// タイトル抽出
|
// タイトル抽出
|
||||||
@@ -368,7 +388,10 @@ public class VideoEmbedExtractor
|
|||||||
else
|
else
|
||||||
{
|
{
|
||||||
var ogTitle = Regex.Match(html, @"<meta property=""og:title"" content=""([^""]+)""");
|
var ogTitle = Regex.Match(html, @"<meta property=""og:title"" content=""([^""]+)""");
|
||||||
if (ogTitle.Success) item.Title = CleanText(ogTitle.Groups[1].Value);
|
if (ogTitle.Success)
|
||||||
|
{
|
||||||
|
item.Title = CleanText(ogTitle.Groups[1].Value);
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// ポスター画像抽出
|
// ポスター画像抽出
|
||||||
@@ -380,15 +403,18 @@ public class VideoEmbedExtractor
|
|||||||
else
|
else
|
||||||
{
|
{
|
||||||
var coverMatch = Regex.Match(html, @"(https?://[^""']+/cover\.jpg[^""']*)");
|
var coverMatch = Regex.Match(html, @"(https?://[^""']+/cover\.jpg[^""']*)");
|
||||||
if (coverMatch.Success) item.PosterUrl = coverMatch.Groups[1].Value;
|
if (coverMatch.Success)
|
||||||
|
{
|
||||||
|
item.PosterUrl = coverMatch.Groups[1].Value;
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// player(JSON.parse('...')) から jav-master 等の埋め込みURLを抽出
|
// (A) player(JSON.parse('...')) から jav-master 等の埋め込みURLを抽出
|
||||||
var playerJsonMatch = Regex.Match(html, @"player\(JSON\.parse\('(?<json>[^']+)'\)");
|
var playerJsonMatch = Regex.Match(html, @"player\(JSON\.parse\('(?<json>[^']+)'\)");
|
||||||
if (playerJsonMatch.Success)
|
if (playerJsonMatch.Success)
|
||||||
{
|
{
|
||||||
var rawJson = playerJsonMatch.Groups["json"].Value;
|
var rawJson = playerJsonMatch.Groups["json"].Value;
|
||||||
rawJson = System.Text.RegularExpressions.Regex.Unescape(rawJson);
|
rawJson = Regex.Unescape(rawJson);
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
using var doc = System.Text.Json.JsonDocument.Parse(rawJson);
|
using var doc = System.Text.Json.JsonDocument.Parse(rawJson);
|
||||||
@@ -410,11 +436,35 @@ public class VideoEmbedExtractor
|
|||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
_logger.LogWarning(ex, "123av の player JSON 解析エラー: {Json}", rawJson);
|
this._logger.LogWarning(ex, "123av の player JSON 解析エラー: {Json}", rawJson);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// JSONで見つからなかった場合、iframeタグのsrcをフォールバック探索
|
// (B) v-scope="Movie({id: ...})" から ajax/v/{movieId}/videos 経由で埋め込みURLを抽出
|
||||||
|
if (string.IsNullOrWhiteSpace(item.EmbedUrl))
|
||||||
|
{
|
||||||
|
var movieScopeMatch = Regex.Match(html, @"v-scope=""Movie\(\{[^""]*?\bid\s*:\s*(?<movieId>\d+)", RegexOptions.IgnoreCase);
|
||||||
|
if (movieScopeMatch.Success)
|
||||||
|
{
|
||||||
|
var movieId = movieScopeMatch.Groups["movieId"].Value;
|
||||||
|
var ajaxUrl = $"https://123av.com/ja/ajax/v/{movieId}/videos";
|
||||||
|
try
|
||||||
|
{
|
||||||
|
var ajaxJson = await this._httpHelper.GetHtmlAsync(ajaxUrl, useFlareSolverr: false, referer: canonicalUrl, ct: ct);
|
||||||
|
var ajaxUrlMatch = Regex.Match(ajaxJson, @"""url""\s*:\s*""(?<uUrl>https?:[^""]+)""");
|
||||||
|
if (ajaxUrlMatch.Success)
|
||||||
|
{
|
||||||
|
item.EmbedUrl = ajaxUrlMatch.Groups["uUrl"].Value.Replace(@"\/", "/");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (Exception ajaxEx)
|
||||||
|
{
|
||||||
|
this._logger.LogDebug(ajaxEx, "123av ajax/v/{MovieId}/videos の取得に失敗しました", movieId);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// (C) JSONで見つからなかった場合、iframeタグのsrcをフォールバック探索
|
||||||
if (string.IsNullOrWhiteSpace(item.EmbedUrl))
|
if (string.IsNullOrWhiteSpace(item.EmbedUrl))
|
||||||
{
|
{
|
||||||
var iframeMatch = Regex.Match(html, @"<iframe[^>]+src=""([^""]+)""");
|
var iframeMatch = Regex.Match(html, @"<iframe[^>]+src=""([^""]+)""");
|
||||||
@@ -427,7 +477,7 @@ public class VideoEmbedExtractor
|
|||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
_logger.LogWarning(ex, "123av ページ({Url})の取得に失敗しました。フォールバック処理を継続します。", canonicalUrl);
|
this._logger.LogWarning(ex, "123av ページ({Url})の取得に失敗しました。フォールバック処理を継続します。", canonicalUrl);
|
||||||
}
|
}
|
||||||
|
|
||||||
// customPlayUrl が指定されていて HTML から埋め込みが取得できなかった場合は customPlayUrl を確実に採用
|
// customPlayUrl が指定されていて HTML から埋め込みが取得できなかった場合は customPlayUrl を確実に採用
|
||||||
@@ -436,6 +486,12 @@ public class VideoEmbedExtractor
|
|||||||
item.EmbedUrl = customPlayUrl;
|
item.EmbedUrl = customPlayUrl;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// 3. 123av接続時は、定期的に出現する透明なリンクエリア(オーバーレイ広告)および外部リンク処理を除去するクリーン埋め込みURLに変換
|
||||||
|
if (!string.IsNullOrWhiteSpace(item.EmbedUrl))
|
||||||
|
{
|
||||||
|
item.EmbedUrl = UnifiedEmbedSanitizer.ToCleanEmbedUrl(item.EmbedUrl, canonicalUrl);
|
||||||
|
}
|
||||||
|
|
||||||
return item;
|
return item;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|||||||
Reference in new issue
Block a user