fix(video): エロタレスト・まとめ記事からのTXXX等の動画自動検出および広告iframe誤判定防止を修正

This commit is contained in:
armonica committed 2026-10-01 11:37:17 +09:00
1 parent 3183924b95
commit ad0fea8138
1 file changed
+74 -9
@@ -379,7 +379,7 @@ public class VideoEmbedExtractor
string embedBase = host switch string embedBase = host switch
{ {
"senzuri" => "https://senzuri.tube/embed/", "senzuri" => "https://senzuri.tube/embed/",
"txxx" => "https://www.txxx.com/embed/", "txxx" => "https://txxx.com/embed/",
"hclips" => "https://www.hclips.com/embed/", "hclips" => "https://www.hclips.com/embed/",
"hdzog" => "https://www.hdzog.com/embed/", "hdzog" => "https://www.hdzog.com/embed/",
"upornia" => "https://upornia.com/embed/", "upornia" => "https://upornia.com/embed/",
@@ -472,18 +472,53 @@ public class VideoEmbedExtractor
candidateUrl = mf?.GetAttributeValue("href", "")?.Trim(); candidateUrl = mf?.GetAttributeValue("href", "")?.Trim();
} }
// 4. すべてのリンクから既知の動画ホストを探索 // 4. すべてのリンクから動画ホスト(DomainClassifier判定および主要チューブサイト)を探索
if (string.IsNullOrWhiteSpace(candidateUrl)) if (string.IsNullOrWhiteSpace(candidateUrl))
{ {
var allLinks = doc.DocumentNode.SelectNodes("//a[@href]"); var allLinks = doc.DocumentNode.SelectNodes("//a[@href]");
if (allLinks != null) if (allLinks != null)
{ {
foreach (var a in allLinks) // 画像(サムネイル)を含むリンクを最優先にソート(ブログ記事本文のアイキャッチ動画リンクを確実に拾う)
var prioritizedLinks = allLinks.OrderByDescending(a => a.SelectSingleNode(".//img") != null ? 1 : 0);
foreach (var a in prioritizedLinks)
{ {
var href = a.GetAttributeValue("href", "")?.Trim(); var href = a.GetAttributeValue("href", "")?.Trim();
if (string.IsNullOrWhiteSpace(href)) continue; if (string.IsNullOrWhiteSpace(href) || href.StartsWith("#") || href.StartsWith("javascript:", StringComparison.OrdinalIgnoreCase)) continue;
if (href.Contains("do-ga.eroterest.net/video/", StringComparison.OrdinalIgnoreCase) || // 相対URLの場合は絶対URLへ補正
if (href.StartsWith("//"))
{
href = "https:" + href;
}
else if (href.StartsWith("/") && Uri.TryCreate(pageUrl, UriKind.Absolute, out var baseUri))
{
href = new Uri(baseUri, href).ToString();
}
// ドメイン分類による判定
var classification = DomainClassifier.Classify(href);
if (classification.MediaType == MediaType.Video)
{
// まとめブログ自身やエロタレストのトップ・記事一覧リンク等は実動画ホストではないためスキップ
if (classification.SiteKey.Equals("blog", StringComparison.OrdinalIgnoreCase) ||
classification.SiteKey.Equals("eroterest", StringComparison.OrdinalIgnoreCase))
{
continue;
}
candidateUrl = href;
break;
}
// 既知の動画ホストパターン(フォールバック)
if (href.Contains("txxx.com/videos/", StringComparison.OrdinalIgnoreCase) ||
href.Contains("senzuri.tube/videos/", StringComparison.OrdinalIgnoreCase) ||
href.Contains("hclips.com/videos/", StringComparison.OrdinalIgnoreCase) ||
href.Contains("hdzog.com/videos/", StringComparison.OrdinalIgnoreCase) ||
href.Contains("upornia.com/videos/", StringComparison.OrdinalIgnoreCase) ||
href.Contains("youjizz.com/videos/", StringComparison.OrdinalIgnoreCase) ||
href.Contains("do-ga.eroterest.net/video/", StringComparison.OrdinalIgnoreCase) ||
href.Contains("spankbang.com/", StringComparison.OrdinalIgnoreCase) || href.Contains("spankbang.com/", StringComparison.OrdinalIgnoreCase) ||
href.Contains("missav", StringComparison.OrdinalIgnoreCase) || href.Contains("missav", StringComparison.OrdinalIgnoreCase) ||
href.Contains("123av.com/", StringComparison.OrdinalIgnoreCase) || href.Contains("123av.com/", StringComparison.OrdinalIgnoreCase) ||
@@ -511,6 +546,21 @@ public class VideoEmbedExtractor
{ {
subResult.Title = title ?? subResult.Title; subResult.Title = title ?? subResult.Title;
} }
// ポスター画像が未設定の場合、記事からサムネイル画像を引き継ぐ
if (string.IsNullOrWhiteSpace(subResult.PosterUrl))
{
var posterNode = doc.DocumentNode.SelectSingleNode("//meta[@property='og:image']/@content")
?? doc.DocumentNode.SelectSingleNode("//div[contains(@class, 'pageDetail')]//img[@src]")
?? doc.DocumentNode.SelectSingleNode("//img[contains(@class, 'img-thumbnail') or contains(@class, 'img-fluid')]");
var poster = posterNode?.GetAttributeValue("content", "") ?? posterNode?.GetAttributeValue("src", "");
if (!string.IsNullOrWhiteSpace(poster))
{
if (poster.StartsWith("//")) poster = "https:" + poster;
subResult.PosterUrl = poster;
}
}
return subResult; return subResult;
} }
@@ -560,7 +610,7 @@ public class VideoEmbedExtractor
item.PosterUrl = posterNode.GetAttributeValue("content", ""); item.PosterUrl = posterNode.GetAttributeValue("content", "");
} }
// 1. <iframe src="..."> の探索(広告用iframeなどを除外) // 1. <iframe src="..."> の探索(広告用・バナー用iframeなどを徹底除外)
var iframeNodes = doc.DocumentNode.SelectNodes("//iframe[@src]"); var iframeNodes = doc.DocumentNode.SelectNodes("//iframe[@src]");
if (iframeNodes != null) if (iframeNodes != null)
{ {
@@ -569,9 +619,24 @@ public class VideoEmbedExtractor
var src = ifr.GetAttributeValue("src", "")?.Trim(); var src = ifr.GetAttributeValue("src", "")?.Trim();
if (string.IsNullOrWhiteSpace(src)) continue; if (string.IsNullOrWhiteSpace(src)) continue;
// 広告やトラッキング用の除外判定 var lowerSrc = src.ToLowerInvariant();
if (src.Contains("googletagmanager") || src.Contains("doubleclick") ||
src.Contains("googleads") || src.Contains("okbp.xyz") || src.Contains("pic-stash")) // 広告、バナー、トラッキング用の除外判定
if (lowerSrc.Contains("googletagmanager") || lowerSrc.Contains("doubleclick") ||
lowerSrc.Contains("googleads") || lowerSrc.Contains("okbp.xyz") || lowerSrc.Contains("pic-stash") ||
lowerSrc.Contains("dmm.co.jp") || lowerSrc.Contains("fanza") || lowerSrc.Contains("online-banner") ||
lowerSrc.Contains("banner") || lowerSrc.Contains("yomeno.xyz") || lowerSrc.Contains("vstserv.com") ||
lowerSrc.Contains("gggpppht.com") || lowerSrc.Contains("ad-stir") || lowerSrc.Contains("i-mobile") ||
lowerSrc.Contains("trafficjunky") || lowerSrc.Contains("juicyads") || lowerSrc.Contains("exoclick") ||
lowerSrc.Contains("popcash") || lowerSrc.Contains("syndication") || lowerSrc.Contains("mman.link") ||
lowerSrc.Contains("fam-ad") || lowerSrc.Contains("adarea") || lowerSrc.Contains("kokarea"))
{
continue;
}
// iframe属性(id, class)の広告キーワード判定
var idClass = (ifr.GetAttributeValue("id", "") + " " + ifr.GetAttributeValue("class", "")).ToLowerInvariant();
if (idClass.Contains("banner") || idClass.Contains("advert") || idClass.Contains("kokarea") || idClass.Contains("ad-"))
{ {
continue; continue;
} }