feat: movie.eroterest.netの多階層動画探索エンジンおよびサイト別フォルダ・クラス構成の実装
This commit is contained in:
1 parent
0e095c8fa3
commit
838ff22c5e
20 files changed
+1257
-276
No files matched your search
@@ -0,0 +1,82 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Common;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
|
using System;
|
||||||
|
using System.Collections.Generic;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Blog2nt;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// *.2nt.com (2NTブログ系まとめサイト) のページ解析リゾルバー
|
||||||
|
/// 本文から動画サイトや別の中間まとめリンク、記事公開日を抽出します。
|
||||||
|
/// </summary>
|
||||||
|
internal class Blog2ntSiteResolver : IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
public string SiteName => "blog2nt";
|
||||||
|
public int Priority => 65;
|
||||||
|
|
||||||
|
public bool CanHandle(string url, IDocument? doc = null)
|
||||||
|
{
|
||||||
|
return !string.IsNullOrWhiteSpace(url) && url.Contains(".blog.2nt.com", StringComparison.OrdinalIgnoreCase);
|
||||||
|
}
|
||||||
|
|
||||||
|
public async Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct)
|
||||||
|
{
|
||||||
|
var result = new SiteResolveResult();
|
||||||
|
|
||||||
|
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
|
||||||
|
if (doc == null) return result;
|
||||||
|
|
||||||
|
// 投稿日
|
||||||
|
var dateEl = doc.QuerySelector(".entry-date, .date, time, .entry_date");
|
||||||
|
var dateText = dateEl?.TextContent?.Trim();
|
||||||
|
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
|
||||||
|
{
|
||||||
|
result.ArticlePublishDate = parsedDate;
|
||||||
|
}
|
||||||
|
|
||||||
|
var candidateLinks = doc.QuerySelectorAll(".entry_body a, .entry-body a, .entry a, a[href]");
|
||||||
|
var seen = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
|
||||||
|
foreach (var a in candidateLinks)
|
||||||
|
{
|
||||||
|
var href = a.GetAttribute("href")?.Trim();
|
||||||
|
if (string.IsNullOrWhiteSpace(href) || href.Equals(url, StringComparison.OrdinalIgnoreCase)) continue;
|
||||||
|
|
||||||
|
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("blog-category", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("movie.eroterest.net/popular", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!seen.Add(href)) continue;
|
||||||
|
|
||||||
|
// 動画リンクを優先
|
||||||
|
if (href.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("laxd.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("fc2.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
result.NextCandidateUrls.Insert(0, href);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
result.NextCandidateUrls.Add(href);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,100 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Common;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
|
using System;
|
||||||
|
using System.Collections.Generic;
|
||||||
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Blogterest;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// *.blogterest.net (エロタレスト系まとめブログ群) のページ解析リゾルバー
|
||||||
|
/// 本文やエントリーパーツから実動画リンク(Doga, LAXD, FC2, TXXX, Upornia, etc.)および次の中間まとめリンクを抽出します。
|
||||||
|
/// </summary>
|
||||||
|
internal class BlogterestSiteResolver : IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
public string SiteName => "blogterest";
|
||||||
|
public int Priority => 70;
|
||||||
|
|
||||||
|
public bool CanHandle(string url, IDocument? doc = null)
|
||||||
|
{
|
||||||
|
return !string.IsNullOrWhiteSpace(url) && url.Contains(".blogterest.net", StringComparison.OrdinalIgnoreCase);
|
||||||
|
}
|
||||||
|
|
||||||
|
public async Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct)
|
||||||
|
{
|
||||||
|
var result = new SiteResolveResult();
|
||||||
|
|
||||||
|
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
|
||||||
|
if (doc == null) return result;
|
||||||
|
|
||||||
|
// 1. 記事投稿日の抽出
|
||||||
|
var dateEl = doc.QuerySelector(".entryDate, .post-date, time, .date");
|
||||||
|
var dateText = dateEl?.TextContent?.Trim();
|
||||||
|
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
|
||||||
|
{
|
||||||
|
result.ArticlePublishDate = parsedDate;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 2. ブログ内の主要エリアからリンクを走査
|
||||||
|
var priorityLinks = doc.QuerySelectorAll(".entryImage a, .entryParts a, .pagePiece a, .entryBody a, .entry a");
|
||||||
|
var seenLinks = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
|
||||||
|
foreach (var el in priorityLinks)
|
||||||
|
{
|
||||||
|
var rawHref = el.GetAttribute("href")?.Trim();
|
||||||
|
if (string.IsNullOrWhiteSpace(rawHref)) continue;
|
||||||
|
|
||||||
|
// 静的アセットやエロタレストTOP、同一ページ自身を除外
|
||||||
|
if (rawHref.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
rawHref.EndsWith(".jpeg", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
rawHref.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
rawHref.EndsWith(".gif", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
rawHref.EndsWith(".css", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
rawHref.EndsWith(".js", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
rawHref.Contains("eroterest.net/popular", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
rawHref.Contains("eroterest.net/index/", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
rawHref.Equals(url, StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!seenLinks.Add(rawHref)) continue;
|
||||||
|
|
||||||
|
// 動画提供元サイトのリンクが見つかった場合は最優先で先頭に追加
|
||||||
|
if (IsDirectVideoHostingUrl(rawHref))
|
||||||
|
{
|
||||||
|
result.NextCandidateUrls.Insert(0, rawHref);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
result.NextCandidateUrls.Add(rawHref);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
|
private static bool IsDirectVideoHostingUrl(string url)
|
||||||
|
{
|
||||||
|
return url.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("video.laxd.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("adult.contents.fc2.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("hclips.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("hdzog.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("vjav.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("spankbang.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("xvideos.com", StringComparison.OrdinalIgnoreCase);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,119 @@
|
|||||||
|
using rss_generator.Class.Common;
|
||||||
|
using System;
|
||||||
|
using System.Collections.Generic;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Core;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 記事からリンクされた先のサイトを多階層(最大深度まで)自動追跡し、
|
||||||
|
/// 実際の動画ストリームまたは動画ページを特定する探索エンジン
|
||||||
|
/// </summary>
|
||||||
|
internal static class EroterestCrawler
|
||||||
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// 開始URL(まとめブログ等)から多階層探索を開始し、動画またはストリームを探索します。
|
||||||
|
/// </summary>
|
||||||
|
public static async Task<SiteResolveResult> CrawlAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string startUrl,
|
||||||
|
DateTimeOffset? referenceTime = null,
|
||||||
|
CancellationToken ct = default)
|
||||||
|
{
|
||||||
|
if (string.IsNullOrWhiteSpace(startUrl))
|
||||||
|
{
|
||||||
|
return SiteResolveResult.Empty();
|
||||||
|
}
|
||||||
|
|
||||||
|
var context = new SiteResolveContext
|
||||||
|
{
|
||||||
|
CurrentDepth = 1,
|
||||||
|
ReferenceTime = referenceTime ?? DateTimeOffset.Now
|
||||||
|
};
|
||||||
|
|
||||||
|
// 探索キュー: (URL, Depth)
|
||||||
|
var queue = new Queue<(string Url, int Depth)>();
|
||||||
|
queue.Enqueue((startUrl, 1));
|
||||||
|
context.VisitedUrls.Add(startUrl);
|
||||||
|
|
||||||
|
SiteResolveResult? bestResult = null;
|
||||||
|
|
||||||
|
while (queue.Count > 0 && context.TotalVisitedPages < MovieEroterestConfig.MaxCrawledPagesPerArticle)
|
||||||
|
{
|
||||||
|
if (ct.IsCancellationRequested) break;
|
||||||
|
|
||||||
|
var (currentUrl, depth) = queue.Dequeue();
|
||||||
|
context.CurrentDepth = depth;
|
||||||
|
context.TraversedRoute.Add(currentUrl);
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
var resolver = SiteResolverRegistry.GetResolver(currentUrl);
|
||||||
|
var result = await resolver.ResolveAsync(client, currentUrl, null, context, ct);
|
||||||
|
|
||||||
|
// 記事公開日の補完
|
||||||
|
if (bestResult == null || (!bestResult.ArticlePublishDate.HasValue && result.ArticlePublishDate.HasValue))
|
||||||
|
{
|
||||||
|
if (bestResult == null) bestResult = result;
|
||||||
|
else bestResult.ArticlePublishDate = result.ArticlePublishDate;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 1. 直接再生可能なストリーム(m3u8, mp4等)が見つかった場合は即終了
|
||||||
|
if (!string.IsNullOrWhiteSpace(result.StreamUrl))
|
||||||
|
{
|
||||||
|
result.TraversedRoute = context.TraversedRoute;
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 2. 確定した動画ページが見つかった場合
|
||||||
|
if (!string.IsNullOrWhiteSpace(result.VideoPageUrl))
|
||||||
|
{
|
||||||
|
bestResult = result;
|
||||||
|
|
||||||
|
// もしその動画ページ自体がストリームを解析できるサイト(例: do-ga.eroterest.net 等)であれば、さらに1回だけ追跡
|
||||||
|
if (depth < MovieEroterestConfig.MaxCrawlDepth && !context.VisitedUrls.Contains(result.VideoPageUrl))
|
||||||
|
{
|
||||||
|
var targetResolver = SiteResolverRegistry.GetResolver(result.VideoPageUrl);
|
||||||
|
if (targetResolver.SiteName == "doga")
|
||||||
|
{
|
||||||
|
context.VisitedUrls.Add(result.VideoPageUrl);
|
||||||
|
var deepVideoResult = await targetResolver.ResolveAsync(client, result.VideoPageUrl, null, context, ct);
|
||||||
|
if (!string.IsNullOrWhiteSpace(deepVideoResult.StreamUrl))
|
||||||
|
{
|
||||||
|
deepVideoResult.TraversedRoute = context.TraversedRoute;
|
||||||
|
return deepVideoResult;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// 最終動画ページとして十分な場合は終了
|
||||||
|
bestResult.TraversedRoute = context.TraversedRoute;
|
||||||
|
return bestResult;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 3. 動画が見つからず、次へ進む候補リンクがある場合
|
||||||
|
if (depth < MovieEroterestConfig.MaxCrawlDepth)
|
||||||
|
{
|
||||||
|
foreach (var nextUrl in result.NextCandidateUrls)
|
||||||
|
{
|
||||||
|
if (string.IsNullOrWhiteSpace(nextUrl)) continue;
|
||||||
|
|
||||||
|
// 同一URLの重複探索防止
|
||||||
|
if (context.VisitedUrls.Add(nextUrl))
|
||||||
|
{
|
||||||
|
// 動画サイトの可能性が高いリンクを優先的にキューの前方に配置
|
||||||
|
queue.Enqueue((nextUrl, depth + 1));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[警告] [EroterestCrawler] URL探索失敗 ({currentUrl}, 階層 {depth}): {ex.Message}");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return bestResult ?? SiteResolveResult.Empty();
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,36 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Core;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 各サイト(動画配信元または中継ブログ)の解析・ストリーム抽出を行うリゾルバーのインターフェース
|
||||||
|
/// </summary>
|
||||||
|
internal interface IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// サイトの識別名(例: "doga", "blogterest", "laxd", "fc2")
|
||||||
|
/// </summary>
|
||||||
|
string SiteName { get; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// リゾルバーのマッチング優先度(大きい値ほど優先的に評価)
|
||||||
|
/// </summary>
|
||||||
|
int Priority { get; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 指定されたURL(または既存のIDocument)をこのリゾルバーで処理可能かどうかを判定します。
|
||||||
|
/// </summary>
|
||||||
|
bool CanHandle(string url, IDocument? doc = null);
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 指定されたページを解析し、ストリームURL・元動画URL、または次に辿るべき候補リンクを抽出します。
|
||||||
|
/// </summary>
|
||||||
|
Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct);
|
||||||
|
}
|
||||||
@@ -0,0 +1,35 @@
|
|||||||
|
using System;
|
||||||
|
using System.Collections.Generic;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Core;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 記事ごとの多階層動画探索コンテキスト
|
||||||
|
/// </summary>
|
||||||
|
internal class SiteResolveContext
|
||||||
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// 現在の階層深さ(1から開始)
|
||||||
|
/// </summary>
|
||||||
|
public int CurrentDepth { get; set; } = 1;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 探索基準日時
|
||||||
|
/// </summary>
|
||||||
|
public DateTimeOffset ReferenceTime { get; set; } = DateTimeOffset.Now;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 訪問済みURLの集合(同一URLの二重取得・無限ループ防止)
|
||||||
|
/// </summary>
|
||||||
|
public HashSet<string> VisitedUrls { get; set; } = new(StringComparer.OrdinalIgnoreCase);
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 訪問したURLの経路履歴
|
||||||
|
/// </summary>
|
||||||
|
public List<string> TraversedRoute { get; set; } = new();
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 現在までに訪問した総ページ数
|
||||||
|
/// </summary>
|
||||||
|
public int TotalVisitedPages => VisitedUrls.Count;
|
||||||
|
}
|
||||||
@@ -0,0 +1,65 @@
|
|||||||
|
using System;
|
||||||
|
using System.Collections.Generic;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Core;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// サイト別リゾルバーによる解析結果
|
||||||
|
/// </summary>
|
||||||
|
internal class SiteResolveResult
|
||||||
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// 直接再生可能な動画ストリームURL(例: .m3u8, .mp4)
|
||||||
|
/// </summary>
|
||||||
|
public string? StreamUrl { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 実際の動画提供元ページURL(例: https://video.laxd.com/content/...)
|
||||||
|
/// </summary>
|
||||||
|
public string? VideoPageUrl { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 検出された動画サイト種別(例: "doga", "laxd", "fc2", "txxx", "upornia")
|
||||||
|
/// </summary>
|
||||||
|
public string? VideoSiteName { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 動画の識別子・ID
|
||||||
|
/// </summary>
|
||||||
|
public string? VideoSiteId { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 元の動画公開日(uploadDate 等)
|
||||||
|
/// </summary>
|
||||||
|
public DateTimeOffset? VideoUploadDate { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 記事の公開日(まとめ記事等の投稿日時)
|
||||||
|
/// </summary>
|
||||||
|
public DateTimeOffset? ArticlePublishDate { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 相対時間文字列(例: "4分前")
|
||||||
|
/// </summary>
|
||||||
|
public string? RelativeTimeText { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 探索経路
|
||||||
|
/// </summary>
|
||||||
|
public List<string> TraversedRoute { get; set; } = new();
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 中間記事やアンテナページの場合に、さらに奥へクロールする候補リンク一覧
|
||||||
|
/// </summary>
|
||||||
|
public List<string> NextCandidateUrls { get; set; } = new();
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 動画またはストリームが最終的に見つかったかどうか
|
||||||
|
/// </summary>
|
||||||
|
public bool HasFinalVideo => !string.IsNullOrWhiteSpace(StreamUrl) || !string.IsNullOrWhiteSpace(VideoPageUrl);
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 失敗またはスキップ用の空結果を生成
|
||||||
|
/// </summary>
|
||||||
|
public static SiteResolveResult Empty() => new();
|
||||||
|
}
|
||||||
@@ -0,0 +1,72 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Eroterest.Blog2nt;
|
||||||
|
using rss_generator.Class.Eroterest.Blogterest;
|
||||||
|
using rss_generator.Class.Eroterest.Doga;
|
||||||
|
using rss_generator.Class.Eroterest.Fc2;
|
||||||
|
using rss_generator.Class.Eroterest.Generic;
|
||||||
|
using rss_generator.Class.Eroterest.Laxd;
|
||||||
|
using rss_generator.Class.Eroterest.Ltt;
|
||||||
|
using rss_generator.Class.Eroterest.Senzuri;
|
||||||
|
using rss_generator.Class.Eroterest.Txxx;
|
||||||
|
using rss_generator.Class.Eroterest.Upornia;
|
||||||
|
using rss_generator.Class.Eroterest.Vjav;
|
||||||
|
using rss_generator.Class.Eroterest.WordPressBlog;
|
||||||
|
using rss_generator.Class.Eroterest.YouJizz;
|
||||||
|
using System;
|
||||||
|
using System.Collections.Generic;
|
||||||
|
using System.Linq;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Core;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 各サイトのリゾルバーを一元管理し、最適なリゾルバーを解決するレジストリ
|
||||||
|
/// </summary>
|
||||||
|
internal static class SiteResolverRegistry
|
||||||
|
{
|
||||||
|
private static readonly List<IEroterestSiteResolver> _resolvers = new();
|
||||||
|
private static readonly GenericSiteResolver _genericResolver = new();
|
||||||
|
|
||||||
|
static SiteResolverRegistry()
|
||||||
|
{
|
||||||
|
// 優先度順に自動ソートされるよう登録
|
||||||
|
// 1. 動画配信元リゾルバー(高優先度: 即時ストリーム/動画判定)
|
||||||
|
Register(new DogaSiteResolver());
|
||||||
|
Register(new LaxdSiteResolver());
|
||||||
|
Register(new Fc2SiteResolver());
|
||||||
|
Register(new TxxxSiteResolver());
|
||||||
|
Register(new UporniaSiteResolver());
|
||||||
|
Register(new SenzuriSiteResolver());
|
||||||
|
Register(new VjavSiteResolver());
|
||||||
|
Register(new YouJizzSiteResolver());
|
||||||
|
|
||||||
|
// 2. 中間ブログ・アンテナリゾルバー
|
||||||
|
Register(new LttSiteResolver());
|
||||||
|
Register(new BlogterestSiteResolver());
|
||||||
|
Register(new Blog2ntSiteResolver());
|
||||||
|
Register(new WordPressBlogSiteResolver());
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 新しいリゾルバーを登録します。
|
||||||
|
/// </summary>
|
||||||
|
public static void Register(IEroterestSiteResolver resolver)
|
||||||
|
{
|
||||||
|
_resolvers.Add(resolver);
|
||||||
|
_resolvers.Sort((a, b) => b.Priority.CompareTo(a.Priority));
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 指定されたURL(およびIDocument)に最も合致するリゾルバーを取得します。
|
||||||
|
/// </summary>
|
||||||
|
public static IEroterestSiteResolver GetResolver(string url, IDocument? doc = null)
|
||||||
|
{
|
||||||
|
foreach (var r in _resolvers)
|
||||||
|
{
|
||||||
|
if (r.CanHandle(url, doc))
|
||||||
|
{
|
||||||
|
return r;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return _genericResolver;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,117 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Common;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
|
using System;
|
||||||
|
using System.Text.Json;
|
||||||
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Doga;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// エロタレドーガ (do-ga.eroterest.net) のページ解析リゾルバー
|
||||||
|
/// application/ld+json から直接再生用 m3u8 ストリームと uploadDate を抽出します。
|
||||||
|
/// </summary>
|
||||||
|
internal class DogaSiteResolver : IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
public string SiteName => "doga";
|
||||||
|
public int Priority => 100; // 動画配信元として最優先
|
||||||
|
|
||||||
|
public bool CanHandle(string url, IDocument? doc = null)
|
||||||
|
{
|
||||||
|
return !string.IsNullOrWhiteSpace(url) && url.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase);
|
||||||
|
}
|
||||||
|
|
||||||
|
public async Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct)
|
||||||
|
{
|
||||||
|
var result = new SiteResolveResult
|
||||||
|
{
|
||||||
|
VideoPageUrl = url,
|
||||||
|
VideoSiteName = "doga"
|
||||||
|
};
|
||||||
|
|
||||||
|
// 動画ID抽出 (例: /video/detail/23683/)
|
||||||
|
var idMatch = Regex.Match(url, @"/video/(?:detail|play)/([0-9]+)");
|
||||||
|
if (idMatch.Success)
|
||||||
|
{
|
||||||
|
result.VideoSiteId = idMatch.Groups[1].Value;
|
||||||
|
}
|
||||||
|
|
||||||
|
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
|
||||||
|
if (doc == null) return result;
|
||||||
|
|
||||||
|
// 1. application/ld+json から contentUrl (h264.m3u8) と uploadDate を取得
|
||||||
|
var jsonLdScripts = doc.QuerySelectorAll("script[type='application/ld+json']");
|
||||||
|
foreach (var script in jsonLdScripts)
|
||||||
|
{
|
||||||
|
var content = script.TextContent;
|
||||||
|
if (string.IsNullOrWhiteSpace(content)) continue;
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
using var jsonDoc = JsonDocument.Parse(content);
|
||||||
|
var root = jsonDoc.RootElement;
|
||||||
|
|
||||||
|
// contentUrl
|
||||||
|
if (string.IsNullOrWhiteSpace(result.StreamUrl) && root.TryGetProperty("contentUrl", out var contentUrlProp))
|
||||||
|
{
|
||||||
|
var cUrl = contentUrlProp.GetString();
|
||||||
|
if (!string.IsNullOrWhiteSpace(cUrl))
|
||||||
|
{
|
||||||
|
result.StreamUrl = cUrl.Trim();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// uploadDate
|
||||||
|
if (!result.VideoUploadDate.HasValue && root.TryGetProperty("uploadDate", out var uploadDateProp))
|
||||||
|
{
|
||||||
|
var uDateStr = uploadDateProp.GetString();
|
||||||
|
if (!string.IsNullOrWhiteSpace(uDateStr) && DateTimeOffset.TryParse(uDateStr, out var parsedDate))
|
||||||
|
{
|
||||||
|
result.VideoUploadDate = parsedDate;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch
|
||||||
|
{
|
||||||
|
// 正規表現フォールバック
|
||||||
|
if (string.IsNullOrWhiteSpace(result.StreamUrl))
|
||||||
|
{
|
||||||
|
var m = Regex.Match(content, @"""contentUrl""\s*:\s*""([^""]+)""");
|
||||||
|
if (m.Success)
|
||||||
|
{
|
||||||
|
result.StreamUrl = m.Groups[1].Value.Trim();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!result.VideoUploadDate.HasValue)
|
||||||
|
{
|
||||||
|
var m = Regex.Match(content, @"""uploadDate""\s*:\s*""([^""]+)""");
|
||||||
|
if (m.Success && DateTimeOffset.TryParse(m.Groups[1].Value, out var parsedDate))
|
||||||
|
{
|
||||||
|
result.VideoUploadDate = parsedDate;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// 2. video タグや source タグからのフォールバック抽出
|
||||||
|
if (string.IsNullOrWhiteSpace(result.StreamUrl))
|
||||||
|
{
|
||||||
|
var sourceEl = doc.QuerySelector("video source, video[src]");
|
||||||
|
var vSrc = sourceEl?.GetAttribute("src")?.Trim();
|
||||||
|
if (!string.IsNullOrWhiteSpace(vSrc))
|
||||||
|
{
|
||||||
|
result.StreamUrl = vSrc;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,48 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
|
using System;
|
||||||
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Fc2;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// FC2 (adult.contents.fc2.com 等) の動画解析リゾルバー
|
||||||
|
/// アフィリエイトリンクや動画詳細ページから動画IDおよびプレイヤー情報を特定します。
|
||||||
|
/// </summary>
|
||||||
|
internal class Fc2SiteResolver : IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
public string SiteName => "fc2";
|
||||||
|
public int Priority => 90;
|
||||||
|
|
||||||
|
public bool CanHandle(string url, IDocument? doc = null)
|
||||||
|
{
|
||||||
|
return !string.IsNullOrWhiteSpace(url) &&
|
||||||
|
(url.Contains("adult.contents.fc2.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("video.fc2.com", StringComparison.OrdinalIgnoreCase));
|
||||||
|
}
|
||||||
|
|
||||||
|
public Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct)
|
||||||
|
{
|
||||||
|
var result = new SiteResolveResult
|
||||||
|
{
|
||||||
|
VideoPageUrl = url,
|
||||||
|
VideoSiteName = "fc2"
|
||||||
|
};
|
||||||
|
|
||||||
|
// 動画ID抽出 (例: /article/123456/ または aid=123456)
|
||||||
|
var match = Regex.Match(url, @"(?:article/|aid=)([0-9]+)");
|
||||||
|
if (match.Success)
|
||||||
|
{
|
||||||
|
result.VideoSiteId = match.Groups[1].Value;
|
||||||
|
}
|
||||||
|
|
||||||
|
return Task.FromResult(result);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,94 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Common;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
|
using System;
|
||||||
|
using System.Collections.Generic;
|
||||||
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Generic;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 未知のサイトやフォールバック用の汎用リゾルバー
|
||||||
|
/// ページ内のリンクや video タグ、ストリームURLを汎用的に探索します。
|
||||||
|
/// </summary>
|
||||||
|
internal class GenericSiteResolver : IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
public string SiteName => "generic";
|
||||||
|
public int Priority => 0; // 最低優先度(フォールバック)
|
||||||
|
|
||||||
|
public bool CanHandle(string url, IDocument? doc = null) => true;
|
||||||
|
|
||||||
|
public async Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct)
|
||||||
|
{
|
||||||
|
var result = new SiteResolveResult();
|
||||||
|
|
||||||
|
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
|
||||||
|
if (doc == null) return result;
|
||||||
|
|
||||||
|
// 1. 直接埋め込まれたストリーム (m3u8, mp4)
|
||||||
|
var videoSources = doc.QuerySelectorAll("video source, video[src]");
|
||||||
|
foreach (var s in videoSources)
|
||||||
|
{
|
||||||
|
var src = s.GetAttribute("src")?.Trim();
|
||||||
|
if (!string.IsNullOrWhiteSpace(src))
|
||||||
|
{
|
||||||
|
if (src.Contains(".m3u8", StringComparison.OrdinalIgnoreCase) || src.Contains(".mp4", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
result.StreamUrl = src;
|
||||||
|
result.VideoSiteName = "direct";
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// 2. ページ内のリンクから動画サイト候補を探索
|
||||||
|
var links = doc.QuerySelectorAll("a[href]");
|
||||||
|
var seen = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
|
||||||
|
foreach (var a in links)
|
||||||
|
{
|
||||||
|
var href = a.GetAttribute("href")?.Trim();
|
||||||
|
if (string.IsNullOrWhiteSpace(href) || href.Equals(url, StringComparison.OrdinalIgnoreCase)) continue;
|
||||||
|
|
||||||
|
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.EndsWith(".gif", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.EndsWith(".css", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.EndsWith(".js", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!seen.Add(href)) continue;
|
||||||
|
|
||||||
|
if (href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("video.laxd.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("adult.contents.fc2.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("hclips.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("hdzog.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("vjav.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("spankbang.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("xvideos.com", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
result.NextCandidateUrls.Insert(0, href);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
result.NextCandidateUrls.Add(href);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,46 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
|
using System;
|
||||||
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Laxd;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// LAXD (video.laxd.com) の動画解析リゾルバー
|
||||||
|
/// 動画ページから動画IDおよびプレイヤー情報を特定します。
|
||||||
|
/// </summary>
|
||||||
|
internal class LaxdSiteResolver : IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
public string SiteName => "laxd";
|
||||||
|
public int Priority => 90;
|
||||||
|
|
||||||
|
public bool CanHandle(string url, IDocument? doc = null)
|
||||||
|
{
|
||||||
|
return !string.IsNullOrWhiteSpace(url) && url.Contains("laxd.com", StringComparison.OrdinalIgnoreCase);
|
||||||
|
}
|
||||||
|
|
||||||
|
public Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct)
|
||||||
|
{
|
||||||
|
var result = new SiteResolveResult
|
||||||
|
{
|
||||||
|
VideoPageUrl = url,
|
||||||
|
VideoSiteName = "laxd"
|
||||||
|
};
|
||||||
|
|
||||||
|
// 動画ID抽出 (例: /content/123456/ または ?id=123456)
|
||||||
|
var match = Regex.Match(url, @"laxd\.com/(?:content/|embed/)?([0-9a-zA-Z_\-]+)");
|
||||||
|
if (match.Success)
|
||||||
|
{
|
||||||
|
result.VideoSiteId = match.Groups[1].Value;
|
||||||
|
}
|
||||||
|
|
||||||
|
return Task.FromResult(result);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,66 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Common;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
|
using System;
|
||||||
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Ltt;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// ドーガの王国 (do-ga.ltt.jp) のページ解析リゾルバー
|
||||||
|
/// 記事からエロタレドーガ (do-ga.eroterest.net) へのリンクおよび記事公開日を抽出します。
|
||||||
|
/// </summary>
|
||||||
|
internal class LttSiteResolver : IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
public string SiteName => "ltt";
|
||||||
|
public int Priority => 80;
|
||||||
|
|
||||||
|
public bool CanHandle(string url, IDocument? doc = null)
|
||||||
|
{
|
||||||
|
return !string.IsNullOrWhiteSpace(url) && url.Contains("do-ga.ltt.jp", StringComparison.OrdinalIgnoreCase);
|
||||||
|
}
|
||||||
|
|
||||||
|
public async Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct)
|
||||||
|
{
|
||||||
|
var result = new SiteResolveResult();
|
||||||
|
|
||||||
|
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
|
||||||
|
if (doc == null) return result;
|
||||||
|
|
||||||
|
// 記事公開日の抽出 (例: <time> や .date, YYYY/MM/DD)
|
||||||
|
var timeEl = doc.QuerySelector("time, .entryDate, .post-date");
|
||||||
|
var dateText = timeEl?.TextContent?.Trim();
|
||||||
|
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
|
||||||
|
{
|
||||||
|
result.ArticlePublishDate = parsedDate;
|
||||||
|
}
|
||||||
|
|
||||||
|
// リンクの走査
|
||||||
|
var links = doc.QuerySelectorAll("a[href]");
|
||||||
|
foreach (var a in links)
|
||||||
|
{
|
||||||
|
var href = a.GetAttribute("href")?.Trim();
|
||||||
|
if (string.IsNullOrWhiteSpace(href)) continue;
|
||||||
|
|
||||||
|
// エロタレドーガの個別ページを優先
|
||||||
|
if (href.Contains("do-ga.eroterest.net/video/detail/", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("do-ga.eroterest.net/video/play/", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
result.NextCandidateUrls.Insert(0, href);
|
||||||
|
}
|
||||||
|
else if (href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
result.NextCandidateUrls.Add(href);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -60,4 +60,14 @@ internal static class MovieEroterestConfig
|
|||||||
/// RSS の pubDate に元動画の公開日を優先するかどうか(false の場合は記事の実際の公開日を優先し、元動画公開日は本文に記載)
|
/// RSS の pubDate に元動画の公開日を優先するかどうか(false の場合は記事の実際の公開日を優先し、元動画公開日は本文に記載)
|
||||||
/// </summary>
|
/// </summary>
|
||||||
public const bool PreferOriginalVideoDateOverArticleDate = false;
|
public const bool PreferOriginalVideoDateOverArticleDate = false;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 1記事あたりの動画探索における最大リンク階層深度(デフォルト: 3階層まで深掘り)
|
||||||
|
/// </summary>
|
||||||
|
public const int MaxCrawlDepth = 3;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 1記事あたりの動画探索で訪問する最大ページ数(過剰クロール防止)
|
||||||
|
/// </summary>
|
||||||
|
public const int MaxCrawledPagesPerArticle = 10;
|
||||||
}
|
}
|
||||||
@@ -1,5 +1,6 @@
|
|||||||
using AngleSharp.Dom;
|
using AngleSharp.Dom;
|
||||||
using rss_generator.Class.Common;
|
using rss_generator.Class.Common;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
using System;
|
using System;
|
||||||
using System.Collections.Generic;
|
using System.Collections.Generic;
|
||||||
using System.Linq;
|
using System.Linq;
|
||||||
@@ -209,18 +210,36 @@ internal static class MovieEroterestVideoParser
|
|||||||
LogManager.AddLog($"[警告] [EroterestParser] 記事詳細取得失敗 ({articleUrl}): {ex.Message}");
|
LogManager.AddLog($"[警告] [EroterestParser] 記事詳細取得失敗 ({articleUrl}): {ex.Message}");
|
||||||
}
|
}
|
||||||
|
|
||||||
// 2. 内部リンクされているまとめブログ(*.blogterest.net/page/...)を巡回して実動画を探索
|
// 2. 内部リンクされているまとめブログ(*.blogterest.net/page/...等)から多階層で実動画を探索
|
||||||
if (!string.IsNullOrWhiteSpace(info.DestinationBlogUrl))
|
var crawlStartUrl = !string.IsNullOrWhiteSpace(info.DestinationBlogUrl)
|
||||||
|
? info.DestinationBlogUrl
|
||||||
|
: info.ArticlePageUrl;
|
||||||
|
|
||||||
|
try
|
||||||
{
|
{
|
||||||
try
|
var crawlResult = await EroterestCrawler.CrawlAsync(client, crawlStartUrl, referenceTime, ct);
|
||||||
|
|
||||||
|
if (crawlResult.HasFinalVideo || !string.IsNullOrWhiteSpace(crawlResult.StreamUrl))
|
||||||
{
|
{
|
||||||
await DeepSearchDestinationBlogAsync(client, info, ct);
|
info.ActualVideoUrl = crawlResult.VideoPageUrl ?? crawlResult.StreamUrl;
|
||||||
}
|
info.VideoSiteName = crawlResult.VideoSiteName;
|
||||||
catch (Exception ex)
|
info.VideoSiteId = crawlResult.VideoSiteId;
|
||||||
{
|
info.StreamUrl = crawlResult.StreamUrl;
|
||||||
LogManager.AddLog($"[警告] [EroterestParser] ブログ探索失敗 ({info.DestinationBlogUrl}): {ex.Message}");
|
|
||||||
|
if (crawlResult.VideoUploadDate.HasValue)
|
||||||
|
{
|
||||||
|
info.VideoPublishDate = crawlResult.VideoUploadDate;
|
||||||
|
}
|
||||||
|
if (!info.ArticlePublishDate.HasValue && crawlResult.ArticlePublishDate.HasValue)
|
||||||
|
{
|
||||||
|
info.ArticlePublishDate = crawlResult.ArticlePublishDate;
|
||||||
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[警告] [EroterestParser] クロール探索失敗 ({crawlStartUrl}): {ex.Message}");
|
||||||
|
}
|
||||||
|
|
||||||
// 3. WebImageViewer の再生URLを決定
|
// 3. WebImageViewer の再生URLを決定
|
||||||
BuildViewerUrl(info);
|
BuildViewerUrl(info);
|
||||||
@@ -231,274 +250,6 @@ internal static class MovieEroterestVideoParser
|
|||||||
return info;
|
return info;
|
||||||
}
|
}
|
||||||
|
|
||||||
/// <summary>
|
|
||||||
/// まとめブログのHTMLから実際の動画URLや埋め込み動画を検索します。
|
|
||||||
/// </summary>
|
|
||||||
private static async Task DeepSearchDestinationBlogAsync(HttpClient client, EroterestArticleInfo info, CancellationToken ct)
|
|
||||||
{
|
|
||||||
if (string.IsNullOrWhiteSpace(info.DestinationBlogUrl)) return;
|
|
||||||
|
|
||||||
var blogDoc = await CmnUtil.GetDocument(client, info.DestinationBlogUrl, cancellationToken: ct);
|
|
||||||
if (blogDoc == null) return;
|
|
||||||
|
|
||||||
// ブログ内の主要エリアからリンクを走査
|
|
||||||
var candidateLinks = new List<string>();
|
|
||||||
|
|
||||||
// 優先度1: エントリー画像およびパーツ内のリンク (.entryImage a, .entryParts a, .pagePiece a)
|
|
||||||
var priorityLinks = blogDoc.QuerySelectorAll(".entryImage a, .entryParts a, .pagePiece a, .entryBody a");
|
|
||||||
foreach (var el in priorityLinks)
|
|
||||||
{
|
|
||||||
var href = el.GetAttribute("href")?.Trim();
|
|
||||||
if (!string.IsNullOrWhiteSpace(href))
|
|
||||||
{
|
|
||||||
candidateLinks.Add(href);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// 優先度2: 本文内のその他リンク
|
|
||||||
var otherLinks = blogDoc.QuerySelectorAll(".entry a");
|
|
||||||
foreach (var el in otherLinks)
|
|
||||||
{
|
|
||||||
var href = el.GetAttribute("href")?.Trim();
|
|
||||||
if (!string.IsNullOrWhiteSpace(href) && !candidateLinks.Contains(href))
|
|
||||||
{
|
|
||||||
candidateLinks.Add(href);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// 探索候補リンクを評価
|
|
||||||
foreach (var rawHref in candidateLinks)
|
|
||||||
{
|
|
||||||
var fullUrl = NormalizeUrl(rawHref, info.DestinationBlogUrl);
|
|
||||||
|
|
||||||
// 無視するリンク(画像ファイルそのもの、エロタレストTOP、人気ランキング、同ブログ内TOPなど)
|
|
||||||
if (fullUrl.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
|
|
||||||
fullUrl.EndsWith(".jpeg", StringComparison.OrdinalIgnoreCase) ||
|
|
||||||
fullUrl.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
|
|
||||||
fullUrl.EndsWith(".gif", StringComparison.OrdinalIgnoreCase) ||
|
|
||||||
fullUrl.EndsWith(".webp", StringComparison.OrdinalIgnoreCase))
|
|
||||||
{
|
|
||||||
continue;
|
|
||||||
}
|
|
||||||
if (fullUrl.Contains("movie.eroterest.net/popular") ||
|
|
||||||
fullUrl.Equals("https://movie.eroterest.net/", StringComparison.OrdinalIgnoreCase) ||
|
|
||||||
fullUrl.Equals(info.DestinationBlogUrl, StringComparison.OrdinalIgnoreCase))
|
|
||||||
{
|
|
||||||
continue;
|
|
||||||
}
|
|
||||||
|
|
||||||
// A. エロタレドーガ (https://do-ga.eroterest.net/video/detail/...)
|
|
||||||
if (fullUrl.Contains("do-ga.eroterest.net/video/detail/", StringComparison.OrdinalIgnoreCase))
|
|
||||||
{
|
|
||||||
info.ActualVideoUrl = fullUrl;
|
|
||||||
info.VideoSiteName = "doga";
|
|
||||||
var m = Regex.Match(fullUrl, @"detail/([0-9]+)");
|
|
||||||
if (m.Success)
|
|
||||||
{
|
|
||||||
info.VideoSiteId = m.Groups[1].Value;
|
|
||||||
}
|
|
||||||
|
|
||||||
// エロタレドーガの詳細ページから直接 h264.m3u8 を取得
|
|
||||||
await ExtractDogaStreamAsync(client, info, fullUrl, ct);
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
|
|
||||||
// B. LAXD (video.laxd.com)
|
|
||||||
if (fullUrl.Contains("video.laxd.com", StringComparison.OrdinalIgnoreCase))
|
|
||||||
{
|
|
||||||
info.ActualVideoUrl = fullUrl;
|
|
||||||
info.VideoSiteName = "laxd";
|
|
||||||
var m = Regex.Match(fullUrl, @"content/([a-zA-Z0-9_-]+)");
|
|
||||||
if (m.Success)
|
|
||||||
{
|
|
||||||
info.VideoSiteId = m.Groups[1].Value;
|
|
||||||
}
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
|
|
||||||
// C. Upornia (upornia.com)
|
|
||||||
if (fullUrl.Contains("upornia.com/videos/", StringComparison.OrdinalIgnoreCase))
|
|
||||||
{
|
|
||||||
info.ActualVideoUrl = fullUrl;
|
|
||||||
info.VideoSiteName = "upornia";
|
|
||||||
var m = Regex.Match(fullUrl, @"videos/([0-9]+)");
|
|
||||||
if (m.Success)
|
|
||||||
{
|
|
||||||
info.VideoSiteId = m.Groups[1].Value;
|
|
||||||
}
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
|
|
||||||
// D. SpankBang (spankbang.com)
|
|
||||||
if (fullUrl.Contains("spankbang.com", StringComparison.OrdinalIgnoreCase))
|
|
||||||
{
|
|
||||||
info.ActualVideoUrl = fullUrl;
|
|
||||||
info.VideoSiteName = "spankbang";
|
|
||||||
var m = Regex.Match(fullUrl, @"(?:spankbang\.(?:com|party)/|/)([a-z0-9]+)(?:/video|/|$)", RegexOptions.IgnoreCase);
|
|
||||||
if (m.Success)
|
|
||||||
{
|
|
||||||
info.VideoSiteId = m.Groups[1].Value;
|
|
||||||
}
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
|
|
||||||
// E. 123av (123av.com)
|
|
||||||
if (fullUrl.Contains("123av.com", StringComparison.OrdinalIgnoreCase))
|
|
||||||
{
|
|
||||||
info.ActualVideoUrl = fullUrl;
|
|
||||||
info.VideoSiteName = "123av";
|
|
||||||
var m = Regex.Match(fullUrl, @"video/([a-zA-Z0-9_-]+)");
|
|
||||||
if (m.Success)
|
|
||||||
{
|
|
||||||
info.VideoSiteId = m.Groups[1].Value;
|
|
||||||
}
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
|
|
||||||
// F. MissAV (missav.ai, missav.com)
|
|
||||||
if (fullUrl.Contains("missav", StringComparison.OrdinalIgnoreCase))
|
|
||||||
{
|
|
||||||
info.ActualVideoUrl = fullUrl;
|
|
||||||
info.VideoSiteName = "missav";
|
|
||||||
var m = Regex.Match(fullUrl, @"(?:missav\.(?:ai|com)/|/)([a-zA-Z0-9_-]+)(?:/|$)", RegexOptions.IgnoreCase);
|
|
||||||
if (m.Success)
|
|
||||||
{
|
|
||||||
info.VideoSiteId = m.Groups[1].Value;
|
|
||||||
}
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
|
|
||||||
// G. XVIDEOS (xvideos.com)
|
|
||||||
if (fullUrl.Contains("xvideos.com", StringComparison.OrdinalIgnoreCase))
|
|
||||||
{
|
|
||||||
info.ActualVideoUrl = fullUrl;
|
|
||||||
info.VideoSiteName = "xvideos";
|
|
||||||
var m = Regex.Match(fullUrl, @"video\.?([0-9a-zA-Z]+)", RegexOptions.IgnoreCase);
|
|
||||||
if (m.Success)
|
|
||||||
{
|
|
||||||
info.VideoSiteId = m.Groups[1].Value;
|
|
||||||
}
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
|
|
||||||
// H. FC2 (video.fc2.com)
|
|
||||||
if (fullUrl.Contains("fc2.com", StringComparison.OrdinalIgnoreCase))
|
|
||||||
{
|
|
||||||
info.ActualVideoUrl = fullUrl;
|
|
||||||
info.VideoSiteName = "fc2";
|
|
||||||
var m = Regex.Match(fullUrl, @"content/([a-zA-Z0-9_-]+)");
|
|
||||||
if (m.Success)
|
|
||||||
{
|
|
||||||
info.VideoSiteId = m.Groups[1].Value;
|
|
||||||
}
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
|
|
||||||
// I. 直接の動画ファイル (.mp4, .m3u8)
|
|
||||||
if (fullUrl.EndsWith(".m3u8", StringComparison.OrdinalIgnoreCase) || fullUrl.EndsWith(".mp4", StringComparison.OrdinalIgnoreCase))
|
|
||||||
{
|
|
||||||
info.ActualVideoUrl = fullUrl;
|
|
||||||
info.StreamUrl = fullUrl;
|
|
||||||
info.VideoSiteName = "direct";
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
|
|
||||||
// J. その他の動画サイト(汎用候補として一旦保持)
|
|
||||||
if (string.IsNullOrEmpty(info.ActualVideoUrl) && !fullUrl.Contains("blogterest.net") && !fullUrl.Contains("eroterest.net"))
|
|
||||||
{
|
|
||||||
info.ActualVideoUrl = fullUrl;
|
|
||||||
info.VideoSiteName = "external";
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/// <summary>
|
|
||||||
/// エロタレドーガ (do-ga.eroterest.net) のページから application/ld+json 内の contentUrl (m3u8) を抽出します。
|
|
||||||
/// </summary>
|
|
||||||
private static async Task ExtractDogaStreamAsync(HttpClient client, EroterestArticleInfo info, string dogaUrl, CancellationToken ct)
|
|
||||||
{
|
|
||||||
try
|
|
||||||
{
|
|
||||||
var dogaDoc = await CmnUtil.GetDocument(client, dogaUrl, cancellationToken: ct);
|
|
||||||
if (dogaDoc == null) return;
|
|
||||||
|
|
||||||
// 1. application/ld+json から contentUrl (h264.m3u8) を取得
|
|
||||||
var jsonLdScripts = dogaDoc.QuerySelectorAll("script[type='application/ld+json']");
|
|
||||||
foreach (var script in jsonLdScripts)
|
|
||||||
{
|
|
||||||
var content = script.TextContent;
|
|
||||||
if (string.IsNullOrWhiteSpace(content)) continue;
|
|
||||||
|
|
||||||
try
|
|
||||||
{
|
|
||||||
using var doc = JsonDocument.Parse(content);
|
|
||||||
var root = doc.RootElement;
|
|
||||||
|
|
||||||
// contentUrl (h264.m3u8)
|
|
||||||
if (string.IsNullOrWhiteSpace(info.StreamUrl) && root.TryGetProperty("contentUrl", out var contentUrlProp))
|
|
||||||
{
|
|
||||||
var cUrl = contentUrlProp.GetString();
|
|
||||||
if (!string.IsNullOrWhiteSpace(cUrl))
|
|
||||||
{
|
|
||||||
info.StreamUrl = cUrl.Trim();
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// uploadDate (元動画の公開日)
|
|
||||||
if (!info.VideoPublishDate.HasValue && root.TryGetProperty("uploadDate", out var uploadDateProp))
|
|
||||||
{
|
|
||||||
var uDateStr = uploadDateProp.GetString();
|
|
||||||
if (!string.IsNullOrWhiteSpace(uDateStr) && DateTimeOffset.TryParse(uDateStr, out var parsedUploadDate))
|
|
||||||
{
|
|
||||||
info.VideoPublishDate = parsedUploadDate;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
catch
|
|
||||||
{
|
|
||||||
// JSONパースに失敗した場合は正規表現でフォールバック
|
|
||||||
if (string.IsNullOrWhiteSpace(info.StreamUrl))
|
|
||||||
{
|
|
||||||
var match = Regex.Match(content, @"""contentUrl""\s*:\s*""([^""]+)""");
|
|
||||||
if (match.Success)
|
|
||||||
{
|
|
||||||
info.StreamUrl = match.Groups[1].Value.Trim();
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if (!info.VideoPublishDate.HasValue)
|
|
||||||
{
|
|
||||||
var dateMatch = Regex.Match(content, @"""uploadDate""\s*:\s*""([^""]+)""");
|
|
||||||
if (dateMatch.Success && DateTimeOffset.TryParse(dateMatch.Groups[1].Value, out var parsedDate))
|
|
||||||
{
|
|
||||||
info.VideoPublishDate = parsedDate;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if (!string.IsNullOrWhiteSpace(info.StreamUrl) && info.VideoPublishDate.HasValue)
|
|
||||||
{
|
|
||||||
break;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// 2. data-preview や video source も確認
|
|
||||||
if (string.IsNullOrWhiteSpace(info.StreamUrl))
|
|
||||||
{
|
|
||||||
var sourceEl = dogaDoc.QuerySelector("video source, video[src]");
|
|
||||||
var vSrc = sourceEl?.GetAttribute("src")?.Trim();
|
|
||||||
if (!string.IsNullOrWhiteSpace(vSrc))
|
|
||||||
{
|
|
||||||
info.StreamUrl = NormalizeUrl(vSrc, dogaUrl);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
catch (Exception ex)
|
|
||||||
{
|
|
||||||
LogManager.AddLog($"[警告] [EroterestParser] エロタレドーガストリーム取得失敗 ({dogaUrl}): {ex.Message}");
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// WebImageViewer の再生リンクを生成します。
|
/// WebImageViewer の再生リンクを生成します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
|
|||||||
@@ -0,0 +1,45 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
|
using System;
|
||||||
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Senzuri;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Senzuri (senzuri.tube) の動画解析リゾルバー
|
||||||
|
/// </summary>
|
||||||
|
internal class SenzuriSiteResolver : IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
public string SiteName => "senzuri";
|
||||||
|
public int Priority => 90;
|
||||||
|
|
||||||
|
public bool CanHandle(string url, IDocument? doc = null)
|
||||||
|
{
|
||||||
|
return !string.IsNullOrWhiteSpace(url) && url.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase);
|
||||||
|
}
|
||||||
|
|
||||||
|
public Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct)
|
||||||
|
{
|
||||||
|
var result = new SiteResolveResult
|
||||||
|
{
|
||||||
|
VideoPageUrl = url,
|
||||||
|
VideoSiteName = "senzuri"
|
||||||
|
};
|
||||||
|
|
||||||
|
// 動画ID抽出 (例: /videos/10663687/...)
|
||||||
|
var match = Regex.Match(url, @"/videos/([0-9]+)");
|
||||||
|
if (match.Success)
|
||||||
|
{
|
||||||
|
result.VideoSiteId = match.Groups[1].Value;
|
||||||
|
}
|
||||||
|
|
||||||
|
return Task.FromResult(result);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,48 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
|
using System;
|
||||||
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Txxx;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// TXXX グループ (txxx.com, hclips.com, hdzog.com) の動画解析リゾルバー
|
||||||
|
/// </summary>
|
||||||
|
internal class TxxxSiteResolver : IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
public string SiteName => "txxx";
|
||||||
|
public int Priority => 90;
|
||||||
|
|
||||||
|
public bool CanHandle(string url, IDocument? doc = null)
|
||||||
|
{
|
||||||
|
return !string.IsNullOrWhiteSpace(url) &&
|
||||||
|
(url.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("hclips.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("hdzog.com", StringComparison.OrdinalIgnoreCase));
|
||||||
|
}
|
||||||
|
|
||||||
|
public Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct)
|
||||||
|
{
|
||||||
|
var result = new SiteResolveResult
|
||||||
|
{
|
||||||
|
VideoPageUrl = url,
|
||||||
|
VideoSiteName = "txxx"
|
||||||
|
};
|
||||||
|
|
||||||
|
// 動画ID抽出 (例: /videos/21779209/...)
|
||||||
|
var match = Regex.Match(url, @"/videos/([0-9]+)");
|
||||||
|
if (match.Success)
|
||||||
|
{
|
||||||
|
result.VideoSiteId = match.Groups[1].Value;
|
||||||
|
}
|
||||||
|
|
||||||
|
return Task.FromResult(result);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,45 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
|
using System;
|
||||||
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Upornia;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Upornia (upornia.com) の動画解析リゾルバー
|
||||||
|
/// </summary>
|
||||||
|
internal class UporniaSiteResolver : IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
public string SiteName => "upornia";
|
||||||
|
public int Priority => 90;
|
||||||
|
|
||||||
|
public bool CanHandle(string url, IDocument? doc = null)
|
||||||
|
{
|
||||||
|
return !string.IsNullOrWhiteSpace(url) && url.Contains("upornia.com", StringComparison.OrdinalIgnoreCase);
|
||||||
|
}
|
||||||
|
|
||||||
|
public Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct)
|
||||||
|
{
|
||||||
|
var result = new SiteResolveResult
|
||||||
|
{
|
||||||
|
VideoPageUrl = url,
|
||||||
|
VideoSiteName = "upornia"
|
||||||
|
};
|
||||||
|
|
||||||
|
// 動画ID抽出 (例: /videos/6167135/...)
|
||||||
|
var match = Regex.Match(url, @"/videos/([0-9]+)");
|
||||||
|
if (match.Success)
|
||||||
|
{
|
||||||
|
result.VideoSiteId = match.Groups[1].Value;
|
||||||
|
}
|
||||||
|
|
||||||
|
return Task.FromResult(result);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,45 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
|
using System;
|
||||||
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.Vjav;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// VJAV (vjav.com) の動画解析リゾルバー
|
||||||
|
/// </summary>
|
||||||
|
internal class VjavSiteResolver : IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
public string SiteName => "vjav";
|
||||||
|
public int Priority => 90;
|
||||||
|
|
||||||
|
public bool CanHandle(string url, IDocument? doc = null)
|
||||||
|
{
|
||||||
|
return !string.IsNullOrWhiteSpace(url) && url.Contains("vjav.com", StringComparison.OrdinalIgnoreCase);
|
||||||
|
}
|
||||||
|
|
||||||
|
public Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct)
|
||||||
|
{
|
||||||
|
var result = new SiteResolveResult
|
||||||
|
{
|
||||||
|
VideoPageUrl = url,
|
||||||
|
VideoSiteName = "vjav"
|
||||||
|
};
|
||||||
|
|
||||||
|
// 動画ID抽出 (例: /videos/123456/...)
|
||||||
|
var match = Regex.Match(url, @"/videos/([0-9]+)");
|
||||||
|
if (match.Success)
|
||||||
|
{
|
||||||
|
result.VideoSiteId = match.Groups[1].Value;
|
||||||
|
}
|
||||||
|
|
||||||
|
return Task.FromResult(result);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,112 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Common;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
|
using System;
|
||||||
|
using System.Collections.Generic;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.WordPressBlog;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 独立系・WordPress系まとめブログ (mirinend-world, sakusaku-mikumiku, piran-nha, etc.) の解析リゾルバー
|
||||||
|
/// 記事本文から動画提供元リンクや別アンテナへのリンク、記事公開日を抽出します。
|
||||||
|
/// </summary>
|
||||||
|
internal class WordPressBlogSiteResolver : IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
public string SiteName => "wordpress_blog";
|
||||||
|
public int Priority => 60;
|
||||||
|
|
||||||
|
public bool CanHandle(string url, IDocument? doc = null)
|
||||||
|
{
|
||||||
|
if (string.IsNullOrWhiteSpace(url)) return false;
|
||||||
|
|
||||||
|
// 主要な既知独立系まとめブログドメイン
|
||||||
|
return url.Contains("mirinend-world.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("sakusaku-mikumiku.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("iroharuka.net", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("piran-nha.site", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("mimozaa.tokyo", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("erogin.xyz", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("dokiwakuch.site", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("free-adufull.click", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("gorilla-sene.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("erostudio.net", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("bakunyu-eroland.net", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("erodouga-onaking.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("fetishavinfo.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("adgjmptwsh228.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("shico.xyz", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
url.Contains("happy-oppai.xyz", StringComparison.OrdinalIgnoreCase);
|
||||||
|
}
|
||||||
|
|
||||||
|
public async Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct)
|
||||||
|
{
|
||||||
|
var result = new SiteResolveResult();
|
||||||
|
|
||||||
|
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
|
||||||
|
if (doc == null) return result;
|
||||||
|
|
||||||
|
// 1. 投稿日の抽出
|
||||||
|
var dateEl = doc.QuerySelector(".entry-date, .post-date, time, .posted-on, .date");
|
||||||
|
var dateText = dateEl?.TextContent?.Trim();
|
||||||
|
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
|
||||||
|
{
|
||||||
|
result.ArticlePublishDate = parsedDate;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 2. 本文および周辺リンクの走査
|
||||||
|
var links = doc.QuerySelectorAll(".entry-content a, .post-content a, article a, main a, a[href]");
|
||||||
|
var seen = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
|
||||||
|
foreach (var a in links)
|
||||||
|
{
|
||||||
|
var href = a.GetAttribute("href")?.Trim();
|
||||||
|
if (string.IsNullOrWhiteSpace(href) || href.Equals(url, StringComparison.OrdinalIgnoreCase)) continue;
|
||||||
|
|
||||||
|
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.EndsWith(".jpeg", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.EndsWith(".gif", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.EndsWith(".css", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.EndsWith(".js", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("/tag/", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("/category/", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("movie.eroterest.net/popular", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("movie.eroterest.net/index/", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!seen.Add(href)) continue;
|
||||||
|
|
||||||
|
// 動画リンクは最優先で先頭に追加
|
||||||
|
if (href.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("hclips.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("hdzog.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("video.laxd.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("adult.contents.fc2.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("vjav.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("spankbang.com", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
href.Contains("xvideos.com", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
result.NextCandidateUrls.Insert(0, href);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
result.NextCandidateUrls.Add(href);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,45 @@
|
|||||||
|
using AngleSharp.Dom;
|
||||||
|
using rss_generator.Class.Eroterest.Core;
|
||||||
|
using System;
|
||||||
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.Eroterest.YouJizz;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// YouJizz (youjizz.com) の動画解析リゾルバー
|
||||||
|
/// </summary>
|
||||||
|
internal class YouJizzSiteResolver : IEroterestSiteResolver
|
||||||
|
{
|
||||||
|
public string SiteName => "youjizz";
|
||||||
|
public int Priority => 90;
|
||||||
|
|
||||||
|
public bool CanHandle(string url, IDocument? doc = null)
|
||||||
|
{
|
||||||
|
return !string.IsNullOrWhiteSpace(url) && url.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase);
|
||||||
|
}
|
||||||
|
|
||||||
|
public Task<SiteResolveResult> ResolveAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string url,
|
||||||
|
IDocument? preloadedDoc,
|
||||||
|
SiteResolveContext context,
|
||||||
|
CancellationToken ct)
|
||||||
|
{
|
||||||
|
var result = new SiteResolveResult
|
||||||
|
{
|
||||||
|
VideoPageUrl = url,
|
||||||
|
VideoSiteName = "youjizz"
|
||||||
|
};
|
||||||
|
|
||||||
|
// 動画ID抽出 (例: /videos/-74135932.html)
|
||||||
|
var match = Regex.Match(url, @"/videos/(?:-)?([0-9]+)");
|
||||||
|
if (match.Success)
|
||||||
|
{
|
||||||
|
result.VideoSiteId = match.Groups[1].Value;
|
||||||
|
}
|
||||||
|
|
||||||
|
return Task.FromResult(result);
|
||||||
|
}
|
||||||
|
}
|
||||||
Reference in new issue
Block a user