feat: EroterestCrawlerの探索10階層化・403時FlareSolverr対応、skebetterの常時FlareSolverr化、タグ別RSS生成およびキーワードcategory追加

This commit is contained in:
armonica committed 2026-09-10 18:23:25 +09:00
1 parent ca164a4ef2
commit 63fd421550
6 files changed
+283 -153

No files matched your search

+6
View File
@@ -554,6 +554,12 @@ public class CmnUtil
linkedCts.CancelAfter(TimeSpan.FromSeconds(15)); // ハング防止の最大15秒タイムアウト
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, linkedCts.Token);
// 403 Forbidden が返された場合は自動的に FlareSolverr 経由で取得
if (response.StatusCode == HttpStatusCode.Forbidden)
{
LogManager.AddLog($"[情報] [CmnUtil] 403 Forbidden を検知したため、FlareSolverr 経由で取得します: {pageURL}");
return await GetDocumentFlareSolverr(client, pageURL);
}
response.EnsureSuccessStatusCode();
await using var stream = await response.Content.ReadAsStreamAsync(linkedCts.Token);
@@ -50,7 +50,7 @@ internal static class EroterestCrawler
context.TraversedRoute.Add(currentUrl);
using var timeoutCts = CancellationTokenSource.CreateLinkedTokenSource(ct);
timeoutCts.CancelAfter(TimeSpan.FromSeconds(8));
timeoutCts.CancelAfter(TimeSpan.FromSeconds(30)); // FlareSolverr 実行時も余裕を持たせるため30秒に設定
try
{
@@ -46,6 +46,16 @@ internal static class MovieEroterestConfig
{ "巨乳", "https://movie.eroterest.net/?c=%E5%B7%A8%E4%B9%B3" }
};
/// <summary>
/// カテゴリ(タグ)別RSSの出力サブディレクトリ名
/// </summary>
public const string CategorySubDir = "categories";
/// <summary>
/// 各カテゴリ(タグ)別フィードで保持・出力する最大記事数
/// </summary>
public const int MaxArticlesPerCategoryFeed = 50;
/// <summary>
/// 各フィードで取得する最大記事数
/// </summary>
@@ -62,12 +72,12 @@ internal static class MovieEroterestConfig
public const bool PreferOriginalVideoDateOverArticleDate = false;
/// <summary>
/// 1記事あたりの動画探索における最大リンク階層深度(デフォルト: 3階層まで深掘り)
/// 1記事あたりの動画探索における最大リンク階層深度(10階層まで深掘り)
/// </summary>
public const int MaxCrawlDepth = 3;
public const int MaxCrawlDepth = 10;
/// <summary>
/// 1記事あたりの動画探索で訪問する最大ページ数(過剰クロール防止)
/// </summary>
public const int MaxCrawledPagesPerArticle = 10;
public const int MaxCrawledPagesPerArticle = 30;
}
@@ -10,17 +10,18 @@ using System.ServiceModel.Syndication;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
using System.Xml;
namespace rss_generator.Class.Eroterest;
/// <summary>
/// movie.eroterest.net の RSS フィード生成・管理を行うクラス
/// 出力先: output/movie.eroterest.net/ (all.xml, popular.xml, categories/*.xml)
/// 出力先: output/movie.eroterest.net/ (all.xml, popular.xml, categories/{タグ名}.xml)
/// </summary>
internal static class MovieEroterestFeedManager
{
/// <summary>
/// movie.eroterest.net の全フィード(新着、人気、各カテゴリ)を生成します。
/// movie.eroterest.net の全フィード(新着、人気、各記事タグ別フィード)を生成します。
/// </summary>
public static async Task CreateAllRSSAsync(HttpClient client)
{
@@ -29,16 +30,28 @@ internal static class MovieEroterestFeedManager
try
{
// 全記事キャッシュ(URL をキーとして新着・人気から取得した全記事情報を集約)
var allArticles = new Dictionary<string, (SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info)>(StringComparer.OrdinalIgnoreCase);
// 1. 新着動画フィード (all.xml)
try
{
await GenerateFeedFromPageAsync(
var newVideos = await GenerateFeedFromPageAsync(
client,
MovieEroterestConfig.NewVideosUrl,
"all.xml",
"動画エロタレスト - 新着エロ動画",
"動画エロタレストの最新新着エロ動画一覧(WebImageViewer対応)",
subDir: MovieEroterestConfig.OutputSubDir);
foreach (var entry in newVideos)
{
var key = entry.Info.ArticlePageUrl;
if (!string.IsNullOrWhiteSpace(key))
{
allArticles[key] = (entry.Item, entry.Info);
}
}
}
catch (Exception ex)
{
@@ -48,42 +61,30 @@ internal static class MovieEroterestFeedManager
// 2. 人気動画フィード (popular.xml)
try
{
await GenerateFeedFromPageAsync(
var popularVideos = await GenerateFeedFromPageAsync(
client,
MovieEroterestConfig.PopularVideosUrl,
"popular.xml",
"動画エロタレスト - 今日の人気動画",
"動画エロタレストの今日人気ランキング動画一覧(WebImageViewer対応)",
subDir: MovieEroterestConfig.OutputSubDir);
foreach (var entry in popularVideos)
{
var key = entry.Info.ArticlePageUrl;
if (!string.IsNullOrWhiteSpace(key) && !allArticles.ContainsKey(key))
{
allArticles[key] = (entry.Item, entry.Info);
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [movie.eroterest.net] 人気フィード生成失敗: {ex.Message}");
}
// 3. 主要カテゴリ・チャンネル別フィード (categories/{category}.xml)
var categorySubDir = Path.Combine(MovieEroterestConfig.OutputSubDir, "categories");
foreach (var kvp in MovieEroterestConfig.Categories)
{
var categoryName = kvp.Key;
var categoryUrl = kvp.Value;
var fileName = $"{categoryName}.xml";
try
{
await GenerateFeedFromPageAsync(
client,
categoryUrl,
fileName,
$"動画エロタレスト - {categoryName}",
$"動画エロタレストの「{categoryName}」チャンネル動画一覧(WebImageViewer対応)",
subDir: categorySubDir);
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [movie.eroterest.net] カテゴリフィード生成失敗 ({categoryName}): {ex.Message}");
}
}
// 3. 記事から取得した全タグに基づくカテゴリ別フィード (categories/{タグ名}.xml)
await GenerateTagFeedsAsync(client, allArticles.Values);
sw.Stop();
LogManager.AddLog($"[情報] 【movie.eroterest.net】 全フィード出力完了 ({sw.Elapsed.TotalSeconds:0.##}秒)");
@@ -96,9 +97,79 @@ internal static class MovieEroterestFeedManager
}
/// <summary>
/// 指定されたページURLから記事一覧を取得・探索し、RSSフィードを出力します。
/// 取得した全記事のタグを網羅的に抽出し、各タグについての RSS フィード (categories/{タグ名}.xml) を生成・蓄積します。
/// </summary>
private static async Task GenerateFeedFromPageAsync(
private static async Task GenerateTagFeedsAsync(
HttpClient client,
IEnumerable<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info)> articleEntries)
{
var articlesList = articleEntries.ToList();
if (articlesList.Count == 0)
{
LogManager.AddLog("[警告] [movie.eroterest.net] タグ別フィード生成対象の記事が存在しません");
return;
}
// 全記事からタグを収集(重複除外)
var allTags = articlesList
.SelectMany(a => a.Info.Tags)
.Where(t => !string.IsNullOrWhiteSpace(t))
.Select(t => t.Trim())
.Distinct(StringComparer.OrdinalIgnoreCase)
.OrderBy(t => t)
.ToList();
LogManager.AddLog($"[情報] 【movie.eroterest.net】 記事から抽出されたユニークなタグ数: {allTags.Count} 件");
var categorySubDir = Path.Combine(MovieEroterestConfig.OutputSubDir, MovieEroterestConfig.CategorySubDir);
int successCount = 0;
foreach (var tag in allTags)
{
var safeTagName = SanitizeFileName(tag);
if (string.IsNullOrWhiteSpace(safeTagName)) continue;
var fileName = $"{safeTagName}.xml";
// 今回取得した記事の中でそのタグを持つアイテム
var matchingItems = articlesList
.Where(a => a.Info.Tags.Any(t => string.Equals(t.Trim(), tag, StringComparison.OrdinalIgnoreCase)))
.Select(a => a.Item)
.ToList();
if (matchingItems.Count == 0) continue;
try
{
// 既存の XML ファイルがあれば読み込み、新着アイテムとマージして蓄積
var existingItems = LoadExistingFeedItems(fileName, categorySubDir);
var mergedItems = MergeFeedItems(matchingItems, existingItems, MovieEroterestConfig.MaxArticlesPerCategoryFeed);
var feed = new SyndicationFeed(
$"動画エロタレスト - {tag}",
$"動画エロタレストの「{tag}」タグ動画一覧(WebImageViewer対応)",
new Uri($"https://movie.eroterest.net/?word={Uri.EscapeDataString(tag)}")
)
{
Items = mergedItems
};
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, addDir: categorySubDir, embedBase64: false, filter24Hours: false);
successCount++;
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [movie.eroterest.net] タグ別フィード生成失敗 ({tag}): {ex.Message}");
}
}
LogManager.AddLog($"[情報] 【movie.eroterest.net】 カテゴリ(タグ)別フィード出力完了: {successCount}/{allTags.Count} 件成功");
}
/// <summary>
/// 指定されたページURLから記事一覧を取得・探索し、RSSフィードを出力します。また、解析された記事一覧を返します。
/// </summary>
private static async Task<List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>> GenerateFeedFromPageAsync(
HttpClient client,
string pageUrl,
string outputFileName,
@@ -106,11 +177,13 @@ internal static class MovieEroterestFeedManager
string feedDescription,
string subDir)
{
var resultList = new List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>();
var doc = await CmnUtil.GetDocument(client, pageUrl);
if (doc == null)
{
LogManager.AddLog($"[警告] [movie.eroterest.net] ページ取得失敗: {pageUrl}");
return;
return resultList;
}
// 記事カード一覧の抽出
@@ -118,7 +191,7 @@ internal static class MovieEroterestFeedManager
if (itemElements.Length == 0)
{
LogManager.AddLog($"[警告] [movie.eroterest.net] 記事要素が見つかりませんでした: {pageUrl}");
return;
return resultList;
}
var feed = new SyndicationFeed(
@@ -184,7 +257,7 @@ internal static class MovieEroterestFeedManager
// 同時並行数を制御して各記事の詳細と動画探索を実行
using var semaphore = new SemaphoreSlim(MovieEroterestConfig.MaxParallelTasks);
var syndicationEntries = new List<(SyndicationItem Item, int Order)>();
var syndicationEntries = new List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>();
var tasks = preliminaryItems.Select(async item =>
{
@@ -207,7 +280,7 @@ internal static class MovieEroterestFeedManager
var synItem = MovieEroterestVideoParser.CreateSyndicationItem(articleInfo);
lock (syndicationEntries)
{
syndicationEntries.Add((synItem, item.Order));
syndicationEntries.Add((synItem, articleInfo, item.Order));
}
}
}
@@ -224,13 +297,139 @@ internal static class MovieEroterestFeedManager
await Task.WhenAll(tasks);
// 公開日時順(同日時の場合は一覧の掲載順を維持)にソート
feed.Items = syndicationEntries
var sortedEntries = syndicationEntries
.OrderByDescending(e => e.Item.PublishDate)
.ThenBy(e => e.Order)
.Select(e => e.Item)
.ToList();
feed.Items = sortedEntries.Select(e => e.Item).ToList();
// XML ファイルへ出力 (filter24Hours: false で直近取得分を確実に出力)
await CmnUtil.ExportXMLFileAsync(outputFileName, feed, client, addDir: subDir, embedBase64: false, filter24Hours: false);
return sortedEntries;
}
/// <summary>
/// ファイル名として使用できない不正な文字をサニタイズします。
/// </summary>
private static string SanitizeFileName(string name)
{
if (string.IsNullOrWhiteSpace(name)) return string.Empty;
var invalidChars = Path.GetInvalidFileNameChars();
var clean = string.Concat(name.Select(c => invalidChars.Contains(c) ? '_' : c));
return clean.Trim();
}
/// <summary>
/// 既存のXMLファイルから SyndicationItem を読み込みます。
/// </summary>
private static List<SyndicationItem> LoadExistingFeedItems(string fileName, string subDir)
{
var items = new List<SyndicationItem>();
var filePath = CmnUtil.GetExportXmlPath(fileName, subDir);
if (!File.Exists(filePath)) return items;
try
{
using var reader = XmlReader.Create(filePath);
var feed = SyndicationFeed.Load(reader);
if (feed?.Items != null)
{
foreach (var originalItem in feed.Items)
{
items.Add(CloneSyndicationItem(originalItem));
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [movie.eroterest.net] 既存フィード読み込み失敗 ({fileName}): {ex.Message}");
}
return items;
}
/// <summary>
/// 新着アイテムと既存アイテムをマージし、重複を排除して公開日時順にソートします。
/// </summary>
private static List<SyndicationItem> MergeFeedItems(
IEnumerable<SyndicationItem> newItems,
IEnumerable<SyndicationItem> existingItems,
int maxCount)
{
var merged = new Dictionary<string, SyndicationItem>(StringComparer.OrdinalIgnoreCase);
// 1. 既存アイテムを追加
foreach (var item in existingItems)
{
var key = GetItemKey(item);
if (!string.IsNullOrWhiteSpace(key))
{
merged[key] = item;
}
}
// 2. 新着アイテムで上書き・追加(最新の詳細情報を優先)
foreach (var item in newItems)
{
var key = GetItemKey(item);
if (!string.IsNullOrWhiteSpace(key))
{
merged[key] = item;
}
}
// 3. 公開日降順でソート
return merged.Values
.OrderByDescending(i => i.PublishDate != DateTimeOffset.MinValue ? i.PublishDate : i.LastUpdatedTime)
.Take(maxCount)
.ToList();
}
/// <summary>
/// SyndicationItem の一意キーを取得します(GUID またはリンクURL)。
/// </summary>
private static string GetItemKey(SyndicationItem item)
{
if (!string.IsNullOrWhiteSpace(item.Id))
{
return item.Id;
}
var link = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
if (!string.IsNullOrWhiteSpace(link))
{
return link;
}
return item.Title?.Text ?? Guid.NewGuid().ToString();
}
/// <summary>
/// 既存の SyndicationItem から不要な名前空間や競合属性を除去したクローンを作成します。
/// </summary>
private static SyndicationItem CloneSyndicationItem(SyndicationItem original)
{
var link = original.Links.FirstOrDefault()?.Uri;
var clone = new SyndicationItem(
original.Title?.Text ?? string.Empty,
string.Empty,
link,
original.Id ?? (link?.ToString() ?? Guid.NewGuid().ToString()),
original.PublishDate != DateTimeOffset.MinValue ? original.PublishDate : original.LastUpdatedTime
)
{
PublishDate = original.PublishDate != DateTimeOffset.MinValue ? original.PublishDate : original.LastUpdatedTime,
LastUpdatedTime = original.LastUpdatedTime != DateTimeOffset.MinValue ? original.LastUpdatedTime : original.PublishDate,
Summary = original.Summary
};
foreach (var category in original.Categories)
{
if (!string.IsNullOrWhiteSpace(category.Name))
{
clone.Categories.Add(new SyndicationCategory(category.Name.Trim()));
}
}
return clone;
}
}
@@ -542,18 +542,37 @@ internal static class MovieEroterestVideoParser
LastUpdatedTime = info.PublishDate
};
// カテゴリの追加
if (!string.IsNullOrWhiteSpace(info.Provider))
// カテゴリの追加(重複排除し、キーワードも漏れなく追加)
var seenCategories = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
void AddCategory(string? name)
{
item.Categories.Add(new SyndicationCategory(info.Provider));
var trimmed = name?.Trim();
if (!string.IsNullOrWhiteSpace(trimmed) && seenCategories.Add(trimmed))
{
item.Categories.Add(new SyndicationCategory(trimmed));
}
}
// 配信元プロバイダ
AddCategory(info.Provider);
// タグ
foreach (var tag in info.Tags)
{
item.Categories.Add(new SyndicationCategory(tag));
AddCategory(tag);
}
// 出演女優
foreach (var actress in info.Actresses)
{
item.Categories.Add(new SyndicationCategory(actress));
AddCategory(actress);
}
// キーワード(重複しないように追加)
foreach (var word in info.Words)
{
AddCategory(word);
}
// Summary HTML の設定
+5 -109
View File
@@ -130,72 +130,13 @@ internal static class skebetter
}
/// <summary>
/// API から投稿リストを取得します。失敗した場合は Web ページの __NEXT_DATA__、
/// それでも失敗した場合は FlareSolverr 経由でフォールバック取得します。
/// 投稿リストを常に FlareSolverr 経由で取得します(API または Web ページの __NEXT_DATA__)。
/// </summary>
private static async Task<List<SkebetterPost>> FetchPostsAsync(HttpClient client, string apiUrl, string pageUrl, bool isIllust)
{
// 1. 通常 HttpClient による API 取得を試行
try
{
using var request = new HttpRequestMessage(HttpMethod.Get, apiUrl);
ApplyBrowserHeaders(request, referrer: pageUrl, isJson: true);
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
if (response.IsSuccessStatusCode)
{
var jsonString = await response.Content.ReadAsStringAsync();
var apiResult = JsonSerializer.Deserialize<SkebetterApiResponse>(jsonString, JsonOptions);
if (apiResult != null)
{
var list = CombinePosts(apiResult);
if (list.Count > 0)
{
return list;
}
}
}
else
{
LogManager.AddLog($"[警告] [skebetter] API 取得失敗 (Status: {(int)response.StatusCode}): {apiUrl}。Web ページからの抽出を試みます。");
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [skebetter] API リクエスト例外: {ex.Message}。Web ページからの抽出を試みます。");
}
// 2. フォールバック: 通常 HttpClient による Web ページの __NEXT_DATA__ からの抽出
try
{
using var pageRequest = new HttpRequestMessage(HttpMethod.Get, pageUrl);
ApplyBrowserHeaders(pageRequest, referrer: null, isJson: false);
using var pageResponse = await client.SendAsync(pageRequest, HttpCompletionOption.ResponseContentRead);
if (pageResponse.IsSuccessStatusCode)
{
var html = await pageResponse.Content.ReadAsStringAsync();
var list = ExtractPostsFromNextData(html);
if (list != null && list.Count > 0)
{
LogManager.AddLog($"[情報] [skebetter] Web ページの __NEXT_DATA__ から {list.Count} 件の投稿を抽出しました");
return list;
}
}
else
{
LogManager.AddLog($"[警告] [skebetter] Web ページ取得失敗 (Status: {(int)pageResponse.StatusCode}): {pageUrl}。");
}
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [skebetter] Web ページからの抽出例外: {ex.Message}");
}
// 3. フォールバック: Cloudflare ブロック(Status 520等)対策として FlareSolverr 経由で取得
try
{
LogManager.AddLog($"[情報] [skebetter] 通常リクエストでの取得に失敗したため、FlareSolverr 経由での取得を試行します: {apiUrl}");
LogManager.AddLog($"[情報] [skebetter] 常に FlareSolverr 経由で API 取得を実行します: {apiUrl}");
var flareJson = await CmnUtil.GetStringFlareSolverr(client, apiUrl);
if (!string.IsNullOrEmpty(flareJson))
{
@@ -226,7 +167,7 @@ internal static class skebetter
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [skebetter] FlareSolverr フォールバック例外: {ex.Message}");
LogManager.AddLog($"[エラー] [skebetter] FlareSolverr 取得例外: {ex.Message}");
}
return new List<SkebetterPost>();
@@ -303,35 +244,12 @@ internal static class skebetter
}
/// <summary>
/// シリーズ作品の全ツイート・全ページ情報を API から取得します(失敗時は FlareSolverr フォールバック)。
/// シリーズ作品の全ツイート・全ページ情報を常に FlareSolverr 経由で API から取得します。
/// </summary>
private static async Task<List<SkebetterPost>?> FetchSeriesTweetsAsync(HttpClient client, long seriesId)
{
string url = $"{SeriesDetailApiUrl}{seriesId}";
try
{
using var request = new HttpRequestMessage(HttpMethod.Get, url);
ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/series/{seriesId}", isJson: true);
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
if (response.IsSuccessStatusCode)
{
var jsonString = await response.Content.ReadAsStringAsync();
var result = JsonSerializer.Deserialize<MangaSeriesDetailResponse>(jsonString, JsonOptions);
var tweets = result?.Tweets?.Tweets;
if (tweets != null && tweets.Count > 0)
{
return tweets;
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [skebetter] シリーズ詳細通常取得失敗 (series_id: {seriesId}): {ex.Message}");
}
// FlareSolverr フォールバック
try
{
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
if (!string.IsNullOrEmpty(flareJson))
@@ -353,7 +271,7 @@ internal static class skebetter
}
/// <summary>
/// 通常作品のリプライツリー情報を API から取得します(複数ツイートがある場合、失敗時は FlareSolverr フォールバック)。
/// 通常作品のリプライツリー情報を常に FlareSolverr 経由で API から取得します。
/// </summary>
private static async Task<List<SkebetterPost>?> FetchUserTweetDetailAsync(HttpClient client, string? userId, string? tweetId)
{
@@ -361,28 +279,6 @@ internal static class skebetter
string url = $"{UserTweetDetailApiUrl}?user_id={userId}&tweet_uri={tweetId}&ssr=1";
try
{
using var request = new HttpRequestMessage(HttpMethod.Get, url);
ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/author/{userId}/manga/{tweetId}", isJson: true);
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
if (response.IsSuccessStatusCode)
{
var jsonString = await response.Content.ReadAsStringAsync();
var result = JsonSerializer.Deserialize<UserTweetDetailResponse>(jsonString, JsonOptions);
if (result?.Tweet != null && result.Tweet.Count > 1)
{
return result.Tweet;
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [skebetter] 個別詳細通常取得失敗 (tweet: {tweetId}): {ex.Message}");
}
// FlareSolverr フォールバック
try
{
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
if (!string.IsNullOrEmpty(flareJson))