diff --git a/rss-generator/Class/Common/CmnUtil.cs b/rss-generator/Class/Common/CmnUtil.cs index d65f135..8e072a9 100644 --- a/rss-generator/Class/Common/CmnUtil.cs +++ b/rss-generator/Class/Common/CmnUtil.cs @@ -554,6 +554,12 @@ public class CmnUtil linkedCts.CancelAfter(TimeSpan.FromSeconds(15)); // ハング防止の最大15秒タイムアウト using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, linkedCts.Token); + // 403 Forbidden が返された場合は自動的に FlareSolverr 経由で取得 + if (response.StatusCode == HttpStatusCode.Forbidden) + { + LogManager.AddLog($"[情報] [CmnUtil] 403 Forbidden を検知したため、FlareSolverr 経由で取得します: {pageURL}"); + return await GetDocumentFlareSolverr(client, pageURL); + } response.EnsureSuccessStatusCode(); await using var stream = await response.Content.ReadAsStreamAsync(linkedCts.Token); diff --git a/rss-generator/Class/Eroterest/Core/EroterestCrawler.cs b/rss-generator/Class/Eroterest/Core/EroterestCrawler.cs index 663995d..be726a6 100644 --- a/rss-generator/Class/Eroterest/Core/EroterestCrawler.cs +++ b/rss-generator/Class/Eroterest/Core/EroterestCrawler.cs @@ -50,7 +50,7 @@ internal static class EroterestCrawler context.TraversedRoute.Add(currentUrl); using var timeoutCts = CancellationTokenSource.CreateLinkedTokenSource(ct); - timeoutCts.CancelAfter(TimeSpan.FromSeconds(8)); + timeoutCts.CancelAfter(TimeSpan.FromSeconds(30)); // FlareSolverr 実行時も余裕を持たせるため30秒に設定 try { diff --git a/rss-generator/Class/Eroterest/MovieEroterestConfig.cs b/rss-generator/Class/Eroterest/MovieEroterestConfig.cs index 1a3498f..e100565 100644 --- a/rss-generator/Class/Eroterest/MovieEroterestConfig.cs +++ b/rss-generator/Class/Eroterest/MovieEroterestConfig.cs @@ -46,6 +46,16 @@ internal static class MovieEroterestConfig { "巨乳", "https://movie.eroterest.net/?c=%E5%B7%A8%E4%B9%B3" } }; + /// + /// カテゴリ(タグ)別RSSの出力サブディレクトリ名 + /// + public const string CategorySubDir = "categories"; + + /// + /// 各カテゴリ(タグ)別フィードで保持・出力する最大記事数 + /// + public const int MaxArticlesPerCategoryFeed = 50; + /// /// 各フィードで取得する最大記事数 /// @@ -62,12 +72,12 @@ internal static class MovieEroterestConfig public const bool PreferOriginalVideoDateOverArticleDate = false; /// - /// 1記事あたりの動画探索における最大リンク階層深度(デフォルト: 3階層まで深掘り) + /// 1記事あたりの動画探索における最大リンク階層深度(10階層まで深掘り) /// - public const int MaxCrawlDepth = 3; + public const int MaxCrawlDepth = 10; /// /// 1記事あたりの動画探索で訪問する最大ページ数(過剰クロール防止) /// - public const int MaxCrawledPagesPerArticle = 10; + public const int MaxCrawledPagesPerArticle = 30; } diff --git a/rss-generator/Class/Eroterest/MovieEroterestFeedManager.cs b/rss-generator/Class/Eroterest/MovieEroterestFeedManager.cs index e06cd1f..e25e4a4 100644 --- a/rss-generator/Class/Eroterest/MovieEroterestFeedManager.cs +++ b/rss-generator/Class/Eroterest/MovieEroterestFeedManager.cs @@ -10,17 +10,18 @@ using System.ServiceModel.Syndication; using System.Text.RegularExpressions; using System.Threading; using System.Threading.Tasks; +using System.Xml; namespace rss_generator.Class.Eroterest; /// /// movie.eroterest.net の RSS フィード生成・管理を行うクラス -/// 出力先: output/movie.eroterest.net/ (all.xml, popular.xml, categories/*.xml) +/// 出力先: output/movie.eroterest.net/ (all.xml, popular.xml, categories/{タグ名}.xml) /// internal static class MovieEroterestFeedManager { /// - /// movie.eroterest.net の全フィード(新着、人気、各カテゴリ)を生成します。 + /// movie.eroterest.net の全フィード(新着、人気、各記事タグ別フィード)を生成します。 /// public static async Task CreateAllRSSAsync(HttpClient client) { @@ -29,16 +30,28 @@ internal static class MovieEroterestFeedManager try { + // 全記事キャッシュ(URL をキーとして新着・人気から取得した全記事情報を集約) + var allArticles = new Dictionary(StringComparer.OrdinalIgnoreCase); + // 1. 新着動画フィード (all.xml) try { - await GenerateFeedFromPageAsync( + var newVideos = await GenerateFeedFromPageAsync( client, MovieEroterestConfig.NewVideosUrl, "all.xml", "動画エロタレスト - 新着エロ動画", "動画エロタレストの最新新着エロ動画一覧(WebImageViewer対応)", subDir: MovieEroterestConfig.OutputSubDir); + + foreach (var entry in newVideos) + { + var key = entry.Info.ArticlePageUrl; + if (!string.IsNullOrWhiteSpace(key)) + { + allArticles[key] = (entry.Item, entry.Info); + } + } } catch (Exception ex) { @@ -48,42 +61,30 @@ internal static class MovieEroterestFeedManager // 2. 人気動画フィード (popular.xml) try { - await GenerateFeedFromPageAsync( + var popularVideos = await GenerateFeedFromPageAsync( client, MovieEroterestConfig.PopularVideosUrl, "popular.xml", "動画エロタレスト - 今日の人気動画", "動画エロタレストの今日人気ランキング動画一覧(WebImageViewer対応)", subDir: MovieEroterestConfig.OutputSubDir); + + foreach (var entry in popularVideos) + { + var key = entry.Info.ArticlePageUrl; + if (!string.IsNullOrWhiteSpace(key) && !allArticles.ContainsKey(key)) + { + allArticles[key] = (entry.Item, entry.Info); + } + } } catch (Exception ex) { LogManager.AddLog($"[エラー] [movie.eroterest.net] 人気フィード生成失敗: {ex.Message}"); } - // 3. 主要カテゴリ・チャンネル別フィード (categories/{category}.xml) - var categorySubDir = Path.Combine(MovieEroterestConfig.OutputSubDir, "categories"); - foreach (var kvp in MovieEroterestConfig.Categories) - { - var categoryName = kvp.Key; - var categoryUrl = kvp.Value; - var fileName = $"{categoryName}.xml"; - - try - { - await GenerateFeedFromPageAsync( - client, - categoryUrl, - fileName, - $"動画エロタレスト - {categoryName}", - $"動画エロタレストの「{categoryName}」チャンネル動画一覧(WebImageViewer対応)", - subDir: categorySubDir); - } - catch (Exception ex) - { - LogManager.AddLog($"[エラー] [movie.eroterest.net] カテゴリフィード生成失敗 ({categoryName}): {ex.Message}"); - } - } + // 3. 記事から取得した全タグに基づくカテゴリ別フィード (categories/{タグ名}.xml) + await GenerateTagFeedsAsync(client, allArticles.Values); sw.Stop(); LogManager.AddLog($"[情報] 【movie.eroterest.net】 全フィード出力完了 ({sw.Elapsed.TotalSeconds:0.##}秒)"); @@ -96,9 +97,79 @@ internal static class MovieEroterestFeedManager } /// - /// 指定されたページURLから記事一覧を取得・探索し、RSSフィードを出力します。 + /// 取得した全記事のタグを網羅的に抽出し、各タグについての RSS フィード (categories/{タグ名}.xml) を生成・蓄積します。 /// - private static async Task GenerateFeedFromPageAsync( + private static async Task GenerateTagFeedsAsync( + HttpClient client, + IEnumerable<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info)> articleEntries) + { + var articlesList = articleEntries.ToList(); + if (articlesList.Count == 0) + { + LogManager.AddLog("[警告] [movie.eroterest.net] タグ別フィード生成対象の記事が存在しません"); + return; + } + + // 全記事からタグを収集(重複除外) + var allTags = articlesList + .SelectMany(a => a.Info.Tags) + .Where(t => !string.IsNullOrWhiteSpace(t)) + .Select(t => t.Trim()) + .Distinct(StringComparer.OrdinalIgnoreCase) + .OrderBy(t => t) + .ToList(); + + LogManager.AddLog($"[情報] 【movie.eroterest.net】 記事から抽出されたユニークなタグ数: {allTags.Count} 件"); + + var categorySubDir = Path.Combine(MovieEroterestConfig.OutputSubDir, MovieEroterestConfig.CategorySubDir); + int successCount = 0; + + foreach (var tag in allTags) + { + var safeTagName = SanitizeFileName(tag); + if (string.IsNullOrWhiteSpace(safeTagName)) continue; + + var fileName = $"{safeTagName}.xml"; + + // 今回取得した記事の中でそのタグを持つアイテム + var matchingItems = articlesList + .Where(a => a.Info.Tags.Any(t => string.Equals(t.Trim(), tag, StringComparison.OrdinalIgnoreCase))) + .Select(a => a.Item) + .ToList(); + + if (matchingItems.Count == 0) continue; + + try + { + // 既存の XML ファイルがあれば読み込み、新着アイテムとマージして蓄積 + var existingItems = LoadExistingFeedItems(fileName, categorySubDir); + var mergedItems = MergeFeedItems(matchingItems, existingItems, MovieEroterestConfig.MaxArticlesPerCategoryFeed); + + var feed = new SyndicationFeed( + $"動画エロタレスト - {tag}", + $"動画エロタレストの「{tag}」タグ動画一覧(WebImageViewer対応)", + new Uri($"https://movie.eroterest.net/?word={Uri.EscapeDataString(tag)}") + ) + { + Items = mergedItems + }; + + await CmnUtil.ExportXMLFileAsync(fileName, feed, client, addDir: categorySubDir, embedBase64: false, filter24Hours: false); + successCount++; + } + catch (Exception ex) + { + LogManager.AddLog($"[エラー] [movie.eroterest.net] タグ別フィード生成失敗 ({tag}): {ex.Message}"); + } + } + + LogManager.AddLog($"[情報] 【movie.eroterest.net】 カテゴリ(タグ)別フィード出力完了: {successCount}/{allTags.Count} 件成功"); + } + + /// + /// 指定されたページURLから記事一覧を取得・探索し、RSSフィードを出力します。また、解析された記事一覧を返します。 + /// + private static async Task> GenerateFeedFromPageAsync( HttpClient client, string pageUrl, string outputFileName, @@ -106,11 +177,13 @@ internal static class MovieEroterestFeedManager string feedDescription, string subDir) { + var resultList = new List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>(); + var doc = await CmnUtil.GetDocument(client, pageUrl); if (doc == null) { LogManager.AddLog($"[警告] [movie.eroterest.net] ページ取得失敗: {pageUrl}"); - return; + return resultList; } // 記事カード一覧の抽出 @@ -118,7 +191,7 @@ internal static class MovieEroterestFeedManager if (itemElements.Length == 0) { LogManager.AddLog($"[警告] [movie.eroterest.net] 記事要素が見つかりませんでした: {pageUrl}"); - return; + return resultList; } var feed = new SyndicationFeed( @@ -184,7 +257,7 @@ internal static class MovieEroterestFeedManager // 同時並行数を制御して各記事の詳細と動画探索を実行 using var semaphore = new SemaphoreSlim(MovieEroterestConfig.MaxParallelTasks); - var syndicationEntries = new List<(SyndicationItem Item, int Order)>(); + var syndicationEntries = new List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>(); var tasks = preliminaryItems.Select(async item => { @@ -207,7 +280,7 @@ internal static class MovieEroterestFeedManager var synItem = MovieEroterestVideoParser.CreateSyndicationItem(articleInfo); lock (syndicationEntries) { - syndicationEntries.Add((synItem, item.Order)); + syndicationEntries.Add((synItem, articleInfo, item.Order)); } } } @@ -224,13 +297,139 @@ internal static class MovieEroterestFeedManager await Task.WhenAll(tasks); // 公開日時順(同日時の場合は一覧の掲載順を維持)にソート - feed.Items = syndicationEntries + var sortedEntries = syndicationEntries .OrderByDescending(e => e.Item.PublishDate) .ThenBy(e => e.Order) - .Select(e => e.Item) .ToList(); + feed.Items = sortedEntries.Select(e => e.Item).ToList(); + // XML ファイルへ出力 (filter24Hours: false で直近取得分を確実に出力) await CmnUtil.ExportXMLFileAsync(outputFileName, feed, client, addDir: subDir, embedBase64: false, filter24Hours: false); + + return sortedEntries; + } + + /// + /// ファイル名として使用できない不正な文字をサニタイズします。 + /// + private static string SanitizeFileName(string name) + { + if (string.IsNullOrWhiteSpace(name)) return string.Empty; + var invalidChars = Path.GetInvalidFileNameChars(); + var clean = string.Concat(name.Select(c => invalidChars.Contains(c) ? '_' : c)); + return clean.Trim(); + } + + /// + /// 既存のXMLファイルから SyndicationItem を読み込みます。 + /// + private static List LoadExistingFeedItems(string fileName, string subDir) + { + var items = new List(); + var filePath = CmnUtil.GetExportXmlPath(fileName, subDir); + if (!File.Exists(filePath)) return items; + + try + { + using var reader = XmlReader.Create(filePath); + var feed = SyndicationFeed.Load(reader); + if (feed?.Items != null) + { + foreach (var originalItem in feed.Items) + { + items.Add(CloneSyndicationItem(originalItem)); + } + } + } + catch (Exception ex) + { + LogManager.AddLog($"[警告] [movie.eroterest.net] 既存フィード読み込み失敗 ({fileName}): {ex.Message}"); + } + return items; + } + + /// + /// 新着アイテムと既存アイテムをマージし、重複を排除して公開日時順にソートします。 + /// + private static List MergeFeedItems( + IEnumerable newItems, + IEnumerable existingItems, + int maxCount) + { + var merged = new Dictionary(StringComparer.OrdinalIgnoreCase); + + // 1. 既存アイテムを追加 + foreach (var item in existingItems) + { + var key = GetItemKey(item); + if (!string.IsNullOrWhiteSpace(key)) + { + merged[key] = item; + } + } + + // 2. 新着アイテムで上書き・追加(最新の詳細情報を優先) + foreach (var item in newItems) + { + var key = GetItemKey(item); + if (!string.IsNullOrWhiteSpace(key)) + { + merged[key] = item; + } + } + + // 3. 公開日降順でソート + return merged.Values + .OrderByDescending(i => i.PublishDate != DateTimeOffset.MinValue ? i.PublishDate : i.LastUpdatedTime) + .Take(maxCount) + .ToList(); + } + + /// + /// SyndicationItem の一意キーを取得します(GUID またはリンクURL)。 + /// + private static string GetItemKey(SyndicationItem item) + { + if (!string.IsNullOrWhiteSpace(item.Id)) + { + return item.Id; + } + var link = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri; + if (!string.IsNullOrWhiteSpace(link)) + { + return link; + } + return item.Title?.Text ?? Guid.NewGuid().ToString(); + } + + /// + /// 既存の SyndicationItem から不要な名前空間や競合属性を除去したクローンを作成します。 + /// + private static SyndicationItem CloneSyndicationItem(SyndicationItem original) + { + var link = original.Links.FirstOrDefault()?.Uri; + var clone = new SyndicationItem( + original.Title?.Text ?? string.Empty, + string.Empty, + link, + original.Id ?? (link?.ToString() ?? Guid.NewGuid().ToString()), + original.PublishDate != DateTimeOffset.MinValue ? original.PublishDate : original.LastUpdatedTime + ) + { + PublishDate = original.PublishDate != DateTimeOffset.MinValue ? original.PublishDate : original.LastUpdatedTime, + LastUpdatedTime = original.LastUpdatedTime != DateTimeOffset.MinValue ? original.LastUpdatedTime : original.PublishDate, + Summary = original.Summary + }; + + foreach (var category in original.Categories) + { + if (!string.IsNullOrWhiteSpace(category.Name)) + { + clone.Categories.Add(new SyndicationCategory(category.Name.Trim())); + } + } + + return clone; } } diff --git a/rss-generator/Class/Eroterest/MovieEroterestVideoParser.cs b/rss-generator/Class/Eroterest/MovieEroterestVideoParser.cs index 94c6013..904bd6e 100644 --- a/rss-generator/Class/Eroterest/MovieEroterestVideoParser.cs +++ b/rss-generator/Class/Eroterest/MovieEroterestVideoParser.cs @@ -542,18 +542,37 @@ internal static class MovieEroterestVideoParser LastUpdatedTime = info.PublishDate }; - // カテゴリの追加 - if (!string.IsNullOrWhiteSpace(info.Provider)) + // カテゴリの追加(重複排除し、キーワードも漏れなく追加) + var seenCategories = new HashSet(StringComparer.OrdinalIgnoreCase); + + void AddCategory(string? name) { - item.Categories.Add(new SyndicationCategory(info.Provider)); + var trimmed = name?.Trim(); + if (!string.IsNullOrWhiteSpace(trimmed) && seenCategories.Add(trimmed)) + { + item.Categories.Add(new SyndicationCategory(trimmed)); + } } + + // 配信元プロバイダ + AddCategory(info.Provider); + + // タグ foreach (var tag in info.Tags) { - item.Categories.Add(new SyndicationCategory(tag)); + AddCategory(tag); } + + // 出演女優 foreach (var actress in info.Actresses) { - item.Categories.Add(new SyndicationCategory(actress)); + AddCategory(actress); + } + + // キーワード(重複しないように追加) + foreach (var word in info.Words) + { + AddCategory(word); } // Summary HTML の設定 diff --git a/rss-generator/Class/Skebetter/skebetter.cs b/rss-generator/Class/Skebetter/skebetter.cs index 0734274..da5d312 100644 --- a/rss-generator/Class/Skebetter/skebetter.cs +++ b/rss-generator/Class/Skebetter/skebetter.cs @@ -130,72 +130,13 @@ internal static class skebetter } /// - /// API から投稿リストを取得します。失敗した場合は Web ページの __NEXT_DATA__、 - /// それでも失敗した場合は FlareSolverr 経由でフォールバック取得します。 + /// 投稿リストを常に FlareSolverr 経由で取得します(API または Web ページの __NEXT_DATA__)。 /// private static async Task> FetchPostsAsync(HttpClient client, string apiUrl, string pageUrl, bool isIllust) { - // 1. 通常 HttpClient による API 取得を試行 try { - using var request = new HttpRequestMessage(HttpMethod.Get, apiUrl); - ApplyBrowserHeaders(request, referrer: pageUrl, isJson: true); - - using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead); - if (response.IsSuccessStatusCode) - { - var jsonString = await response.Content.ReadAsStringAsync(); - var apiResult = JsonSerializer.Deserialize(jsonString, JsonOptions); - if (apiResult != null) - { - var list = CombinePosts(apiResult); - if (list.Count > 0) - { - return list; - } - } - } - else - { - LogManager.AddLog($"[警告] [skebetter] API 取得失敗 (Status: {(int)response.StatusCode}): {apiUrl}。Web ページからの抽出を試みます。"); - } - } - catch (Exception ex) - { - LogManager.AddLog($"[警告] [skebetter] API リクエスト例外: {ex.Message}。Web ページからの抽出を試みます。"); - } - - // 2. フォールバック: 通常 HttpClient による Web ページの __NEXT_DATA__ からの抽出 - try - { - using var pageRequest = new HttpRequestMessage(HttpMethod.Get, pageUrl); - ApplyBrowserHeaders(pageRequest, referrer: null, isJson: false); - - using var pageResponse = await client.SendAsync(pageRequest, HttpCompletionOption.ResponseContentRead); - if (pageResponse.IsSuccessStatusCode) - { - var html = await pageResponse.Content.ReadAsStringAsync(); - var list = ExtractPostsFromNextData(html); - if (list != null && list.Count > 0) - { - LogManager.AddLog($"[情報] [skebetter] Web ページの __NEXT_DATA__ から {list.Count} 件の投稿を抽出しました"); - return list; - } - } - else - { - LogManager.AddLog($"[警告] [skebetter] Web ページ取得失敗 (Status: {(int)pageResponse.StatusCode}): {pageUrl}。"); - } - } - catch (Exception ex) - { - LogManager.AddLog($"[エラー] [skebetter] Web ページからの抽出例外: {ex.Message}"); - } - - // 3. フォールバック: Cloudflare ブロック(Status 520等)対策として FlareSolverr 経由で取得 - try - { - LogManager.AddLog($"[情報] [skebetter] 通常リクエストでの取得に失敗したため、FlareSolverr 経由での取得を試行します: {apiUrl}"); + LogManager.AddLog($"[情報] [skebetter] 常に FlareSolverr 経由で API 取得を実行します: {apiUrl}"); var flareJson = await CmnUtil.GetStringFlareSolverr(client, apiUrl); if (!string.IsNullOrEmpty(flareJson)) { @@ -226,7 +167,7 @@ internal static class skebetter } catch (Exception ex) { - LogManager.AddLog($"[エラー] [skebetter] FlareSolverr フォールバック例外: {ex.Message}"); + LogManager.AddLog($"[エラー] [skebetter] FlareSolverr 取得例外: {ex.Message}"); } return new List(); @@ -303,35 +244,12 @@ internal static class skebetter } /// - /// シリーズ作品の全ツイート・全ページ情報を API から取得します(失敗時は FlareSolverr フォールバック)。 + /// シリーズ作品の全ツイート・全ページ情報を常に FlareSolverr 経由で API から取得します。 /// private static async Task?> FetchSeriesTweetsAsync(HttpClient client, long seriesId) { string url = $"{SeriesDetailApiUrl}{seriesId}"; try - { - using var request = new HttpRequestMessage(HttpMethod.Get, url); - ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/series/{seriesId}", isJson: true); - - using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead); - if (response.IsSuccessStatusCode) - { - var jsonString = await response.Content.ReadAsStringAsync(); - var result = JsonSerializer.Deserialize(jsonString, JsonOptions); - var tweets = result?.Tweets?.Tweets; - if (tweets != null && tweets.Count > 0) - { - return tweets; - } - } - } - catch (Exception ex) - { - LogManager.AddLog($"[警告] [skebetter] シリーズ詳細通常取得失敗 (series_id: {seriesId}): {ex.Message}"); - } - - // FlareSolverr フォールバック - try { var flareJson = await CmnUtil.GetStringFlareSolverr(client, url); if (!string.IsNullOrEmpty(flareJson)) @@ -353,7 +271,7 @@ internal static class skebetter } /// - /// 通常作品のリプライツリー情報を API から取得します(複数ツイートがある場合、失敗時は FlareSolverr フォールバック)。 + /// 通常作品のリプライツリー情報を常に FlareSolverr 経由で API から取得します。 /// private static async Task?> FetchUserTweetDetailAsync(HttpClient client, string? userId, string? tweetId) { @@ -361,28 +279,6 @@ internal static class skebetter string url = $"{UserTweetDetailApiUrl}?user_id={userId}&tweet_uri={tweetId}&ssr=1"; try - { - using var request = new HttpRequestMessage(HttpMethod.Get, url); - ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/author/{userId}/manga/{tweetId}", isJson: true); - - using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead); - if (response.IsSuccessStatusCode) - { - var jsonString = await response.Content.ReadAsStringAsync(); - var result = JsonSerializer.Deserialize(jsonString, JsonOptions); - if (result?.Tweet != null && result.Tweet.Count > 1) - { - return result.Tweet; - } - } - } - catch (Exception ex) - { - LogManager.AddLog($"[警告] [skebetter] 個別詳細通常取得失敗 (tweet: {tweetId}): {ex.Message}"); - } - - // FlareSolverr フォールバック - try { var flareJson = await CmnUtil.GetStringFlareSolverr(client, url); if (!string.IsNullOrEmpty(flareJson))