From e14b2731747a95e8f72ae1e6fe5c4680733a6c9b Mon Sep 17 00:00:00 2001 From: "KOUJIRI-WIN11\\koujiri" Date: Thu, 3 Sep 2026 18:54:30 +0900 Subject: [PATCH] =?UTF-8?q?=E5=8F=96=E5=BE=97=E6=96=B9=E6=B3=95=E8=AA=BF?= =?UTF-8?q?=E6=95=B4?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- rss-generator/Class/RSS/aurahentai.cs | 260 ++++++++++++++++++++++++-- rss-generator/Program.cs | 3 +- 2 files changed, 242 insertions(+), 21 deletions(-) diff --git a/rss-generator/Class/RSS/aurahentai.cs b/rss-generator/Class/RSS/aurahentai.cs index 19df3c3..1f5d1e4 100644 --- a/rss-generator/Class/RSS/aurahentai.cs +++ b/rss-generator/Class/RSS/aurahentai.cs @@ -2,23 +2,38 @@ using AngleSharp.Dom; using AngleSharp.Html.Dom; using System; using System.Collections.Generic; +using System.IO; using System.Linq; using System.Net.Http; using System.ServiceModel.Syndication; using System.Text; +using System.Text.Json; using System.Text.RegularExpressions; using System.Threading.Tasks; +using System.Xml; namespace rss_generator.Class.RSS; internal class aurahentai { + /// + /// 既存フィード記事の比較用データ保持クラス + /// + private class ExistingFeedEntry + { + public string Title { get; set; } = string.Empty; + public string SummaryHtml { get; set; } = string.Empty; + public DateTimeOffset PublishDate { get; set; } + } + /// /// aurahentai.com の日本語作品一覧から RSS フィード (aurahentai.xml) を生成します。 - /// 一覧ページから作品情報を直接パースすることで、FlareSolverr へのリクエスト数を最小化(全150件をたった5回のリクエストで取得)し、 - /// 500 Internal Server Error や過負荷を根本防止しています。 + /// 一覧ページから作品情報を直接パースすることで FlareSolverr へのリクエスト数を大幅に削減し、 + /// 新規記事や更新記事のみコンテンツページの DOM (JSON-LD) から正確な datePublished を取得します。 + /// 既存記事はキャッシュを活用することで過負荷と重複登録を完全に防止します。 /// /// HttpClient インスタンス + /// FlareSolverr セッションID(省略時は自前で作成・破棄) public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null) { var baseURL = "https://aurahentai.com/language/japanese"; @@ -27,6 +42,9 @@ internal class aurahentai try { + // 既存の aurahentai.xml から過去に出力した各記事の内容(タイトル・本文・日時)を読み込む + var existingEntries = LoadExistingEntries("aurahentai.xml"); + // 外部からセッションが渡されなかった場合は自前で作成 bool ownSession = sessionId == null; if (ownSession) @@ -44,7 +62,7 @@ internal class aurahentai continue; } - var newItems = CreateFeedItemsFromListPage(document, pageId); + var newItems = await CreateFeedItemsFromListPageAsync(client, sessionId, document, pageId, existingEntries); items.AddRange(newItems); } } @@ -73,13 +91,71 @@ internal class aurahentai } /// - /// 一覧ページの IDocument から個別作品の SyndicationItem を生成します。 - /// タイトル、リンク、カバー画像、ページ数、カテゴリは一覧ページの DOM からすべて取得可能です。 + /// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時を読み込みます。 + /// URL および GUID の両方をキーとして辞書に格納します。 /// - /// AngleSharp の一覧ページ IDocument - /// ページ番号 - /// SyndicationItem のリスト - private static List CreateFeedItemsFromListPage(IDocument docListPage, int pageIndex) + /// XML ファイル名 + /// URL または GUID をキーとする既存エントリの辞書 + private static Dictionary LoadExistingEntries(string fileName) + { + var existingEntries = new Dictionary(StringComparer.OrdinalIgnoreCase); + try + { + string xmlPath = CmnUtil.GetExportXmlPath(fileName); + if (!File.Exists(xmlPath)) + { + return existingEntries; + } + + using var reader = XmlReader.Create(xmlPath); + var existingFeed = SyndicationFeed.Load(reader); + if (existingFeed?.Items != null) + { + foreach (var item in existingFeed.Items) + { + var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri; + var guid = item.Id; + var date = item.PublishDate != DateTimeOffset.MinValue + ? item.PublishDate + : item.LastUpdatedTime; + + var entry = new ExistingFeedEntry + { + Title = item.Title?.Text?.Trim() ?? string.Empty, + SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty, + PublishDate = date + }; + + if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl)) + { + existingEntries[linkUrl] = entry; + } + if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid)) + { + existingEntries[guid] = entry; + } + } + } + } + catch (Exception ex) + { + LogManager.AddLog($"[情報] aurahentai 既存エントリの読み込みスキップ: {ex.Message}"); + } + + return existingEntries; + } + + /// + /// 一覧ページの IDocument から個別作品の SyndicationItem を生成します。 + /// 新規記事または内容変更記事のみコンテンツページ (JSON-LD) から datePublished を取得します。 + /// 変更のない既存記事は前回の PublishDate をそのまま引き継ぎ、FlareSolverr の過負荷を防ぎます。 + /// + private static async Task> CreateFeedItemsFromListPageAsync( + HttpClient client, + string? sessionId, + IDocument docListPage, + int pageIndex, + Dictionary existingEntries) { var items = new List(); var articleElements = docListPage.QuerySelectorAll("main article"); @@ -117,11 +193,7 @@ internal class aurahentai var pageSpan = article.QuerySelectorAll("span").FirstOrDefault(s => s.TextContent.Trim().EndsWith("p", StringComparison.OrdinalIgnoreCase)); var pageCount = pageSpan?.TextContent?.Trim() ?? string.Empty; - // 5. 日時 (一覧の掲載順序を維持するために少しずつオフセット) - var pubDate = DateTime.Now.AddMinutes(-((pageIndex - 1) * 30 + itemIndex)); - itemIndex++; - - // 6. 本文 HTML の生成 + // 5. 本文 HTML の生成 var body = new StringBuilder(); // ギャラリー表示リンク @@ -148,17 +220,66 @@ internal class aurahentai body.Append($"

"); } - var item = new SyndicationItem + string currentSummaryHtml = body.ToString(); + + // 6. GUID の生成: 記事URLを渡して一意な文字列を生成 + string guid = CmnUtil.CreateGuid(linkHref); + + // 7. 内容比較および公開日時の決定 + ExistingFeedEntry? prevEntry = null; + if (existingEntries.TryGetValue(linkHref, out var byUrl)) + { + prevEntry = byUrl; + } + else if (existingEntries.TryGetValue(guid, out var byGuid)) + { + prevEntry = byGuid; + } + + DateTimeOffset pubDate; + if (prevEntry != null) + { + // 同じ記事が存在する場合、内部(タイトル・本文HTML)を比較 + bool isModified = !string.Equals(prevEntry.Title, title, StringComparison.Ordinal) + || !string.Equals(prevEntry.SummaryHtml, currentSummaryHtml, StringComparison.Ordinal); + + if (isModified) + { + // 内容が更新されている場合はコンテンツページの DOM から正確な投稿日時を取得 + var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId); + pubDate = datePublished ?? DateTimeOffset.Now; + } + else + { + // 内容が変わっていない場合は前回の公開日時をそのまま維持(コンテンツページへの不要なリクエストは 0 回) + pubDate = prevEntry.PublishDate != DateTimeOffset.MinValue + ? prevEntry.PublishDate + : DateTimeOffset.Now; + } + } + else + { + // 新規記事: コンテンツページの DOM (JSON-LD) から正確な datePublished を取得 + var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId); + pubDate = datePublished ?? DateTimeOffset.Now.AddSeconds(-((pageIndex - 1) * 30 + itemIndex)); + } + itemIndex++; + + // 8. SyndicationItem の生成 + var itemUri = new Uri(linkHref); + var item = new SyndicationItem( + title, + (string?)null, + itemUri, + guid, + pubDate + ) { - Title = new TextSyndicationContent(title), - Id = CmnUtil.CreateGuid(linkHref), PublishDate = pubDate, LastUpdatedTime = pubDate, - Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html) + Summary = new TextSyndicationContent(currentSummaryHtml, TextSyndicationContentKind.Html) }; - item.Links.Add(new SyndicationLink(new Uri(linkHref))); - if (!string.IsNullOrWhiteSpace(category)) { item.Categories.Add(new SyndicationCategory(category)); @@ -169,4 +290,103 @@ internal class aurahentai return items; } + + /// + /// 個別作品のコンテンツページを FlareSolverr で取得し、DOM 内の JSON-LD から datePublished を抽出します。 + /// + /// HttpClient + /// 作品詳細ページの URL + /// FlareSolverr セッションID + /// 日本時間の DateTimeOffset(取得失敗時は null) + private static async Task FetchDatePublishedAsync(HttpClient client, string linkHref, string? sessionId) + { + try + { + var docContents = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId); + if (docContents != null) + { + var pubDateStr = GetDatePublished(docContents); + if (!string.IsNullOrEmpty(pubDateStr) && DateTimeOffset.TryParse(pubDateStr, out DateTimeOffset parsedOffset)) + { + // 日本時間(UTC+9)のオフセットに変換 + return parsedOffset.ToOffset(TimeSpan.FromHours(9)); + } + } + } + catch (Exception ex) + { + LogManager.AddLog($"[警告] aurahentai コンテンツページ日時取得失敗 ({linkHref}): {ex.Message}"); + } + + return null; + } + + /// + /// IDocument 内の複数ある JSON-LD から、@type が "ImageGallery" の datePublished を取得します。 + /// + /// AngleSharp の IDocument + /// 取得した datePublished 文字列(見つからない場合は null) + private static string? GetDatePublished(IDocument document) + { + var scriptElements = document.QuerySelectorAll("script[type='application/ld+json']"); + + foreach (var script in scriptElements) + { + string jsonText = script.TextContent?.Trim() ?? string.Empty; + if (string.IsNullOrEmpty(jsonText)) + { + continue; + } + + try + { + using var jsonDoc = JsonDocument.Parse(jsonText); + var root = jsonDoc.RootElement; + + if (root.ValueKind == JsonValueKind.Object) + { + if (TryExtractDate(root, out var date)) + { + return date; + } + } + else if (root.ValueKind == JsonValueKind.Array) + { + foreach (var item in root.EnumerateArray()) + { + if (item.ValueKind == JsonValueKind.Object && TryExtractDate(item, out var date)) + { + return date; + } + } + } + } + catch (JsonException) + { + continue; + } + } + + return null; + } + + /// + /// @type が ImageGallery か判定し、datePublished の値を取り出します。 + /// + private static bool TryExtractDate(JsonElement element, out string? datePublished) + { + datePublished = null; + + if (element.TryGetProperty("@type", out var typeProp) && + string.Equals(typeProp.GetString(), "ImageGallery", StringComparison.OrdinalIgnoreCase)) + { + if (element.TryGetProperty("datePublished", out var dateProp)) + { + datePublished = dateProp.GetString(); + return true; + } + } + + return false; + } } diff --git a/rss-generator/Program.cs b/rss-generator/Program.cs index df1e4b5..b59d92a 100644 --- a/rss-generator/Program.cs +++ b/rss-generator/Program.cs @@ -81,8 +81,8 @@ while (true) tasks.Add(momonga_magazine.CreateRSSAsync(client)); } #if DEBUG + tasks.Add(FlareSolverrFeedManager.CreateAllRSSAsync(client)); #else -#endif tasks.Add(YouTubeFeedManager.CreateRSSAsync(client)); tasks.Add(rss_generator.Class.RSS.X.x_list.CreateRSSAsync(client)); tasks.Add(kimochiinfo.CreateRSSAsync(client)); @@ -98,6 +98,7 @@ while (true) // FlareSolverr 利用タスク群(単一セッションで順次実行し、完了後に破棄してメモリ最小化) tasks.Add(FlareSolverrFeedManager.CreateAllRSSAsync(client)); +#endif await Task.WhenAll(tasks);