diff --git a/rss-generator/Class/KimochiInfo/kimochiinfo.cs b/rss-generator/Class/KimochiInfo/kimochiinfo.cs index 1bd8057..9ff9d5f 100644 --- a/rss-generator/Class/KimochiInfo/kimochiinfo.cs +++ b/rss-generator/Class/KimochiInfo/kimochiinfo.cs @@ -2,25 +2,75 @@ using AngleSharp.Html.Dom; using System; using System.Collections.Generic; +using System.IO; +using System.Linq; using System.ServiceModel.Syndication; using System.Text; using System.Text.RegularExpressions; +using System.Threading.Tasks; +using System.Xml; using rss_generator.Class.Common; namespace rss_generator.Class.KimochiInfo; +/// +/// kimochi.info の Windows 向け日本語作品一覧から RSS フィード (kimochiinfo.xml) を生成するクラスです。 +/// internal class kimochiinfo { + #region □クラス(Private) + + /// + /// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。 + /// + private sealed class ExistingFeedEntry + { + /// + /// 記事のタイトル(バージョン表記を含む)を取得または設定します。 + /// + public string Title { get; set; } = string.Empty; + + /// + /// 記事の本文 HTML (Summary) を取得または設定します。 + /// + public string SummaryHtml { get; set; } = string.Empty; + + /// + /// 記事の初回公開日時を取得または設定します。 + /// + public DateTimeOffset PublishDate { get; set; } + + /// + /// 記事の最終更新日時を取得または設定します。 + /// + public DateTimeOffset LastUpdatedTime { get; set; } + } + + #endregion + + #region □メソッド(Public) + + /// + /// kimochi.info から記事情報を収集し、RSS フィード (kimochiinfo.xml) を生成・出力します。 + /// 既存のフィードが存在する場合は同一バージョンの記事情報をそのまま引き継ぎ、 + /// FreshRSS 等で「更新された記事を未読とする」が有効な場合でも不要な未読化が発生しないようにします。 + /// + /// HTTP 通信用 HttpClient + /// 非同期タスク public static async Task CreateRSSAsync(HttpClient client) { var baseURL = "https://kimochi.info/browse/"; var query = "?platform=windows"; + var fileName = "kimochiinfo.xml"; var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}")); var items = new List(); try { - // 複数ページをまとめる場合に先に取得する + // 既存フィードから過去のエントリ情報を読み込み(未更新記事の不要な未読化防止および高速化) + var existingEntries = LoadExistingEntries(fileName); + + // 複数ページ(1〜5ページ)を取得 var docList = new List(); for (int pageId = 1; pageId <= 5; pageId++) { @@ -55,6 +105,7 @@ internal class kimochiinfo { continue; } + var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null; var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null; if (itemUri == null) @@ -87,52 +138,209 @@ internal class kimochiinfo { continue; } - var docContents = await CmnUtil.GetDocument(client, linkHref); - var divDetail = docContents.QuerySelector("main>div>div")!; - var metaPubDate = CmnUtil.GetPublishedTimeAsJst(docContents); - var metaModDate = CmnUtil.GetModifiedTimeAsJst(docContents); - var body = new StringBuilder(); - - body.Append($@"
バージョン:{versionText}
"); - body.Append($@"
{title}
"); - body.Append($@"
"); - - foreach (var a in divDetail.QuerySelectorAll("a")) + var guid = CmnUtil.CreateGuid(linkHref); + existingEntries.TryGetValue(linkHref, out var prevEntry); + if (prevEntry == null && !string.IsNullOrEmpty(guid)) { - a.SetAttribute("target", "_blank"); - a.SetAttribute("rel", "noopener noreferrer"); - a.SetAttribute("referrerpolicy", "no-referrer"); + existingEntries.TryGetValue(guid, out prevEntry); } - foreach (var img in divDetail.QuerySelectorAll("img")) - { - img.SetAttribute("referrerpolicy", "no-referrer"); - } - body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail)); - var item = new SyndicationItem( - title, - string.Empty, - itemUri, - CmnUtil.CreateGuid(linkHref), - metaModDate ?? (metaPubDate ?? DateTime.Now) // 取得できた公開日時があればそれをセット - ); - // item.Content = SyndicationContent.CreateHtmlContent(body.ToString()); - // ※ RSS 2.0の場合は Content よりも Summary(タグ)が使われることが多いため、 - // 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。 - item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); + // タイトル(バージョン含む)が前回の出力内容と完全一致している場合は未更新とみなす + bool isUnchanged = prevEntry != null && + string.Equals(prevEntry.Title, title, StringComparison.Ordinal) && + !string.IsNullOrEmpty(prevEntry.SummaryHtml); + + SyndicationItem item; + if (isUnchanged && prevEntry != null) + { + // 【未更新記事】 + // 前回の本文HTMLおよび日時(PublishDate / LastUpdatedTime)を1文字も変えずにそのまま維持。 + // これによりFreshRSSのハッシュ計算結果が変わらず、「更新された記事を未読とする」有効時でも未読化を完全防止。 + // さらに詳細ページへの不要なアクセスも0回となり処理速度が大幅に向上する。 + item = new SyndicationItem( + title, + (string?)null, + itemUri, + guid, + prevEntry.LastUpdatedTime + ) + { + PublishDate = prevEntry.PublishDate, + LastUpdatedTime = prevEntry.LastUpdatedTime, + Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html) + }; + } + else + { + // 【新規記事またはバージョン更新記事】 + var docContents = await CmnUtil.GetDocument(client, linkHref); + if (docContents == null) + { + continue; + } + + var divDetail = docContents.QuerySelector("main>div>div"); + if (divDetail == null) + { + continue; + } + + var metaPubDate = CmnUtil.GetPublishedTimeAsJst(docContents); + var metaModDate = CmnUtil.GetModifiedTimeAsJst(docContents); + + // 不要な広告・トラッキング要素を除去してコンテンツの無用な変動を抑制 + RemoveUnwantedElements(divDetail); + + var body = new StringBuilder(); + body.Append($@"
バージョン:{versionText}
"); + body.Append($@"
{title}
"); + body.Append($@"
"); + + foreach (var a in divDetail.QuerySelectorAll("a")) + { + a.SetAttribute("target", "_blank"); + a.SetAttribute("rel", "noopener noreferrer"); + a.SetAttribute("referrerpolicy", "no-referrer"); + } + foreach (var img in divDetail.QuerySelectorAll("img")) + { + img.SetAttribute("referrerpolicy", "no-referrer"); + } + body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail)); + + var summaryHtml = body.ToString(); + + // 日時設定(新規記事か更新記事かで適切に設定) + DateTimeOffset publishDate; + DateTimeOffset lastUpdatedTime; + + if (prevEntry != null) + { + // バージョン更新された既存記事 + publishDate = prevEntry.PublishDate != DateTimeOffset.MinValue + ? prevEntry.PublishDate + : (metaPubDate.HasValue ? new DateTimeOffset(metaPubDate.Value) : DateTimeOffset.Now); + + // バージョンが更新されたため、更新日時は最新の更新日時または現在日時を設定 + lastUpdatedTime = metaModDate.HasValue + ? new DateTimeOffset(metaModDate.Value) + : DateTimeOffset.Now; + } + else + { + // 新規記事 + publishDate = metaPubDate.HasValue + ? new DateTimeOffset(metaPubDate.Value) + : (metaModDate.HasValue ? new DateTimeOffset(metaModDate.Value) : DateTimeOffset.Now); + + lastUpdatedTime = metaModDate.HasValue + ? new DateTimeOffset(metaModDate.Value) + : publishDate; + } + + item = new SyndicationItem( + title, + (string?)null, + itemUri, + guid, + lastUpdatedTime + ) + { + PublishDate = publishDate, + LastUpdatedTime = lastUpdatedTime, + Summary = new TextSyndicationContent(summaryHtml, TextSyndicationContentKind.Html) + }; + } items.Add(item); } } feed.Items = items; - // kimochiinfo は画像リンクを Base64 変換せず、通常の画像リンクとして出力する - await CmnUtil.ExportXMLFileAsync("kimochiinfo.xml", feed, client, embedBase64: false); + // kimochiinfo は画像リンクを Base64 変換せず、通常の画像リンクとして出力する。 + // また、直近24時間フィルタによる古い記事の消滅・ゾンビ未読化を防ぐため filter24Hours: false を指定する。 + await CmnUtil.ExportXMLFileAsync(fileName, feed, client, embedBase64: false, filter24Hours: false); } catch (Exception ex) { LogManager.AddLog($"[エラー] 【kimochiinfo】 {ex.Message}"); } } + + #endregion + + #region □メソッド(Private) + + /// + /// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。 + /// URL および GUID の両方をキーとして辞書に格納します。 + /// + /// XML ファイル名 + /// URL または GUID をキーとする既存エントリの辞書 + private static Dictionary LoadExistingEntries(string fileName) + { + var existingEntries = new Dictionary(StringComparer.OrdinalIgnoreCase); + try + { + string xmlPath = CmnUtil.GetExportXmlPath(fileName); + if (!File.Exists(xmlPath)) + { + return existingEntries; + } + + using var reader = XmlReader.Create(xmlPath); + var existingFeed = SyndicationFeed.Load(reader); + if (existingFeed?.Items != null) + { + foreach (var item in existingFeed.Items) + { + var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri; + var guid = item.Id; + + var entry = new ExistingFeedEntry + { + Title = item.Title?.Text?.Trim() ?? string.Empty, + SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty, + PublishDate = item.PublishDate != DateTimeOffset.MinValue + ? item.PublishDate + : (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now), + LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue + ? item.LastUpdatedTime + : (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now) + }; + + if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl)) + { + existingEntries[linkUrl] = entry; + } + if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid)) + { + existingEntries[guid] = entry; + } + } + } + } + catch (Exception ex) + { + LogManager.AddLog($"[情報] kimochiinfo 既存エントリ読み込みスキップ: {ex.Message}"); + } + + return existingEntries; + } + + /// + /// 詳細ページ内の不要な広告枠やトラッキング要素を除去します。 + /// + /// 対象の HTML 要素 + private static void RemoveUnwantedElements(IElement element) + { + var unwantedNodes = element.QuerySelectorAll("div[data-cl-spot], div[data-km], ins.adsbygoogle, script, style"); + foreach (var node in unwantedNodes) + { + node.Remove(); + } + } + + #endregion }