fix(kimochiinfo): FreshRSSでの更新未読化防止対応(キャッシュ引き継ぎと広告除去)

This commit is contained in:
armonica committed 2026-11-06 22:44:00 +09:00
1 parent 3b856f6cbf
commit 2a9e4c4218
1 file changed
+222 -14
+222 -14
View File
@@ -2,25 +2,75 @@
using AngleSharp.Html.Dom; using AngleSharp.Html.Dom;
using System; using System;
using System.Collections.Generic; using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.ServiceModel.Syndication; using System.ServiceModel.Syndication;
using System.Text; using System.Text;
using System.Text.RegularExpressions; using System.Text.RegularExpressions;
using System.Threading.Tasks;
using System.Xml;
using rss_generator.Class.Common; using rss_generator.Class.Common;
namespace rss_generator.Class.KimochiInfo; namespace rss_generator.Class.KimochiInfo;
/// <summary>
/// kimochi.info の Windows 向け日本語作品一覧から RSS フィード (kimochiinfo.xml) を生成するクラスです。
/// </summary>
internal class kimochiinfo internal class kimochiinfo
{ {
#region □クラス(Private)
/// <summary>
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
/// </summary>
private sealed class ExistingFeedEntry
{
/// <summary>
/// 記事のタイトル(バージョン表記を含む)を取得または設定します。
/// </summary>
public string Title { get; set; } = string.Empty;
/// <summary>
/// 記事の本文 HTML (Summary) を取得または設定します。
/// </summary>
public string SummaryHtml { get; set; } = string.Empty;
/// <summary>
/// 記事の初回公開日時を取得または設定します。
/// </summary>
public DateTimeOffset PublishDate { get; set; }
/// <summary>
/// 記事の最終更新日時を取得または設定します。
/// </summary>
public DateTimeOffset LastUpdatedTime { get; set; }
}
#endregion
#region □メソッド(Public)
/// <summary>
/// kimochi.info から記事情報を収集し、RSS フィード (kimochiinfo.xml) を生成・出力します。
/// 既存のフィードが存在する場合は同一バージョンの記事情報をそのまま引き継ぎ、
/// FreshRSS 等で「更新された記事を未読とする」が有効な場合でも不要な未読化が発生しないようにします。
/// </summary>
/// <param name="client">HTTP 通信用 HttpClient</param>
/// <returns>非同期タスク</returns>
public static async Task CreateRSSAsync(HttpClient client) public static async Task CreateRSSAsync(HttpClient client)
{ {
var baseURL = "https://kimochi.info/browse/"; var baseURL = "https://kimochi.info/browse/";
var query = "?platform=windows"; var query = "?platform=windows";
var fileName = "kimochiinfo.xml";
var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}")); var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}"));
var items = new List<SyndicationItem>(); var items = new List<SyndicationItem>();
try try
{ {
// 複数ページをまとめる場合に先に取得する // 既存フィードから過去のエントリ情報を読み込み(未更新記事の不要な未読化防止および高速化)
var existingEntries = LoadExistingEntries(fileName);
// 複数ページ(1〜5ページ)を取得
var docList = new List<IDocument>(); var docList = new List<IDocument>();
for (int pageId = 1; pageId <= 5; pageId++) for (int pageId = 1; pageId <= 5; pageId++)
{ {
@@ -55,6 +105,7 @@ internal class kimochiinfo
{ {
continue; continue;
} }
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null; var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null; var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
if (itemUri == null) if (itemUri == null)
@@ -87,13 +138,61 @@ internal class kimochiinfo
{ {
continue; continue;
} }
var guid = CmnUtil.CreateGuid(linkHref);
existingEntries.TryGetValue(linkHref, out var prevEntry);
if (prevEntry == null && !string.IsNullOrEmpty(guid))
{
existingEntries.TryGetValue(guid, out prevEntry);
}
// タイトル(バージョン含む)が前回の出力内容と完全一致している場合は未更新とみなす
bool isUnchanged = prevEntry != null &&
string.Equals(prevEntry.Title, title, StringComparison.Ordinal) &&
!string.IsNullOrEmpty(prevEntry.SummaryHtml);
SyndicationItem item;
if (isUnchanged && prevEntry != null)
{
// 【未更新記事】
// 前回の本文HTMLおよび日時(PublishDate / LastUpdatedTime)を1文字も変えずにそのまま維持。
// これによりFreshRSSのハッシュ計算結果が変わらず、「更新された記事を未読とする」有効時でも未読化を完全防止。
// さらに詳細ページへの不要なアクセスも0回となり処理速度が大幅に向上する。
item = new SyndicationItem(
title,
(string?)null,
itemUri,
guid,
prevEntry.LastUpdatedTime
)
{
PublishDate = prevEntry.PublishDate,
LastUpdatedTime = prevEntry.LastUpdatedTime,
Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html)
};
}
else
{
// 【新規記事またはバージョン更新記事】
var docContents = await CmnUtil.GetDocument(client, linkHref); var docContents = await CmnUtil.GetDocument(client, linkHref);
var divDetail = docContents.QuerySelector("main>div>div")!; if (docContents == null)
{
continue;
}
var divDetail = docContents.QuerySelector("main>div>div");
if (divDetail == null)
{
continue;
}
var metaPubDate = CmnUtil.GetPublishedTimeAsJst(docContents); var metaPubDate = CmnUtil.GetPublishedTimeAsJst(docContents);
var metaModDate = CmnUtil.GetModifiedTimeAsJst(docContents); var metaModDate = CmnUtil.GetModifiedTimeAsJst(docContents);
var body = new StringBuilder(); // 不要な広告・トラッキング要素を除去してコンテンツの無用な変動を抑制
RemoveUnwantedElements(divDetail);
var body = new StringBuilder();
body.Append($@"<div>バージョン:{versionText}</div>"); body.Append($@"<div>バージョン:{versionText}</div>");
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>"); body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>"); body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
@@ -110,29 +209,138 @@ internal class kimochiinfo
} }
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail)); body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
var item = new SyndicationItem( var summaryHtml = body.ToString();
// 日時設定(新規記事か更新記事かで適切に設定)
DateTimeOffset publishDate;
DateTimeOffset lastUpdatedTime;
if (prevEntry != null)
{
// バージョン更新された既存記事
publishDate = prevEntry.PublishDate != DateTimeOffset.MinValue
? prevEntry.PublishDate
: (metaPubDate.HasValue ? new DateTimeOffset(metaPubDate.Value) : DateTimeOffset.Now);
// バージョンが更新されたため、更新日時は最新の更新日時または現在日時を設定
lastUpdatedTime = metaModDate.HasValue
? new DateTimeOffset(metaModDate.Value)
: DateTimeOffset.Now;
}
else
{
// 新規記事
publishDate = metaPubDate.HasValue
? new DateTimeOffset(metaPubDate.Value)
: (metaModDate.HasValue ? new DateTimeOffset(metaModDate.Value) : DateTimeOffset.Now);
lastUpdatedTime = metaModDate.HasValue
? new DateTimeOffset(metaModDate.Value)
: publishDate;
}
item = new SyndicationItem(
title, title,
string.Empty, (string?)null,
itemUri, itemUri,
CmnUtil.CreateGuid(linkHref), guid,
metaModDate ?? (metaPubDate ?? DateTime.Now) // 取得できた公開日時があればそれをセット lastUpdatedTime
); )
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString()); {
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、 PublishDate = publishDate,
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。 LastUpdatedTime = lastUpdatedTime,
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); Summary = new TextSyndicationContent(summaryHtml, TextSyndicationContentKind.Html)
};
}
items.Add(item); items.Add(item);
} }
} }
feed.Items = items; feed.Items = items;
// kimochiinfo は画像リンクを Base64 変換せず、通常の画像リンクとして出力する // kimochiinfo は画像リンクを Base64 変換せず、通常の画像リンクとして出力する。
await CmnUtil.ExportXMLFileAsync("kimochiinfo.xml", feed, client, embedBase64: false); // また、直近24時間フィルタによる古い記事の消滅・ゾンビ未読化を防ぐため filter24Hours: false を指定する。
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, embedBase64: false, filter24Hours: false);
} }
catch (Exception ex) catch (Exception ex)
{ {
LogManager.AddLog($"[エラー] 【kimochiinfo】 {ex.Message}"); LogManager.AddLog($"[エラー] 【kimochiinfo】 {ex.Message}");
} }
} }
#endregion
#region □メソッド(Private)
/// <summary>
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。
/// URL および GUID の両方をキーとして辞書に格納します。
/// </summary>
/// <param name="fileName">XML ファイル名</param>
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
{
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
try
{
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
if (!File.Exists(xmlPath))
{
return existingEntries;
}
using var reader = XmlReader.Create(xmlPath);
var existingFeed = SyndicationFeed.Load(reader);
if (existingFeed?.Items != null)
{
foreach (var item in existingFeed.Items)
{
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
var guid = item.Id;
var entry = new ExistingFeedEntry
{
Title = item.Title?.Text?.Trim() ?? string.Empty,
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
PublishDate = item.PublishDate != DateTimeOffset.MinValue
? item.PublishDate
: (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now),
LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue
? item.LastUpdatedTime
: (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now)
};
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
{
existingEntries[linkUrl] = entry;
}
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
{
existingEntries[guid] = entry;
}
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[情報] kimochiinfo 既存エントリ読み込みスキップ: {ex.Message}");
}
return existingEntries;
}
/// <summary>
/// 詳細ページ内の不要な広告枠やトラッキング要素を除去します。
/// </summary>
/// <param name="element">対象の HTML 要素</param>
private static void RemoveUnwantedElements(IElement element)
{
var unwantedNodes = element.QuerySelectorAll("div[data-cl-spot], div[data-km], ins.adsbygoogle, script, style");
foreach (var node in unwantedNodes)
{
node.Remove();
}
}
#endregion
} }