fix(kimochiinfo): FreshRSSでの更新未読化防止対応(キャッシュ引き継ぎと広告除去)
This commit is contained in:
1 parent
3b856f6cbf
commit
2a9e4c4218
1 file changed
+241
-33
@@ -2,25 +2,75 @@
|
||||
using AngleSharp.Html.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.IO;
|
||||
using System.Linq;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.KimochiInfo;
|
||||
|
||||
/// <summary>
|
||||
/// kimochi.info の Windows 向け日本語作品一覧から RSS フィード (kimochiinfo.xml) を生成するクラスです。
|
||||
/// </summary>
|
||||
internal class kimochiinfo
|
||||
{
|
||||
#region □クラス(Private)
|
||||
|
||||
/// <summary>
|
||||
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
|
||||
/// </summary>
|
||||
private sealed class ExistingFeedEntry
|
||||
{
|
||||
/// <summary>
|
||||
/// 記事のタイトル(バージョン表記を含む)を取得または設定します。
|
||||
/// </summary>
|
||||
public string Title { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>
|
||||
/// 記事の本文 HTML (Summary) を取得または設定します。
|
||||
/// </summary>
|
||||
public string SummaryHtml { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>
|
||||
/// 記事の初回公開日時を取得または設定します。
|
||||
/// </summary>
|
||||
public DateTimeOffset PublishDate { get; set; }
|
||||
|
||||
/// <summary>
|
||||
/// 記事の最終更新日時を取得または設定します。
|
||||
/// </summary>
|
||||
public DateTimeOffset LastUpdatedTime { get; set; }
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Public)
|
||||
|
||||
/// <summary>
|
||||
/// kimochi.info から記事情報を収集し、RSS フィード (kimochiinfo.xml) を生成・出力します。
|
||||
/// 既存のフィードが存在する場合は同一バージョンの記事情報をそのまま引き継ぎ、
|
||||
/// FreshRSS 等で「更新された記事を未読とする」が有効な場合でも不要な未読化が発生しないようにします。
|
||||
/// </summary>
|
||||
/// <param name="client">HTTP 通信用 HttpClient</param>
|
||||
/// <returns>非同期タスク</returns>
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var baseURL = "https://kimochi.info/browse/";
|
||||
var query = "?platform=windows";
|
||||
var fileName = "kimochiinfo.xml";
|
||||
|
||||
var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
// 複数ページをまとめる場合に先に取得する
|
||||
// 既存フィードから過去のエントリ情報を読み込み(未更新記事の不要な未読化防止および高速化)
|
||||
var existingEntries = LoadExistingEntries(fileName);
|
||||
|
||||
// 複数ページ(1〜5ページ)を取得
|
||||
var docList = new List<IDocument>();
|
||||
for (int pageId = 1; pageId <= 5; pageId++)
|
||||
{
|
||||
@@ -55,6 +105,7 @@ internal class kimochiinfo
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
if (itemUri == null)
|
||||
@@ -87,52 +138,209 @@ internal class kimochiinfo
|
||||
{
|
||||
continue;
|
||||
}
|
||||
var docContents = await CmnUtil.GetDocument(client, linkHref);
|
||||
var divDetail = docContents.QuerySelector("main>div>div")!;
|
||||
var metaPubDate = CmnUtil.GetPublishedTimeAsJst(docContents);
|
||||
var metaModDate = CmnUtil.GetModifiedTimeAsJst(docContents);
|
||||
|
||||
var body = new StringBuilder();
|
||||
|
||||
body.Append($@"<div>バージョン:{versionText}</div>");
|
||||
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
|
||||
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||
|
||||
foreach (var a in divDetail.QuerySelectorAll("a"))
|
||||
var guid = CmnUtil.CreateGuid(linkHref);
|
||||
existingEntries.TryGetValue(linkHref, out var prevEntry);
|
||||
if (prevEntry == null && !string.IsNullOrEmpty(guid))
|
||||
{
|
||||
a.SetAttribute("target", "_blank");
|
||||
a.SetAttribute("rel", "noopener noreferrer");
|
||||
a.SetAttribute("referrerpolicy", "no-referrer");
|
||||
existingEntries.TryGetValue(guid, out prevEntry);
|
||||
}
|
||||
foreach (var img in divDetail.QuerySelectorAll("img"))
|
||||
{
|
||||
img.SetAttribute("referrerpolicy", "no-referrer");
|
||||
}
|
||||
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
||||
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
CmnUtil.CreateGuid(linkHref),
|
||||
metaModDate ?? (metaPubDate ?? DateTime.Now) // 取得できた公開日時があればそれをセット
|
||||
);
|
||||
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
||||
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
||||
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
// タイトル(バージョン含む)が前回の出力内容と完全一致している場合は未更新とみなす
|
||||
bool isUnchanged = prevEntry != null &&
|
||||
string.Equals(prevEntry.Title, title, StringComparison.Ordinal) &&
|
||||
!string.IsNullOrEmpty(prevEntry.SummaryHtml);
|
||||
|
||||
SyndicationItem item;
|
||||
if (isUnchanged && prevEntry != null)
|
||||
{
|
||||
// 【未更新記事】
|
||||
// 前回の本文HTMLおよび日時(PublishDate / LastUpdatedTime)を1文字も変えずにそのまま維持。
|
||||
// これによりFreshRSSのハッシュ計算結果が変わらず、「更新された記事を未読とする」有効時でも未読化を完全防止。
|
||||
// さらに詳細ページへの不要なアクセスも0回となり処理速度が大幅に向上する。
|
||||
item = new SyndicationItem(
|
||||
title,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
prevEntry.LastUpdatedTime
|
||||
)
|
||||
{
|
||||
PublishDate = prevEntry.PublishDate,
|
||||
LastUpdatedTime = prevEntry.LastUpdatedTime,
|
||||
Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
}
|
||||
else
|
||||
{
|
||||
// 【新規記事またはバージョン更新記事】
|
||||
var docContents = await CmnUtil.GetDocument(client, linkHref);
|
||||
if (docContents == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var divDetail = docContents.QuerySelector("main>div>div");
|
||||
if (divDetail == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var metaPubDate = CmnUtil.GetPublishedTimeAsJst(docContents);
|
||||
var metaModDate = CmnUtil.GetModifiedTimeAsJst(docContents);
|
||||
|
||||
// 不要な広告・トラッキング要素を除去してコンテンツの無用な変動を抑制
|
||||
RemoveUnwantedElements(divDetail);
|
||||
|
||||
var body = new StringBuilder();
|
||||
body.Append($@"<div>バージョン:{versionText}</div>");
|
||||
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
|
||||
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||
|
||||
foreach (var a in divDetail.QuerySelectorAll("a"))
|
||||
{
|
||||
a.SetAttribute("target", "_blank");
|
||||
a.SetAttribute("rel", "noopener noreferrer");
|
||||
a.SetAttribute("referrerpolicy", "no-referrer");
|
||||
}
|
||||
foreach (var img in divDetail.QuerySelectorAll("img"))
|
||||
{
|
||||
img.SetAttribute("referrerpolicy", "no-referrer");
|
||||
}
|
||||
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
||||
|
||||
var summaryHtml = body.ToString();
|
||||
|
||||
// 日時設定(新規記事か更新記事かで適切に設定)
|
||||
DateTimeOffset publishDate;
|
||||
DateTimeOffset lastUpdatedTime;
|
||||
|
||||
if (prevEntry != null)
|
||||
{
|
||||
// バージョン更新された既存記事
|
||||
publishDate = prevEntry.PublishDate != DateTimeOffset.MinValue
|
||||
? prevEntry.PublishDate
|
||||
: (metaPubDate.HasValue ? new DateTimeOffset(metaPubDate.Value) : DateTimeOffset.Now);
|
||||
|
||||
// バージョンが更新されたため、更新日時は最新の更新日時または現在日時を設定
|
||||
lastUpdatedTime = metaModDate.HasValue
|
||||
? new DateTimeOffset(metaModDate.Value)
|
||||
: DateTimeOffset.Now;
|
||||
}
|
||||
else
|
||||
{
|
||||
// 新規記事
|
||||
publishDate = metaPubDate.HasValue
|
||||
? new DateTimeOffset(metaPubDate.Value)
|
||||
: (metaModDate.HasValue ? new DateTimeOffset(metaModDate.Value) : DateTimeOffset.Now);
|
||||
|
||||
lastUpdatedTime = metaModDate.HasValue
|
||||
? new DateTimeOffset(metaModDate.Value)
|
||||
: publishDate;
|
||||
}
|
||||
|
||||
item = new SyndicationItem(
|
||||
title,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
lastUpdatedTime
|
||||
)
|
||||
{
|
||||
PublishDate = publishDate,
|
||||
LastUpdatedTime = lastUpdatedTime,
|
||||
Summary = new TextSyndicationContent(summaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
}
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
// kimochiinfo は画像リンクを Base64 変換せず、通常の画像リンクとして出力する
|
||||
await CmnUtil.ExportXMLFileAsync("kimochiinfo.xml", feed, client, embedBase64: false);
|
||||
// kimochiinfo は画像リンクを Base64 変換せず、通常の画像リンクとして出力する。
|
||||
// また、直近24時間フィルタによる古い記事の消滅・ゾンビ未読化を防ぐため filter24Hours: false を指定する。
|
||||
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, embedBase64: false, filter24Hours: false);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【kimochiinfo】 {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Private)
|
||||
|
||||
/// <summary>
|
||||
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。
|
||||
/// URL および GUID の両方をキーとして辞書に格納します。
|
||||
/// </summary>
|
||||
/// <param name="fileName">XML ファイル名</param>
|
||||
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
|
||||
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||||
{
|
||||
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||||
try
|
||||
{
|
||||
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
|
||||
if (!File.Exists(xmlPath))
|
||||
{
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
using var reader = XmlReader.Create(xmlPath);
|
||||
var existingFeed = SyndicationFeed.Load(reader);
|
||||
if (existingFeed?.Items != null)
|
||||
{
|
||||
foreach (var item in existingFeed.Items)
|
||||
{
|
||||
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||
var guid = item.Id;
|
||||
|
||||
var entry = new ExistingFeedEntry
|
||||
{
|
||||
Title = item.Title?.Text?.Trim() ?? string.Empty,
|
||||
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
|
||||
PublishDate = item.PublishDate != DateTimeOffset.MinValue
|
||||
? item.PublishDate
|
||||
: (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now),
|
||||
LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue
|
||||
? item.LastUpdatedTime
|
||||
: (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now)
|
||||
};
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
|
||||
{
|
||||
existingEntries[linkUrl] = entry;
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
|
||||
{
|
||||
existingEntries[guid] = entry;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[情報] kimochiinfo 既存エントリ読み込みスキップ: {ex.Message}");
|
||||
}
|
||||
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 詳細ページ内の不要な広告枠やトラッキング要素を除去します。
|
||||
/// </summary>
|
||||
/// <param name="element">対象の HTML 要素</param>
|
||||
private static void RemoveUnwantedElements(IElement element)
|
||||
{
|
||||
var unwantedNodes = element.QuerySelectorAll("div[data-cl-spot], div[data-km], ins.adsbygoogle, script, style");
|
||||
foreach (var node in unwantedNodes)
|
||||
{
|
||||
node.Remove();
|
||||
}
|
||||
}
|
||||
|
||||
#endregion
|
||||
}
|
||||
Reference in new issue
Block a user