fix(kimochiinfo): FreshRSSでの更新未読化防止対応(キャッシュ引き継ぎと広告除去)
This commit is contained in:
1 parent
3b856f6cbf
commit
2a9e4c4218
1 file changed
+241
-33
@@ -2,25 +2,75 @@
|
|||||||
using AngleSharp.Html.Dom;
|
using AngleSharp.Html.Dom;
|
||||||
using System;
|
using System;
|
||||||
using System.Collections.Generic;
|
using System.Collections.Generic;
|
||||||
|
using System.IO;
|
||||||
|
using System.Linq;
|
||||||
using System.ServiceModel.Syndication;
|
using System.ServiceModel.Syndication;
|
||||||
using System.Text;
|
using System.Text;
|
||||||
using System.Text.RegularExpressions;
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
using System.Xml;
|
||||||
using rss_generator.Class.Common;
|
using rss_generator.Class.Common;
|
||||||
|
|
||||||
namespace rss_generator.Class.KimochiInfo;
|
namespace rss_generator.Class.KimochiInfo;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// kimochi.info の Windows 向け日本語作品一覧から RSS フィード (kimochiinfo.xml) を生成するクラスです。
|
||||||
|
/// </summary>
|
||||||
internal class kimochiinfo
|
internal class kimochiinfo
|
||||||
{
|
{
|
||||||
|
#region □クラス(Private)
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
|
||||||
|
/// </summary>
|
||||||
|
private sealed class ExistingFeedEntry
|
||||||
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// 記事のタイトル(バージョン表記を含む)を取得または設定します。
|
||||||
|
/// </summary>
|
||||||
|
public string Title { get; set; } = string.Empty;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 記事の本文 HTML (Summary) を取得または設定します。
|
||||||
|
/// </summary>
|
||||||
|
public string SummaryHtml { get; set; } = string.Empty;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 記事の初回公開日時を取得または設定します。
|
||||||
|
/// </summary>
|
||||||
|
public DateTimeOffset PublishDate { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 記事の最終更新日時を取得または設定します。
|
||||||
|
/// </summary>
|
||||||
|
public DateTimeOffset LastUpdatedTime { get; set; }
|
||||||
|
}
|
||||||
|
|
||||||
|
#endregion
|
||||||
|
|
||||||
|
#region □メソッド(Public)
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// kimochi.info から記事情報を収集し、RSS フィード (kimochiinfo.xml) を生成・出力します。
|
||||||
|
/// 既存のフィードが存在する場合は同一バージョンの記事情報をそのまま引き継ぎ、
|
||||||
|
/// FreshRSS 等で「更新された記事を未読とする」が有効な場合でも不要な未読化が発生しないようにします。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="client">HTTP 通信用 HttpClient</param>
|
||||||
|
/// <returns>非同期タスク</returns>
|
||||||
public static async Task CreateRSSAsync(HttpClient client)
|
public static async Task CreateRSSAsync(HttpClient client)
|
||||||
{
|
{
|
||||||
var baseURL = "https://kimochi.info/browse/";
|
var baseURL = "https://kimochi.info/browse/";
|
||||||
var query = "?platform=windows";
|
var query = "?platform=windows";
|
||||||
|
var fileName = "kimochiinfo.xml";
|
||||||
|
|
||||||
var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}"));
|
var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}"));
|
||||||
var items = new List<SyndicationItem>();
|
var items = new List<SyndicationItem>();
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
// 複数ページをまとめる場合に先に取得する
|
// 既存フィードから過去のエントリ情報を読み込み(未更新記事の不要な未読化防止および高速化)
|
||||||
|
var existingEntries = LoadExistingEntries(fileName);
|
||||||
|
|
||||||
|
// 複数ページ(1〜5ページ)を取得
|
||||||
var docList = new List<IDocument>();
|
var docList = new List<IDocument>();
|
||||||
for (int pageId = 1; pageId <= 5; pageId++)
|
for (int pageId = 1; pageId <= 5; pageId++)
|
||||||
{
|
{
|
||||||
@@ -55,6 +105,7 @@ internal class kimochiinfo
|
|||||||
{
|
{
|
||||||
continue;
|
continue;
|
||||||
}
|
}
|
||||||
|
|
||||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||||
if (itemUri == null)
|
if (itemUri == null)
|
||||||
@@ -87,52 +138,209 @@ internal class kimochiinfo
|
|||||||
{
|
{
|
||||||
continue;
|
continue;
|
||||||
}
|
}
|
||||||
var docContents = await CmnUtil.GetDocument(client, linkHref);
|
|
||||||
var divDetail = docContents.QuerySelector("main>div>div")!;
|
|
||||||
var metaPubDate = CmnUtil.GetPublishedTimeAsJst(docContents);
|
|
||||||
var metaModDate = CmnUtil.GetModifiedTimeAsJst(docContents);
|
|
||||||
|
|
||||||
var body = new StringBuilder();
|
var guid = CmnUtil.CreateGuid(linkHref);
|
||||||
|
existingEntries.TryGetValue(linkHref, out var prevEntry);
|
||||||
body.Append($@"<div>バージョン:{versionText}</div>");
|
if (prevEntry == null && !string.IsNullOrEmpty(guid))
|
||||||
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
|
|
||||||
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
|
||||||
|
|
||||||
foreach (var a in divDetail.QuerySelectorAll("a"))
|
|
||||||
{
|
{
|
||||||
a.SetAttribute("target", "_blank");
|
existingEntries.TryGetValue(guid, out prevEntry);
|
||||||
a.SetAttribute("rel", "noopener noreferrer");
|
|
||||||
a.SetAttribute("referrerpolicy", "no-referrer");
|
|
||||||
}
|
}
|
||||||
foreach (var img in divDetail.QuerySelectorAll("img"))
|
|
||||||
{
|
|
||||||
img.SetAttribute("referrerpolicy", "no-referrer");
|
|
||||||
}
|
|
||||||
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
|
||||||
|
|
||||||
var item = new SyndicationItem(
|
// タイトル(バージョン含む)が前回の出力内容と完全一致している場合は未更新とみなす
|
||||||
title,
|
bool isUnchanged = prevEntry != null &&
|
||||||
string.Empty,
|
string.Equals(prevEntry.Title, title, StringComparison.Ordinal) &&
|
||||||
itemUri,
|
!string.IsNullOrEmpty(prevEntry.SummaryHtml);
|
||||||
CmnUtil.CreateGuid(linkHref),
|
|
||||||
metaModDate ?? (metaPubDate ?? DateTime.Now) // 取得できた公開日時があればそれをセット
|
SyndicationItem item;
|
||||||
);
|
if (isUnchanged && prevEntry != null)
|
||||||
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
{
|
||||||
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
// 【未更新記事】
|
||||||
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
// 前回の本文HTMLおよび日時(PublishDate / LastUpdatedTime)を1文字も変えずにそのまま維持。
|
||||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
// これによりFreshRSSのハッシュ計算結果が変わらず、「更新された記事を未読とする」有効時でも未読化を完全防止。
|
||||||
|
// さらに詳細ページへの不要なアクセスも0回となり処理速度が大幅に向上する。
|
||||||
|
item = new SyndicationItem(
|
||||||
|
title,
|
||||||
|
(string?)null,
|
||||||
|
itemUri,
|
||||||
|
guid,
|
||||||
|
prevEntry.LastUpdatedTime
|
||||||
|
)
|
||||||
|
{
|
||||||
|
PublishDate = prevEntry.PublishDate,
|
||||||
|
LastUpdatedTime = prevEntry.LastUpdatedTime,
|
||||||
|
Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html)
|
||||||
|
};
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
// 【新規記事またはバージョン更新記事】
|
||||||
|
var docContents = await CmnUtil.GetDocument(client, linkHref);
|
||||||
|
if (docContents == null)
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
var divDetail = docContents.QuerySelector("main>div>div");
|
||||||
|
if (divDetail == null)
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
var metaPubDate = CmnUtil.GetPublishedTimeAsJst(docContents);
|
||||||
|
var metaModDate = CmnUtil.GetModifiedTimeAsJst(docContents);
|
||||||
|
|
||||||
|
// 不要な広告・トラッキング要素を除去してコンテンツの無用な変動を抑制
|
||||||
|
RemoveUnwantedElements(divDetail);
|
||||||
|
|
||||||
|
var body = new StringBuilder();
|
||||||
|
body.Append($@"<div>バージョン:{versionText}</div>");
|
||||||
|
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
|
||||||
|
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||||
|
|
||||||
|
foreach (var a in divDetail.QuerySelectorAll("a"))
|
||||||
|
{
|
||||||
|
a.SetAttribute("target", "_blank");
|
||||||
|
a.SetAttribute("rel", "noopener noreferrer");
|
||||||
|
a.SetAttribute("referrerpolicy", "no-referrer");
|
||||||
|
}
|
||||||
|
foreach (var img in divDetail.QuerySelectorAll("img"))
|
||||||
|
{
|
||||||
|
img.SetAttribute("referrerpolicy", "no-referrer");
|
||||||
|
}
|
||||||
|
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
||||||
|
|
||||||
|
var summaryHtml = body.ToString();
|
||||||
|
|
||||||
|
// 日時設定(新規記事か更新記事かで適切に設定)
|
||||||
|
DateTimeOffset publishDate;
|
||||||
|
DateTimeOffset lastUpdatedTime;
|
||||||
|
|
||||||
|
if (prevEntry != null)
|
||||||
|
{
|
||||||
|
// バージョン更新された既存記事
|
||||||
|
publishDate = prevEntry.PublishDate != DateTimeOffset.MinValue
|
||||||
|
? prevEntry.PublishDate
|
||||||
|
: (metaPubDate.HasValue ? new DateTimeOffset(metaPubDate.Value) : DateTimeOffset.Now);
|
||||||
|
|
||||||
|
// バージョンが更新されたため、更新日時は最新の更新日時または現在日時を設定
|
||||||
|
lastUpdatedTime = metaModDate.HasValue
|
||||||
|
? new DateTimeOffset(metaModDate.Value)
|
||||||
|
: DateTimeOffset.Now;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
// 新規記事
|
||||||
|
publishDate = metaPubDate.HasValue
|
||||||
|
? new DateTimeOffset(metaPubDate.Value)
|
||||||
|
: (metaModDate.HasValue ? new DateTimeOffset(metaModDate.Value) : DateTimeOffset.Now);
|
||||||
|
|
||||||
|
lastUpdatedTime = metaModDate.HasValue
|
||||||
|
? new DateTimeOffset(metaModDate.Value)
|
||||||
|
: publishDate;
|
||||||
|
}
|
||||||
|
|
||||||
|
item = new SyndicationItem(
|
||||||
|
title,
|
||||||
|
(string?)null,
|
||||||
|
itemUri,
|
||||||
|
guid,
|
||||||
|
lastUpdatedTime
|
||||||
|
)
|
||||||
|
{
|
||||||
|
PublishDate = publishDate,
|
||||||
|
LastUpdatedTime = lastUpdatedTime,
|
||||||
|
Summary = new TextSyndicationContent(summaryHtml, TextSyndicationContentKind.Html)
|
||||||
|
};
|
||||||
|
}
|
||||||
|
|
||||||
items.Add(item);
|
items.Add(item);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
feed.Items = items;
|
feed.Items = items;
|
||||||
|
|
||||||
// kimochiinfo は画像リンクを Base64 変換せず、通常の画像リンクとして出力する
|
// kimochiinfo は画像リンクを Base64 変換せず、通常の画像リンクとして出力する。
|
||||||
await CmnUtil.ExportXMLFileAsync("kimochiinfo.xml", feed, client, embedBase64: false);
|
// また、直近24時間フィルタによる古い記事の消滅・ゾンビ未読化を防ぐため filter24Hours: false を指定する。
|
||||||
|
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, embedBase64: false, filter24Hours: false);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
LogManager.AddLog($"[エラー] 【kimochiinfo】 {ex.Message}");
|
LogManager.AddLog($"[エラー] 【kimochiinfo】 {ex.Message}");
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
#endregion
|
||||||
|
|
||||||
|
#region □メソッド(Private)
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。
|
||||||
|
/// URL および GUID の両方をキーとして辞書に格納します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="fileName">XML ファイル名</param>
|
||||||
|
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
|
||||||
|
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||||||
|
{
|
||||||
|
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
try
|
||||||
|
{
|
||||||
|
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
|
||||||
|
if (!File.Exists(xmlPath))
|
||||||
|
{
|
||||||
|
return existingEntries;
|
||||||
|
}
|
||||||
|
|
||||||
|
using var reader = XmlReader.Create(xmlPath);
|
||||||
|
var existingFeed = SyndicationFeed.Load(reader);
|
||||||
|
if (existingFeed?.Items != null)
|
||||||
|
{
|
||||||
|
foreach (var item in existingFeed.Items)
|
||||||
|
{
|
||||||
|
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||||
|
var guid = item.Id;
|
||||||
|
|
||||||
|
var entry = new ExistingFeedEntry
|
||||||
|
{
|
||||||
|
Title = item.Title?.Text?.Trim() ?? string.Empty,
|
||||||
|
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
|
||||||
|
PublishDate = item.PublishDate != DateTimeOffset.MinValue
|
||||||
|
? item.PublishDate
|
||||||
|
: (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now),
|
||||||
|
LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue
|
||||||
|
? item.LastUpdatedTime
|
||||||
|
: (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now)
|
||||||
|
};
|
||||||
|
|
||||||
|
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
|
||||||
|
{
|
||||||
|
existingEntries[linkUrl] = entry;
|
||||||
|
}
|
||||||
|
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
|
||||||
|
{
|
||||||
|
existingEntries[guid] = entry;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[情報] kimochiinfo 既存エントリ読み込みスキップ: {ex.Message}");
|
||||||
|
}
|
||||||
|
|
||||||
|
return existingEntries;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 詳細ページ内の不要な広告枠やトラッキング要素を除去します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="element">対象の HTML 要素</param>
|
||||||
|
private static void RemoveUnwantedElements(IElement element)
|
||||||
|
{
|
||||||
|
var unwantedNodes = element.QuerySelectorAll("div[data-cl-spot], div[data-km], ins.adsbygoogle, script, style");
|
||||||
|
foreach (var node in unwantedNodes)
|
||||||
|
{
|
||||||
|
node.Remove();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
#endregion
|
||||||
}
|
}
|
||||||
Reference in new issue
Block a user