feat: implement multi-site RSS generators and common utility library for feed processing

This commit is contained in:
armonica committed 2026-09-04 02:37:36 +09:00
1 parent 6b3c67f361
commit ded000f0a3
7 files changed
+96 -5

No files matched your search

+53
View File
@@ -119,6 +119,53 @@ public class CmnUtil
File.WriteAllText(filePath, contents); File.WriteAllText(filePath, contents);
} }
/// <summary>
/// 記事が指定の日時以降(カットオフ以降)の取得対象であるかを判定します。
/// 公開日時がカットオフ前であっても、更新日時がカットオフ以降であれば取得対象となります。
/// </summary>
/// <param name="item">判定対象のフィードアイテム</param>
/// <param name="cutoff">カットオフ日時</param>
/// <returns>取得対象であれば true、24時間以上前で対象外であれば false</returns>
public static bool IsItemWithinCutoff(SyndicationItem item, DateTimeOffset cutoff)
{
bool hasUpdated = item.LastUpdatedTime > DateTimeOffset.MinValue;
bool hasPublished = item.PublishDate > DateTimeOffset.MinValue;
// 1. 更新日時が有効で、カットオフ以降であれば対象(公開日時が24時間以上前でも救済)
if (hasUpdated && item.LastUpdatedTime >= cutoff)
{
return true;
}
// 2. 公開日時が有効で、カットオフ以降であれば対象
if (hasPublished && item.PublishDate >= cutoff)
{
return true;
}
// 3. 公開日時または更新日時のいずれかが設定されているが、どちらもカットオフ未満(古い)場合は除外
if (hasUpdated || hasPublished)
{
return false;
}
// 4. 日時情報が一切存在しないアイテム(MinValue)は念のため残す
return true;
}
/// <summary>
/// フィードアイテム一覧から、指定時間以内(デフォルト24時間)の対象アイテムのみを抽出します。
/// 公開日時が指定時間以上前であっても、更新日時が指定時間以内であれば抽出対象となります。
/// </summary>
/// <param name="items">アイテム一覧</param>
/// <param name="hours">許容時間(時間単位、デフォルト: 24時間)</param>
/// <returns>条件を満たすアイテムのリスト</returns>
public static List<SyndicationItem> FilterItemsWithinHours(IEnumerable<SyndicationItem> items, double hours = 24)
{
var cutoff = DateTimeOffset.Now.AddHours(-hours);
return items.Where(item => IsItemWithinCutoff(item, cutoff)).ToList();
}
/// <summary> /// <summary>
/// Feedをファイルとして出力 /// Feedをファイルとして出力
/// </summary> /// </summary>
@@ -126,6 +173,12 @@ public class CmnUtil
/// <param name="feed"></param> /// <param name="feed"></param>
public static void ExportXMLFile(string fileName, SyndicationFeed feed, string addDir = "") public static void ExportXMLFile(string fileName, SyndicationFeed feed, string addDir = "")
{ {
// 24時間以上前の古い記事を除外(公開日時が24時間以上前でも、更新日時が24時間以内なら取得対象)
if (feed.Items != null)
{
feed.Items = FilterItemsWithinHours(feed.Items, 24);
}
var filePath = GetExportXmlPath(fileName, addDir); var filePath = GetExportXmlPath(fileName, addDir);
// 文字コードをUTF-8に指定 // 文字コードをUTF-8に指定
var settings = new XmlWriterSettings var settings = new XmlWriterSettings
+7
View File
@@ -35,8 +35,15 @@ internal class rank
var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId); var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId);
var simplifiedItems = new List<SyndicationItem>(); var simplifiedItems = new List<SyndicationItem>();
var cutoff = DateTimeOffset.Now.AddHours(-24);
foreach (var item in items) foreach (var item in items)
{ {
// 24時間以上前の記事は詳細スクレイピングをスキップ
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
{
continue;
}
var simplified = await Simplified(client, item, sessionId); var simplified = await Simplified(client, item, sessionId);
if (simplified != null) if (simplified != null)
{ {
+7
View File
@@ -33,6 +33,7 @@ internal class ci_en
var document = await CmnUtil.GetDocument(client, rssUrl); var document = await CmnUtil.GetDocument(client, rssUrl);
var elemArticles = document.QuerySelectorAll(".c-card-article"); var elemArticles = document.QuerySelectorAll(".c-card-article");
var parser = new HtmlParser(); var parser = new HtmlParser();
var cutoff = DateTimeOffset.Now.AddHours(-24);
foreach (var elemArticle in elemArticles) foreach (var elemArticle in elemArticles)
{ {
@@ -75,6 +76,12 @@ internal class ci_en
} }
} }
// 24時間判定(カットオフより古い記事は本文取得を行わずスキップ)
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
{
continue;
}
var body = new StringBuilder(); var body = new StringBuilder();
if (!string.IsNullOrEmpty(href)) if (!string.IsNullOrEmpty(href))
{ {
@@ -31,6 +31,7 @@ internal class index_japanese
} }
try try
{ {
var cutoff = DateTimeOffset.Now.AddHours(-24);
for (int pageId = 1; pageId <= 5; pageId++) for (int pageId = 1; pageId <= 5; pageId++)
{ {
var pageURL = pageId == 1 ? baseURL : $"{baseURL}?page={pageId}"; var pageURL = pageId == 1 ? baseURL : $"{baseURL}?page={pageId}";
@@ -40,8 +41,15 @@ internal class index_japanese
continue; continue;
} }
var newItems = ParseGalleryItems(document); var newItems = ParseGalleryItems(document, cutoff, out int totalCards);
items.AddRange(newItems); items.AddRange(newItems);
// ページ内に記事カードが存在したにもかかわらず24時間以内の記事が0件だった場合、
// 新着順のためこれ以降のページもすべて24時間以上前と判断して取得を終了
if (totalCards > 0 && newItems.Count == 0)
{
break;
}
} }
} }
finally finally
@@ -69,10 +77,11 @@ internal class index_japanese
} }
} }
private static List<SyndicationItem> ParseGalleryItems(IDocument document) private static List<SyndicationItem> ParseGalleryItems(IDocument document, DateTimeOffset cutoff, out int totalCards)
{ {
var result = new List<SyndicationItem>(); var result = new List<SyndicationItem>();
var cards = document.QuerySelectorAll(".gallery-content > div"); var cards = document.QuerySelectorAll(".gallery-content > div");
totalCards = cards.Length;
foreach (var card in cards) foreach (var card in cards)
{ {
@@ -128,6 +137,12 @@ internal class index_japanese
item.LastUpdatedTime = DateTime.Now; item.LastUpdatedTime = DateTime.Now;
} }
// 24時間判定(カットオフより古い記事は取得対象外とする)
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
{
continue;
}
// 作家の取得 // 作家の取得
var artistElems = card.QuerySelectorAll(".artist-list li a"); var artistElems = card.QuerySelectorAll(".artist-list li a");
foreach (var artistElem in artistElems) foreach (var artistElem in artistElems)
+4 -1
View File
@@ -43,8 +43,11 @@ internal class mangalear
.Select(g => g.First()) .Select(g => g.First())
.ToList(); .ToList();
// 24時間以内の記事のみに絞り込んでから詳細ページの画像抽出を実施(通信量と処理時間の削減)
var validItems = CmnUtil.FilterItemsWithinHours(uniqueItems, 24);
// 3. 各記事の詳細ページから本文画像を全て抽出し、新しいフィードアイテムに整形 // 3. 各記事の詳細ページから本文画像を全て抽出し、新しいフィードアイテムに整形
var itemTasks = uniqueItems.OrderByDescending(x => x.PublishDate).Select(async originalItem => var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
{ {
var link = originalItem.Links.FirstOrDefault()?.Uri; var link = originalItem.Links.FirstOrDefault()?.Uri;
var title = originalItem.Title?.Text ?? "No Title"; var title = originalItem.Title?.Text ?? "No Title";
+4 -1
View File
@@ -24,8 +24,11 @@ internal class momonga_fanzine
var results = await Task.WhenAll(tasks); var results = await Task.WhenAll(tasks);
var allItems = results.SelectMany(items => items).ToList(); var allItems = results.SelectMany(items => items).ToList();
// 24時間以内の記事のみに絞り込んでから整形タスクを実施
var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
// 簡潔なRSSに非同期で整形 // 簡潔なRSSに非同期で整形
var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem => var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
{ {
List<SyndicationCategory> getAddCategory() List<SyndicationCategory> getAddCategory()
{ {
+4 -1
View File
@@ -24,8 +24,11 @@ internal class momonga_magazine
var results = await Task.WhenAll(tasks); var results = await Task.WhenAll(tasks);
var allItems = results.SelectMany(items => items).ToList(); var allItems = results.SelectMany(items => items).ToList();
// 24時間以内の記事のみに絞り込んでから整形タスクを実施
var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
// 簡潔なRSSに非同期で整形 // 簡潔なRSSに非同期で整形
var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem => var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
{ {
List<SyndicationCategory> getAddCategory() List<SyndicationCategory> getAddCategory()
{ {