diff --git a/rss-generator/Class/CmnUtil.cs b/rss-generator/Class/CmnUtil.cs index 207d134..b4235c4 100644 --- a/rss-generator/Class/CmnUtil.cs +++ b/rss-generator/Class/CmnUtil.cs @@ -119,6 +119,53 @@ public class CmnUtil File.WriteAllText(filePath, contents); } + /// + /// 記事が指定の日時以降(カットオフ以降)の取得対象であるかを判定します。 + /// 公開日時がカットオフ前であっても、更新日時がカットオフ以降であれば取得対象となります。 + /// + /// 判定対象のフィードアイテム + /// カットオフ日時 + /// 取得対象であれば true、24時間以上前で対象外であれば false + public static bool IsItemWithinCutoff(SyndicationItem item, DateTimeOffset cutoff) + { + bool hasUpdated = item.LastUpdatedTime > DateTimeOffset.MinValue; + bool hasPublished = item.PublishDate > DateTimeOffset.MinValue; + + // 1. 更新日時が有効で、カットオフ以降であれば対象(公開日時が24時間以上前でも救済) + if (hasUpdated && item.LastUpdatedTime >= cutoff) + { + return true; + } + + // 2. 公開日時が有効で、カットオフ以降であれば対象 + if (hasPublished && item.PublishDate >= cutoff) + { + return true; + } + + // 3. 公開日時または更新日時のいずれかが設定されているが、どちらもカットオフ未満(古い)場合は除外 + if (hasUpdated || hasPublished) + { + return false; + } + + // 4. 日時情報が一切存在しないアイテム(MinValue)は念のため残す + return true; + } + + /// + /// フィードアイテム一覧から、指定時間以内(デフォルト24時間)の対象アイテムのみを抽出します。 + /// 公開日時が指定時間以上前であっても、更新日時が指定時間以内であれば抽出対象となります。 + /// + /// アイテム一覧 + /// 許容時間(時間単位、デフォルト: 24時間) + /// 条件を満たすアイテムのリスト + public static List FilterItemsWithinHours(IEnumerable items, double hours = 24) + { + var cutoff = DateTimeOffset.Now.AddHours(-hours); + return items.Where(item => IsItemWithinCutoff(item, cutoff)).ToList(); + } + /// /// Feedをファイルとして出力 /// @@ -126,6 +173,12 @@ public class CmnUtil /// public static void ExportXMLFile(string fileName, SyndicationFeed feed, string addDir = "") { + // 24時間以上前の古い記事を除外(公開日時が24時間以上前でも、更新日時が24時間以内なら取得対象) + if (feed.Items != null) + { + feed.Items = FilterItemsWithinHours(feed.Items, 24); + } + var filePath = GetExportXmlPath(fileName, addDir); // 文字コードをUTF-8に指定 var settings = new XmlWriterSettings diff --git a/rss-generator/Class/RSS/Danbooru/rank.cs b/rss-generator/Class/RSS/Danbooru/rank.cs index 762cc58..05e5167 100644 --- a/rss-generator/Class/RSS/Danbooru/rank.cs +++ b/rss-generator/Class/RSS/Danbooru/rank.cs @@ -35,8 +35,15 @@ internal class rank var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId); var simplifiedItems = new List(); + var cutoff = DateTimeOffset.Now.AddHours(-24); foreach (var item in items) { + // 24時間以上前の記事は詳細スクレイピングをスキップ + if (!CmnUtil.IsItemWithinCutoff(item, cutoff)) + { + continue; + } + var simplified = await Simplified(client, item, sessionId); if (simplified != null) { diff --git a/rss-generator/Class/RSS/ci_en.cs b/rss-generator/Class/RSS/ci_en.cs index 599d22c..8c26530 100644 --- a/rss-generator/Class/RSS/ci_en.cs +++ b/rss-generator/Class/RSS/ci_en.cs @@ -33,6 +33,7 @@ internal class ci_en var document = await CmnUtil.GetDocument(client, rssUrl); var elemArticles = document.QuerySelectorAll(".c-card-article"); var parser = new HtmlParser(); + var cutoff = DateTimeOffset.Now.AddHours(-24); foreach (var elemArticle in elemArticles) { @@ -75,6 +76,12 @@ internal class ci_en } } + // 24時間判定(カットオフより古い記事は本文取得を行わずスキップ) + if (!CmnUtil.IsItemWithinCutoff(item, cutoff)) + { + continue; + } + var body = new StringBuilder(); if (!string.IsNullOrEmpty(href)) { diff --git a/rss-generator/Class/RSS/hitomi_la/index_japanese.cs b/rss-generator/Class/RSS/hitomi_la/index_japanese.cs index 642a9a7..c7a0111 100644 --- a/rss-generator/Class/RSS/hitomi_la/index_japanese.cs +++ b/rss-generator/Class/RSS/hitomi_la/index_japanese.cs @@ -31,6 +31,7 @@ internal class index_japanese } try { + var cutoff = DateTimeOffset.Now.AddHours(-24); for (int pageId = 1; pageId <= 5; pageId++) { var pageURL = pageId == 1 ? baseURL : $"{baseURL}?page={pageId}"; @@ -40,8 +41,15 @@ internal class index_japanese continue; } - var newItems = ParseGalleryItems(document); + var newItems = ParseGalleryItems(document, cutoff, out int totalCards); items.AddRange(newItems); + + // ページ内に記事カードが存在したにもかかわらず24時間以内の記事が0件だった場合、 + // 新着順のためこれ以降のページもすべて24時間以上前と判断して取得を終了 + if (totalCards > 0 && newItems.Count == 0) + { + break; + } } } finally @@ -69,10 +77,11 @@ internal class index_japanese } } - private static List ParseGalleryItems(IDocument document) + private static List ParseGalleryItems(IDocument document, DateTimeOffset cutoff, out int totalCards) { var result = new List(); var cards = document.QuerySelectorAll(".gallery-content > div"); + totalCards = cards.Length; foreach (var card in cards) { @@ -128,6 +137,12 @@ internal class index_japanese item.LastUpdatedTime = DateTime.Now; } + // 24時間判定(カットオフより古い記事は取得対象外とする) + if (!CmnUtil.IsItemWithinCutoff(item, cutoff)) + { + continue; + } + // 作家の取得 var artistElems = card.QuerySelectorAll(".artist-list li a"); foreach (var artistElem in artistElems) diff --git a/rss-generator/Class/RSS/mangalear.cs b/rss-generator/Class/RSS/mangalear.cs index e5538ce..958204b 100644 --- a/rss-generator/Class/RSS/mangalear.cs +++ b/rss-generator/Class/RSS/mangalear.cs @@ -43,8 +43,11 @@ internal class mangalear .Select(g => g.First()) .ToList(); + // 24時間以内の記事のみに絞り込んでから詳細ページの画像抽出を実施(通信量と処理時間の削減) + var validItems = CmnUtil.FilterItemsWithinHours(uniqueItems, 24); + // 3. 各記事の詳細ページから本文画像を全て抽出し、新しいフィードアイテムに整形 - var itemTasks = uniqueItems.OrderByDescending(x => x.PublishDate).Select(async originalItem => + var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem => { var link = originalItem.Links.FirstOrDefault()?.Uri; var title = originalItem.Title?.Text ?? "No Title"; diff --git a/rss-generator/Class/RSS/momonga_fanzine.cs b/rss-generator/Class/RSS/momonga_fanzine.cs index fc8b1be..4355aa5 100644 --- a/rss-generator/Class/RSS/momonga_fanzine.cs +++ b/rss-generator/Class/RSS/momonga_fanzine.cs @@ -24,8 +24,11 @@ internal class momonga_fanzine var results = await Task.WhenAll(tasks); var allItems = results.SelectMany(items => items).ToList(); + // 24時間以内の記事のみに絞り込んでから整形タスクを実施 + var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24); + // 簡潔なRSSに非同期で整形 - var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem => + var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem => { List getAddCategory() { diff --git a/rss-generator/Class/RSS/momonga_magazine.cs b/rss-generator/Class/RSS/momonga_magazine.cs index 1382698..95c05c8 100644 --- a/rss-generator/Class/RSS/momonga_magazine.cs +++ b/rss-generator/Class/RSS/momonga_magazine.cs @@ -24,8 +24,11 @@ internal class momonga_magazine var results = await Task.WhenAll(tasks); var allItems = results.SelectMany(items => items).ToList(); + // 24時間以内の記事のみに絞り込んでから整形タスクを実施 + var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24); + // 簡潔なRSSに非同期で整形 - var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem => + var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem => { List getAddCategory() {