diff --git a/rss-generator/Class/CmnUtil.cs b/rss-generator/Class/CmnUtil.cs
index 207d134..b4235c4 100644
--- a/rss-generator/Class/CmnUtil.cs
+++ b/rss-generator/Class/CmnUtil.cs
@@ -119,6 +119,53 @@ public class CmnUtil
File.WriteAllText(filePath, contents);
}
+ ///
+ /// 記事が指定の日時以降(カットオフ以降)の取得対象であるかを判定します。
+ /// 公開日時がカットオフ前であっても、更新日時がカットオフ以降であれば取得対象となります。
+ ///
+ /// 判定対象のフィードアイテム
+ /// カットオフ日時
+ /// 取得対象であれば true、24時間以上前で対象外であれば false
+ public static bool IsItemWithinCutoff(SyndicationItem item, DateTimeOffset cutoff)
+ {
+ bool hasUpdated = item.LastUpdatedTime > DateTimeOffset.MinValue;
+ bool hasPublished = item.PublishDate > DateTimeOffset.MinValue;
+
+ // 1. 更新日時が有効で、カットオフ以降であれば対象(公開日時が24時間以上前でも救済)
+ if (hasUpdated && item.LastUpdatedTime >= cutoff)
+ {
+ return true;
+ }
+
+ // 2. 公開日時が有効で、カットオフ以降であれば対象
+ if (hasPublished && item.PublishDate >= cutoff)
+ {
+ return true;
+ }
+
+ // 3. 公開日時または更新日時のいずれかが設定されているが、どちらもカットオフ未満(古い)場合は除外
+ if (hasUpdated || hasPublished)
+ {
+ return false;
+ }
+
+ // 4. 日時情報が一切存在しないアイテム(MinValue)は念のため残す
+ return true;
+ }
+
+ ///
+ /// フィードアイテム一覧から、指定時間以内(デフォルト24時間)の対象アイテムのみを抽出します。
+ /// 公開日時が指定時間以上前であっても、更新日時が指定時間以内であれば抽出対象となります。
+ ///
+ /// アイテム一覧
+ /// 許容時間(時間単位、デフォルト: 24時間)
+ /// 条件を満たすアイテムのリスト
+ public static List FilterItemsWithinHours(IEnumerable items, double hours = 24)
+ {
+ var cutoff = DateTimeOffset.Now.AddHours(-hours);
+ return items.Where(item => IsItemWithinCutoff(item, cutoff)).ToList();
+ }
+
///
/// Feedをファイルとして出力
///
@@ -126,6 +173,12 @@ public class CmnUtil
///
public static void ExportXMLFile(string fileName, SyndicationFeed feed, string addDir = "")
{
+ // 24時間以上前の古い記事を除外(公開日時が24時間以上前でも、更新日時が24時間以内なら取得対象)
+ if (feed.Items != null)
+ {
+ feed.Items = FilterItemsWithinHours(feed.Items, 24);
+ }
+
var filePath = GetExportXmlPath(fileName, addDir);
// 文字コードをUTF-8に指定
var settings = new XmlWriterSettings
diff --git a/rss-generator/Class/RSS/Danbooru/rank.cs b/rss-generator/Class/RSS/Danbooru/rank.cs
index 762cc58..05e5167 100644
--- a/rss-generator/Class/RSS/Danbooru/rank.cs
+++ b/rss-generator/Class/RSS/Danbooru/rank.cs
@@ -35,8 +35,15 @@ internal class rank
var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId);
var simplifiedItems = new List();
+ var cutoff = DateTimeOffset.Now.AddHours(-24);
foreach (var item in items)
{
+ // 24時間以上前の記事は詳細スクレイピングをスキップ
+ if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
+ {
+ continue;
+ }
+
var simplified = await Simplified(client, item, sessionId);
if (simplified != null)
{
diff --git a/rss-generator/Class/RSS/ci_en.cs b/rss-generator/Class/RSS/ci_en.cs
index 599d22c..8c26530 100644
--- a/rss-generator/Class/RSS/ci_en.cs
+++ b/rss-generator/Class/RSS/ci_en.cs
@@ -33,6 +33,7 @@ internal class ci_en
var document = await CmnUtil.GetDocument(client, rssUrl);
var elemArticles = document.QuerySelectorAll(".c-card-article");
var parser = new HtmlParser();
+ var cutoff = DateTimeOffset.Now.AddHours(-24);
foreach (var elemArticle in elemArticles)
{
@@ -75,6 +76,12 @@ internal class ci_en
}
}
+ // 24時間判定(カットオフより古い記事は本文取得を行わずスキップ)
+ if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
+ {
+ continue;
+ }
+
var body = new StringBuilder();
if (!string.IsNullOrEmpty(href))
{
diff --git a/rss-generator/Class/RSS/hitomi_la/index_japanese.cs b/rss-generator/Class/RSS/hitomi_la/index_japanese.cs
index 642a9a7..c7a0111 100644
--- a/rss-generator/Class/RSS/hitomi_la/index_japanese.cs
+++ b/rss-generator/Class/RSS/hitomi_la/index_japanese.cs
@@ -31,6 +31,7 @@ internal class index_japanese
}
try
{
+ var cutoff = DateTimeOffset.Now.AddHours(-24);
for (int pageId = 1; pageId <= 5; pageId++)
{
var pageURL = pageId == 1 ? baseURL : $"{baseURL}?page={pageId}";
@@ -40,8 +41,15 @@ internal class index_japanese
continue;
}
- var newItems = ParseGalleryItems(document);
+ var newItems = ParseGalleryItems(document, cutoff, out int totalCards);
items.AddRange(newItems);
+
+ // ページ内に記事カードが存在したにもかかわらず24時間以内の記事が0件だった場合、
+ // 新着順のためこれ以降のページもすべて24時間以上前と判断して取得を終了
+ if (totalCards > 0 && newItems.Count == 0)
+ {
+ break;
+ }
}
}
finally
@@ -69,10 +77,11 @@ internal class index_japanese
}
}
- private static List ParseGalleryItems(IDocument document)
+ private static List ParseGalleryItems(IDocument document, DateTimeOffset cutoff, out int totalCards)
{
var result = new List();
var cards = document.QuerySelectorAll(".gallery-content > div");
+ totalCards = cards.Length;
foreach (var card in cards)
{
@@ -128,6 +137,12 @@ internal class index_japanese
item.LastUpdatedTime = DateTime.Now;
}
+ // 24時間判定(カットオフより古い記事は取得対象外とする)
+ if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
+ {
+ continue;
+ }
+
// 作家の取得
var artistElems = card.QuerySelectorAll(".artist-list li a");
foreach (var artistElem in artistElems)
diff --git a/rss-generator/Class/RSS/mangalear.cs b/rss-generator/Class/RSS/mangalear.cs
index e5538ce..958204b 100644
--- a/rss-generator/Class/RSS/mangalear.cs
+++ b/rss-generator/Class/RSS/mangalear.cs
@@ -43,8 +43,11 @@ internal class mangalear
.Select(g => g.First())
.ToList();
+ // 24時間以内の記事のみに絞り込んでから詳細ページの画像抽出を実施(通信量と処理時間の削減)
+ var validItems = CmnUtil.FilterItemsWithinHours(uniqueItems, 24);
+
// 3. 各記事の詳細ページから本文画像を全て抽出し、新しいフィードアイテムに整形
- var itemTasks = uniqueItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
+ var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
{
var link = originalItem.Links.FirstOrDefault()?.Uri;
var title = originalItem.Title?.Text ?? "No Title";
diff --git a/rss-generator/Class/RSS/momonga_fanzine.cs b/rss-generator/Class/RSS/momonga_fanzine.cs
index fc8b1be..4355aa5 100644
--- a/rss-generator/Class/RSS/momonga_fanzine.cs
+++ b/rss-generator/Class/RSS/momonga_fanzine.cs
@@ -24,8 +24,11 @@ internal class momonga_fanzine
var results = await Task.WhenAll(tasks);
var allItems = results.SelectMany(items => items).ToList();
+ // 24時間以内の記事のみに絞り込んでから整形タスクを実施
+ var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
+
// 簡潔なRSSに非同期で整形
- var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
+ var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
{
List getAddCategory()
{
diff --git a/rss-generator/Class/RSS/momonga_magazine.cs b/rss-generator/Class/RSS/momonga_magazine.cs
index 1382698..95c05c8 100644
--- a/rss-generator/Class/RSS/momonga_magazine.cs
+++ b/rss-generator/Class/RSS/momonga_magazine.cs
@@ -24,8 +24,11 @@ internal class momonga_magazine
var results = await Task.WhenAll(tasks);
var allItems = results.SelectMany(items => items).ToList();
+ // 24時間以内の記事のみに絞り込んでから整形タスクを実施
+ var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
+
// 簡潔なRSSに非同期で整形
- var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
+ var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
{
List getAddCategory()
{