feat: implement multi-site RSS generators and common utility library for feed processing
This commit is contained in:
1 parent
6b3c67f361
commit
ded000f0a3
7 files changed
+96
-5
No files matched your search
@@ -119,6 +119,53 @@ public class CmnUtil
|
||||
File.WriteAllText(filePath, contents);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 記事が指定の日時以降(カットオフ以降)の取得対象であるかを判定します。
|
||||
/// 公開日時がカットオフ前であっても、更新日時がカットオフ以降であれば取得対象となります。
|
||||
/// </summary>
|
||||
/// <param name="item">判定対象のフィードアイテム</param>
|
||||
/// <param name="cutoff">カットオフ日時</param>
|
||||
/// <returns>取得対象であれば true、24時間以上前で対象外であれば false</returns>
|
||||
public static bool IsItemWithinCutoff(SyndicationItem item, DateTimeOffset cutoff)
|
||||
{
|
||||
bool hasUpdated = item.LastUpdatedTime > DateTimeOffset.MinValue;
|
||||
bool hasPublished = item.PublishDate > DateTimeOffset.MinValue;
|
||||
|
||||
// 1. 更新日時が有効で、カットオフ以降であれば対象(公開日時が24時間以上前でも救済)
|
||||
if (hasUpdated && item.LastUpdatedTime >= cutoff)
|
||||
{
|
||||
return true;
|
||||
}
|
||||
|
||||
// 2. 公開日時が有効で、カットオフ以降であれば対象
|
||||
if (hasPublished && item.PublishDate >= cutoff)
|
||||
{
|
||||
return true;
|
||||
}
|
||||
|
||||
// 3. 公開日時または更新日時のいずれかが設定されているが、どちらもカットオフ未満(古い)場合は除外
|
||||
if (hasUpdated || hasPublished)
|
||||
{
|
||||
return false;
|
||||
}
|
||||
|
||||
// 4. 日時情報が一切存在しないアイテム(MinValue)は念のため残す
|
||||
return true;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// フィードアイテム一覧から、指定時間以内(デフォルト24時間)の対象アイテムのみを抽出します。
|
||||
/// 公開日時が指定時間以上前であっても、更新日時が指定時間以内であれば抽出対象となります。
|
||||
/// </summary>
|
||||
/// <param name="items">アイテム一覧</param>
|
||||
/// <param name="hours">許容時間(時間単位、デフォルト: 24時間)</param>
|
||||
/// <returns>条件を満たすアイテムのリスト</returns>
|
||||
public static List<SyndicationItem> FilterItemsWithinHours(IEnumerable<SyndicationItem> items, double hours = 24)
|
||||
{
|
||||
var cutoff = DateTimeOffset.Now.AddHours(-hours);
|
||||
return items.Where(item => IsItemWithinCutoff(item, cutoff)).ToList();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Feedをファイルとして出力
|
||||
/// </summary>
|
||||
@@ -126,6 +173,12 @@ public class CmnUtil
|
||||
/// <param name="feed"></param>
|
||||
public static void ExportXMLFile(string fileName, SyndicationFeed feed, string addDir = "")
|
||||
{
|
||||
// 24時間以上前の古い記事を除外(公開日時が24時間以上前でも、更新日時が24時間以内なら取得対象)
|
||||
if (feed.Items != null)
|
||||
{
|
||||
feed.Items = FilterItemsWithinHours(feed.Items, 24);
|
||||
}
|
||||
|
||||
var filePath = GetExportXmlPath(fileName, addDir);
|
||||
// 文字コードをUTF-8に指定
|
||||
var settings = new XmlWriterSettings
|
||||
|
||||
@@ -35,8 +35,15 @@ internal class rank
|
||||
var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId);
|
||||
var simplifiedItems = new List<SyndicationItem>();
|
||||
|
||||
var cutoff = DateTimeOffset.Now.AddHours(-24);
|
||||
foreach (var item in items)
|
||||
{
|
||||
// 24時間以上前の記事は詳細スクレイピングをスキップ
|
||||
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var simplified = await Simplified(client, item, sessionId);
|
||||
if (simplified != null)
|
||||
{
|
||||
|
||||
@@ -33,6 +33,7 @@ internal class ci_en
|
||||
var document = await CmnUtil.GetDocument(client, rssUrl);
|
||||
var elemArticles = document.QuerySelectorAll(".c-card-article");
|
||||
var parser = new HtmlParser();
|
||||
var cutoff = DateTimeOffset.Now.AddHours(-24);
|
||||
|
||||
foreach (var elemArticle in elemArticles)
|
||||
{
|
||||
@@ -75,6 +76,12 @@ internal class ci_en
|
||||
}
|
||||
}
|
||||
|
||||
// 24時間判定(カットオフより古い記事は本文取得を行わずスキップ)
|
||||
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var body = new StringBuilder();
|
||||
if (!string.IsNullOrEmpty(href))
|
||||
{
|
||||
|
||||
@@ -31,6 +31,7 @@ internal class index_japanese
|
||||
}
|
||||
try
|
||||
{
|
||||
var cutoff = DateTimeOffset.Now.AddHours(-24);
|
||||
for (int pageId = 1; pageId <= 5; pageId++)
|
||||
{
|
||||
var pageURL = pageId == 1 ? baseURL : $"{baseURL}?page={pageId}";
|
||||
@@ -40,8 +41,15 @@ internal class index_japanese
|
||||
continue;
|
||||
}
|
||||
|
||||
var newItems = ParseGalleryItems(document);
|
||||
var newItems = ParseGalleryItems(document, cutoff, out int totalCards);
|
||||
items.AddRange(newItems);
|
||||
|
||||
// ページ内に記事カードが存在したにもかかわらず24時間以内の記事が0件だった場合、
|
||||
// 新着順のためこれ以降のページもすべて24時間以上前と判断して取得を終了
|
||||
if (totalCards > 0 && newItems.Count == 0)
|
||||
{
|
||||
break;
|
||||
}
|
||||
}
|
||||
}
|
||||
finally
|
||||
@@ -69,10 +77,11 @@ internal class index_japanese
|
||||
}
|
||||
}
|
||||
|
||||
private static List<SyndicationItem> ParseGalleryItems(IDocument document)
|
||||
private static List<SyndicationItem> ParseGalleryItems(IDocument document, DateTimeOffset cutoff, out int totalCards)
|
||||
{
|
||||
var result = new List<SyndicationItem>();
|
||||
var cards = document.QuerySelectorAll(".gallery-content > div");
|
||||
totalCards = cards.Length;
|
||||
|
||||
foreach (var card in cards)
|
||||
{
|
||||
@@ -128,6 +137,12 @@ internal class index_japanese
|
||||
item.LastUpdatedTime = DateTime.Now;
|
||||
}
|
||||
|
||||
// 24時間判定(カットオフより古い記事は取得対象外とする)
|
||||
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
// 作家の取得
|
||||
var artistElems = card.QuerySelectorAll(".artist-list li a");
|
||||
foreach (var artistElem in artistElems)
|
||||
|
||||
@@ -43,8 +43,11 @@ internal class mangalear
|
||||
.Select(g => g.First())
|
||||
.ToList();
|
||||
|
||||
// 24時間以内の記事のみに絞り込んでから詳細ページの画像抽出を実施(通信量と処理時間の削減)
|
||||
var validItems = CmnUtil.FilterItemsWithinHours(uniqueItems, 24);
|
||||
|
||||
// 3. 各記事の詳細ページから本文画像を全て抽出し、新しいフィードアイテムに整形
|
||||
var itemTasks = uniqueItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||
{
|
||||
var link = originalItem.Links.FirstOrDefault()?.Uri;
|
||||
var title = originalItem.Title?.Text ?? "No Title";
|
||||
|
||||
@@ -24,8 +24,11 @@ internal class momonga_fanzine
|
||||
var results = await Task.WhenAll(tasks);
|
||||
var allItems = results.SelectMany(items => items).ToList();
|
||||
|
||||
// 24時間以内の記事のみに絞り込んでから整形タスクを実施
|
||||
var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
|
||||
|
||||
// 簡潔なRSSに非同期で整形
|
||||
var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||
{
|
||||
List<SyndicationCategory> getAddCategory()
|
||||
{
|
||||
|
||||
@@ -24,8 +24,11 @@ internal class momonga_magazine
|
||||
var results = await Task.WhenAll(tasks);
|
||||
var allItems = results.SelectMany(items => items).ToList();
|
||||
|
||||
// 24時間以内の記事のみに絞り込んでから整形タスクを実施
|
||||
var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
|
||||
|
||||
// 簡潔なRSSに非同期で整形
|
||||
var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||
{
|
||||
List<SyndicationCategory> getAddCategory()
|
||||
{
|
||||
|
||||
Reference in new issue
Block a user