feat: implement multi-site RSS generators and common utility library for feed processing
This commit is contained in:
1 parent
6b3c67f361
commit
ded000f0a3
7 files changed
+96
-5
No files matched your search
@@ -119,6 +119,53 @@ public class CmnUtil
|
|||||||
File.WriteAllText(filePath, contents);
|
File.WriteAllText(filePath, contents);
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 記事が指定の日時以降(カットオフ以降)の取得対象であるかを判定します。
|
||||||
|
/// 公開日時がカットオフ前であっても、更新日時がカットオフ以降であれば取得対象となります。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="item">判定対象のフィードアイテム</param>
|
||||||
|
/// <param name="cutoff">カットオフ日時</param>
|
||||||
|
/// <returns>取得対象であれば true、24時間以上前で対象外であれば false</returns>
|
||||||
|
public static bool IsItemWithinCutoff(SyndicationItem item, DateTimeOffset cutoff)
|
||||||
|
{
|
||||||
|
bool hasUpdated = item.LastUpdatedTime > DateTimeOffset.MinValue;
|
||||||
|
bool hasPublished = item.PublishDate > DateTimeOffset.MinValue;
|
||||||
|
|
||||||
|
// 1. 更新日時が有効で、カットオフ以降であれば対象(公開日時が24時間以上前でも救済)
|
||||||
|
if (hasUpdated && item.LastUpdatedTime >= cutoff)
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 2. 公開日時が有効で、カットオフ以降であれば対象
|
||||||
|
if (hasPublished && item.PublishDate >= cutoff)
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 3. 公開日時または更新日時のいずれかが設定されているが、どちらもカットオフ未満(古い)場合は除外
|
||||||
|
if (hasUpdated || hasPublished)
|
||||||
|
{
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 4. 日時情報が一切存在しないアイテム(MinValue)は念のため残す
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// フィードアイテム一覧から、指定時間以内(デフォルト24時間)の対象アイテムのみを抽出します。
|
||||||
|
/// 公開日時が指定時間以上前であっても、更新日時が指定時間以内であれば抽出対象となります。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="items">アイテム一覧</param>
|
||||||
|
/// <param name="hours">許容時間(時間単位、デフォルト: 24時間)</param>
|
||||||
|
/// <returns>条件を満たすアイテムのリスト</returns>
|
||||||
|
public static List<SyndicationItem> FilterItemsWithinHours(IEnumerable<SyndicationItem> items, double hours = 24)
|
||||||
|
{
|
||||||
|
var cutoff = DateTimeOffset.Now.AddHours(-hours);
|
||||||
|
return items.Where(item => IsItemWithinCutoff(item, cutoff)).ToList();
|
||||||
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// Feedをファイルとして出力
|
/// Feedをファイルとして出力
|
||||||
/// </summary>
|
/// </summary>
|
||||||
@@ -126,6 +173,12 @@ public class CmnUtil
|
|||||||
/// <param name="feed"></param>
|
/// <param name="feed"></param>
|
||||||
public static void ExportXMLFile(string fileName, SyndicationFeed feed, string addDir = "")
|
public static void ExportXMLFile(string fileName, SyndicationFeed feed, string addDir = "")
|
||||||
{
|
{
|
||||||
|
// 24時間以上前の古い記事を除外(公開日時が24時間以上前でも、更新日時が24時間以内なら取得対象)
|
||||||
|
if (feed.Items != null)
|
||||||
|
{
|
||||||
|
feed.Items = FilterItemsWithinHours(feed.Items, 24);
|
||||||
|
}
|
||||||
|
|
||||||
var filePath = GetExportXmlPath(fileName, addDir);
|
var filePath = GetExportXmlPath(fileName, addDir);
|
||||||
// 文字コードをUTF-8に指定
|
// 文字コードをUTF-8に指定
|
||||||
var settings = new XmlWriterSettings
|
var settings = new XmlWriterSettings
|
||||||
|
|||||||
@@ -35,8 +35,15 @@ internal class rank
|
|||||||
var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId);
|
var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId);
|
||||||
var simplifiedItems = new List<SyndicationItem>();
|
var simplifiedItems = new List<SyndicationItem>();
|
||||||
|
|
||||||
|
var cutoff = DateTimeOffset.Now.AddHours(-24);
|
||||||
foreach (var item in items)
|
foreach (var item in items)
|
||||||
{
|
{
|
||||||
|
// 24時間以上前の記事は詳細スクレイピングをスキップ
|
||||||
|
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
var simplified = await Simplified(client, item, sessionId);
|
var simplified = await Simplified(client, item, sessionId);
|
||||||
if (simplified != null)
|
if (simplified != null)
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -33,6 +33,7 @@ internal class ci_en
|
|||||||
var document = await CmnUtil.GetDocument(client, rssUrl);
|
var document = await CmnUtil.GetDocument(client, rssUrl);
|
||||||
var elemArticles = document.QuerySelectorAll(".c-card-article");
|
var elemArticles = document.QuerySelectorAll(".c-card-article");
|
||||||
var parser = new HtmlParser();
|
var parser = new HtmlParser();
|
||||||
|
var cutoff = DateTimeOffset.Now.AddHours(-24);
|
||||||
|
|
||||||
foreach (var elemArticle in elemArticles)
|
foreach (var elemArticle in elemArticles)
|
||||||
{
|
{
|
||||||
@@ -75,6 +76,12 @@ internal class ci_en
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// 24時間判定(カットオフより古い記事は本文取得を行わずスキップ)
|
||||||
|
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
var body = new StringBuilder();
|
var body = new StringBuilder();
|
||||||
if (!string.IsNullOrEmpty(href))
|
if (!string.IsNullOrEmpty(href))
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -31,6 +31,7 @@ internal class index_japanese
|
|||||||
}
|
}
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
|
var cutoff = DateTimeOffset.Now.AddHours(-24);
|
||||||
for (int pageId = 1; pageId <= 5; pageId++)
|
for (int pageId = 1; pageId <= 5; pageId++)
|
||||||
{
|
{
|
||||||
var pageURL = pageId == 1 ? baseURL : $"{baseURL}?page={pageId}";
|
var pageURL = pageId == 1 ? baseURL : $"{baseURL}?page={pageId}";
|
||||||
@@ -40,8 +41,15 @@ internal class index_japanese
|
|||||||
continue;
|
continue;
|
||||||
}
|
}
|
||||||
|
|
||||||
var newItems = ParseGalleryItems(document);
|
var newItems = ParseGalleryItems(document, cutoff, out int totalCards);
|
||||||
items.AddRange(newItems);
|
items.AddRange(newItems);
|
||||||
|
|
||||||
|
// ページ内に記事カードが存在したにもかかわらず24時間以内の記事が0件だった場合、
|
||||||
|
// 新着順のためこれ以降のページもすべて24時間以上前と判断して取得を終了
|
||||||
|
if (totalCards > 0 && newItems.Count == 0)
|
||||||
|
{
|
||||||
|
break;
|
||||||
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
finally
|
finally
|
||||||
@@ -69,10 +77,11 @@ internal class index_japanese
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
private static List<SyndicationItem> ParseGalleryItems(IDocument document)
|
private static List<SyndicationItem> ParseGalleryItems(IDocument document, DateTimeOffset cutoff, out int totalCards)
|
||||||
{
|
{
|
||||||
var result = new List<SyndicationItem>();
|
var result = new List<SyndicationItem>();
|
||||||
var cards = document.QuerySelectorAll(".gallery-content > div");
|
var cards = document.QuerySelectorAll(".gallery-content > div");
|
||||||
|
totalCards = cards.Length;
|
||||||
|
|
||||||
foreach (var card in cards)
|
foreach (var card in cards)
|
||||||
{
|
{
|
||||||
@@ -128,6 +137,12 @@ internal class index_japanese
|
|||||||
item.LastUpdatedTime = DateTime.Now;
|
item.LastUpdatedTime = DateTime.Now;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// 24時間判定(カットオフより古い記事は取得対象外とする)
|
||||||
|
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
// 作家の取得
|
// 作家の取得
|
||||||
var artistElems = card.QuerySelectorAll(".artist-list li a");
|
var artistElems = card.QuerySelectorAll(".artist-list li a");
|
||||||
foreach (var artistElem in artistElems)
|
foreach (var artistElem in artistElems)
|
||||||
|
|||||||
@@ -43,8 +43,11 @@ internal class mangalear
|
|||||||
.Select(g => g.First())
|
.Select(g => g.First())
|
||||||
.ToList();
|
.ToList();
|
||||||
|
|
||||||
|
// 24時間以内の記事のみに絞り込んでから詳細ページの画像抽出を実施(通信量と処理時間の削減)
|
||||||
|
var validItems = CmnUtil.FilterItemsWithinHours(uniqueItems, 24);
|
||||||
|
|
||||||
// 3. 各記事の詳細ページから本文画像を全て抽出し、新しいフィードアイテムに整形
|
// 3. 各記事の詳細ページから本文画像を全て抽出し、新しいフィードアイテムに整形
|
||||||
var itemTasks = uniqueItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||||
{
|
{
|
||||||
var link = originalItem.Links.FirstOrDefault()?.Uri;
|
var link = originalItem.Links.FirstOrDefault()?.Uri;
|
||||||
var title = originalItem.Title?.Text ?? "No Title";
|
var title = originalItem.Title?.Text ?? "No Title";
|
||||||
|
|||||||
@@ -24,8 +24,11 @@ internal class momonga_fanzine
|
|||||||
var results = await Task.WhenAll(tasks);
|
var results = await Task.WhenAll(tasks);
|
||||||
var allItems = results.SelectMany(items => items).ToList();
|
var allItems = results.SelectMany(items => items).ToList();
|
||||||
|
|
||||||
|
// 24時間以内の記事のみに絞り込んでから整形タスクを実施
|
||||||
|
var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
|
||||||
|
|
||||||
// 簡潔なRSSに非同期で整形
|
// 簡潔なRSSに非同期で整形
|
||||||
var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||||
{
|
{
|
||||||
List<SyndicationCategory> getAddCategory()
|
List<SyndicationCategory> getAddCategory()
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -24,8 +24,11 @@ internal class momonga_magazine
|
|||||||
var results = await Task.WhenAll(tasks);
|
var results = await Task.WhenAll(tasks);
|
||||||
var allItems = results.SelectMany(items => items).ToList();
|
var allItems = results.SelectMany(items => items).ToList();
|
||||||
|
|
||||||
|
// 24時間以内の記事のみに絞り込んでから整形タスクを実施
|
||||||
|
var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
|
||||||
|
|
||||||
// 簡潔なRSSに非同期で整形
|
// 簡潔なRSSに非同期で整形
|
||||||
var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||||
{
|
{
|
||||||
List<SyndicationCategory> getAddCategory()
|
List<SyndicationCategory> getAddCategory()
|
||||||
{
|
{
|
||||||
|
|||||||
Reference in new issue
Block a user