取得方法調整
This commit is contained in:
1 parent
ecbfed2694
commit
e14b273174
2 files changed
+242
-21
No files matched your search
@@ -2,23 +2,38 @@ using AngleSharp.Dom;
|
|||||||
using AngleSharp.Html.Dom;
|
using AngleSharp.Html.Dom;
|
||||||
using System;
|
using System;
|
||||||
using System.Collections.Generic;
|
using System.Collections.Generic;
|
||||||
|
using System.IO;
|
||||||
using System.Linq;
|
using System.Linq;
|
||||||
using System.Net.Http;
|
using System.Net.Http;
|
||||||
using System.ServiceModel.Syndication;
|
using System.ServiceModel.Syndication;
|
||||||
using System.Text;
|
using System.Text;
|
||||||
|
using System.Text.Json;
|
||||||
using System.Text.RegularExpressions;
|
using System.Text.RegularExpressions;
|
||||||
using System.Threading.Tasks;
|
using System.Threading.Tasks;
|
||||||
|
using System.Xml;
|
||||||
|
|
||||||
namespace rss_generator.Class.RSS;
|
namespace rss_generator.Class.RSS;
|
||||||
|
|
||||||
internal class aurahentai
|
internal class aurahentai
|
||||||
{
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// 既存フィード記事の比較用データ保持クラス
|
||||||
|
/// </summary>
|
||||||
|
private class ExistingFeedEntry
|
||||||
|
{
|
||||||
|
public string Title { get; set; } = string.Empty;
|
||||||
|
public string SummaryHtml { get; set; } = string.Empty;
|
||||||
|
public DateTimeOffset PublishDate { get; set; }
|
||||||
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// aurahentai.com の日本語作品一覧から RSS フィード (aurahentai.xml) を生成します。
|
/// aurahentai.com の日本語作品一覧から RSS フィード (aurahentai.xml) を生成します。
|
||||||
/// 一覧ページから作品情報を直接パースすることで、FlareSolverr へのリクエスト数を最小化(全150件をたった5回のリクエストで取得)し、
|
/// 一覧ページから作品情報を直接パースすることで FlareSolverr へのリクエスト数を大幅に削減し、
|
||||||
/// 500 Internal Server Error や過負荷を根本防止しています。
|
/// 新規記事や更新記事のみコンテンツページの DOM (JSON-LD) から正確な datePublished を取得します。
|
||||||
|
/// 既存記事はキャッシュを活用することで過負荷と重複登録を完全に防止します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
/// <param name="client">HttpClient インスタンス</param>
|
/// <param name="client">HttpClient インスタンス</param>
|
||||||
|
/// <param name="sessionId">FlareSolverr セッションID(省略時は自前で作成・破棄)</param>
|
||||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||||
{
|
{
|
||||||
var baseURL = "https://aurahentai.com/language/japanese";
|
var baseURL = "https://aurahentai.com/language/japanese";
|
||||||
@@ -27,6 +42,9 @@ internal class aurahentai
|
|||||||
|
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
|
// 既存の aurahentai.xml から過去に出力した各記事の内容(タイトル・本文・日時)を読み込む
|
||||||
|
var existingEntries = LoadExistingEntries("aurahentai.xml");
|
||||||
|
|
||||||
// 外部からセッションが渡されなかった場合は自前で作成
|
// 外部からセッションが渡されなかった場合は自前で作成
|
||||||
bool ownSession = sessionId == null;
|
bool ownSession = sessionId == null;
|
||||||
if (ownSession)
|
if (ownSession)
|
||||||
@@ -44,7 +62,7 @@ internal class aurahentai
|
|||||||
continue;
|
continue;
|
||||||
}
|
}
|
||||||
|
|
||||||
var newItems = CreateFeedItemsFromListPage(document, pageId);
|
var newItems = await CreateFeedItemsFromListPageAsync(client, sessionId, document, pageId, existingEntries);
|
||||||
items.AddRange(newItems);
|
items.AddRange(newItems);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
@@ -73,13 +91,71 @@ internal class aurahentai
|
|||||||
}
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// 一覧ページの IDocument から個別作品の SyndicationItem を生成します。
|
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時を読み込みます。
|
||||||
/// タイトル、リンク、カバー画像、ページ数、カテゴリは一覧ページの DOM からすべて取得可能です。
|
/// URL および GUID の両方をキーとして辞書に格納します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
/// <param name="docListPage">AngleSharp の一覧ページ IDocument</param>
|
/// <param name="fileName">XML ファイル名</param>
|
||||||
/// <param name="pageIndex">ページ番号</param>
|
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
|
||||||
/// <returns>SyndicationItem のリスト</returns>
|
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||||||
private static List<SyndicationItem> CreateFeedItemsFromListPage(IDocument docListPage, int pageIndex)
|
{
|
||||||
|
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
try
|
||||||
|
{
|
||||||
|
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
|
||||||
|
if (!File.Exists(xmlPath))
|
||||||
|
{
|
||||||
|
return existingEntries;
|
||||||
|
}
|
||||||
|
|
||||||
|
using var reader = XmlReader.Create(xmlPath);
|
||||||
|
var existingFeed = SyndicationFeed.Load(reader);
|
||||||
|
if (existingFeed?.Items != null)
|
||||||
|
{
|
||||||
|
foreach (var item in existingFeed.Items)
|
||||||
|
{
|
||||||
|
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||||
|
var guid = item.Id;
|
||||||
|
var date = item.PublishDate != DateTimeOffset.MinValue
|
||||||
|
? item.PublishDate
|
||||||
|
: item.LastUpdatedTime;
|
||||||
|
|
||||||
|
var entry = new ExistingFeedEntry
|
||||||
|
{
|
||||||
|
Title = item.Title?.Text?.Trim() ?? string.Empty,
|
||||||
|
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
|
||||||
|
PublishDate = date
|
||||||
|
};
|
||||||
|
|
||||||
|
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
|
||||||
|
{
|
||||||
|
existingEntries[linkUrl] = entry;
|
||||||
|
}
|
||||||
|
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
|
||||||
|
{
|
||||||
|
existingEntries[guid] = entry;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[情報] aurahentai 既存エントリの読み込みスキップ: {ex.Message}");
|
||||||
|
}
|
||||||
|
|
||||||
|
return existingEntries;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 一覧ページの IDocument から個別作品の SyndicationItem を生成します。
|
||||||
|
/// 新規記事または内容変更記事のみコンテンツページ (JSON-LD) から datePublished を取得します。
|
||||||
|
/// 変更のない既存記事は前回の PublishDate をそのまま引き継ぎ、FlareSolverr の過負荷を防ぎます。
|
||||||
|
/// </summary>
|
||||||
|
private static async Task<List<SyndicationItem>> CreateFeedItemsFromListPageAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string? sessionId,
|
||||||
|
IDocument docListPage,
|
||||||
|
int pageIndex,
|
||||||
|
Dictionary<string, ExistingFeedEntry> existingEntries)
|
||||||
{
|
{
|
||||||
var items = new List<SyndicationItem>();
|
var items = new List<SyndicationItem>();
|
||||||
var articleElements = docListPage.QuerySelectorAll("main article");
|
var articleElements = docListPage.QuerySelectorAll("main article");
|
||||||
@@ -117,11 +193,7 @@ internal class aurahentai
|
|||||||
var pageSpan = article.QuerySelectorAll("span").FirstOrDefault(s => s.TextContent.Trim().EndsWith("p", StringComparison.OrdinalIgnoreCase));
|
var pageSpan = article.QuerySelectorAll("span").FirstOrDefault(s => s.TextContent.Trim().EndsWith("p", StringComparison.OrdinalIgnoreCase));
|
||||||
var pageCount = pageSpan?.TextContent?.Trim() ?? string.Empty;
|
var pageCount = pageSpan?.TextContent?.Trim() ?? string.Empty;
|
||||||
|
|
||||||
// 5. 日時 (一覧の掲載順序を維持するために少しずつオフセット)
|
// 5. 本文 HTML の生成
|
||||||
var pubDate = DateTime.Now.AddMinutes(-((pageIndex - 1) * 30 + itemIndex));
|
|
||||||
itemIndex++;
|
|
||||||
|
|
||||||
// 6. 本文 HTML の生成
|
|
||||||
var body = new StringBuilder();
|
var body = new StringBuilder();
|
||||||
|
|
||||||
// ギャラリー表示リンク
|
// ギャラリー表示リンク
|
||||||
@@ -148,17 +220,66 @@ internal class aurahentai
|
|||||||
body.Append($"</p>");
|
body.Append($"</p>");
|
||||||
}
|
}
|
||||||
|
|
||||||
var item = new SyndicationItem
|
string currentSummaryHtml = body.ToString();
|
||||||
|
|
||||||
|
// 6. GUID の生成: 記事URLを渡して一意な文字列を生成
|
||||||
|
string guid = CmnUtil.CreateGuid(linkHref);
|
||||||
|
|
||||||
|
// 7. 内容比較および公開日時の決定
|
||||||
|
ExistingFeedEntry? prevEntry = null;
|
||||||
|
if (existingEntries.TryGetValue(linkHref, out var byUrl))
|
||||||
|
{
|
||||||
|
prevEntry = byUrl;
|
||||||
|
}
|
||||||
|
else if (existingEntries.TryGetValue(guid, out var byGuid))
|
||||||
|
{
|
||||||
|
prevEntry = byGuid;
|
||||||
|
}
|
||||||
|
|
||||||
|
DateTimeOffset pubDate;
|
||||||
|
if (prevEntry != null)
|
||||||
|
{
|
||||||
|
// 同じ記事が存在する場合、内部(タイトル・本文HTML)を比較
|
||||||
|
bool isModified = !string.Equals(prevEntry.Title, title, StringComparison.Ordinal)
|
||||||
|
|| !string.Equals(prevEntry.SummaryHtml, currentSummaryHtml, StringComparison.Ordinal);
|
||||||
|
|
||||||
|
if (isModified)
|
||||||
|
{
|
||||||
|
// 内容が更新されている場合はコンテンツページの DOM から正確な投稿日時を取得
|
||||||
|
var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId);
|
||||||
|
pubDate = datePublished ?? DateTimeOffset.Now;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
// 内容が変わっていない場合は前回の公開日時をそのまま維持(コンテンツページへの不要なリクエストは 0 回)
|
||||||
|
pubDate = prevEntry.PublishDate != DateTimeOffset.MinValue
|
||||||
|
? prevEntry.PublishDate
|
||||||
|
: DateTimeOffset.Now;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
// 新規記事: コンテンツページの DOM (JSON-LD) から正確な datePublished を取得
|
||||||
|
var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId);
|
||||||
|
pubDate = datePublished ?? DateTimeOffset.Now.AddSeconds(-((pageIndex - 1) * 30 + itemIndex));
|
||||||
|
}
|
||||||
|
itemIndex++;
|
||||||
|
|
||||||
|
// 8. SyndicationItem の生成
|
||||||
|
var itemUri = new Uri(linkHref);
|
||||||
|
var item = new SyndicationItem(
|
||||||
|
title,
|
||||||
|
(string?)null,
|
||||||
|
itemUri,
|
||||||
|
guid,
|
||||||
|
pubDate
|
||||||
|
)
|
||||||
{
|
{
|
||||||
Title = new TextSyndicationContent(title),
|
|
||||||
Id = CmnUtil.CreateGuid(linkHref),
|
|
||||||
PublishDate = pubDate,
|
PublishDate = pubDate,
|
||||||
LastUpdatedTime = pubDate,
|
LastUpdatedTime = pubDate,
|
||||||
Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html)
|
Summary = new TextSyndicationContent(currentSummaryHtml, TextSyndicationContentKind.Html)
|
||||||
};
|
};
|
||||||
|
|
||||||
item.Links.Add(new SyndicationLink(new Uri(linkHref)));
|
|
||||||
|
|
||||||
if (!string.IsNullOrWhiteSpace(category))
|
if (!string.IsNullOrWhiteSpace(category))
|
||||||
{
|
{
|
||||||
item.Categories.Add(new SyndicationCategory(category));
|
item.Categories.Add(new SyndicationCategory(category));
|
||||||
@@ -169,4 +290,103 @@ internal class aurahentai
|
|||||||
|
|
||||||
return items;
|
return items;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 個別作品のコンテンツページを FlareSolverr で取得し、DOM 内の JSON-LD から datePublished を抽出します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="client">HttpClient</param>
|
||||||
|
/// <param name="linkHref">作品詳細ページの URL</param>
|
||||||
|
/// <param name="sessionId">FlareSolverr セッションID</param>
|
||||||
|
/// <returns>日本時間の DateTimeOffset(取得失敗時は null)</returns>
|
||||||
|
private static async Task<DateTimeOffset?> FetchDatePublishedAsync(HttpClient client, string linkHref, string? sessionId)
|
||||||
|
{
|
||||||
|
try
|
||||||
|
{
|
||||||
|
var docContents = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId);
|
||||||
|
if (docContents != null)
|
||||||
|
{
|
||||||
|
var pubDateStr = GetDatePublished(docContents);
|
||||||
|
if (!string.IsNullOrEmpty(pubDateStr) && DateTimeOffset.TryParse(pubDateStr, out DateTimeOffset parsedOffset))
|
||||||
|
{
|
||||||
|
// 日本時間(UTC+9)のオフセットに変換
|
||||||
|
return parsedOffset.ToOffset(TimeSpan.FromHours(9));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[警告] aurahentai コンテンツページ日時取得失敗 ({linkHref}): {ex.Message}");
|
||||||
|
}
|
||||||
|
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// IDocument 内の複数ある JSON-LD から、@type が "ImageGallery" の datePublished を取得します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="document">AngleSharp の IDocument</param>
|
||||||
|
/// <returns>取得した datePublished 文字列(見つからない場合は null)</returns>
|
||||||
|
private static string? GetDatePublished(IDocument document)
|
||||||
|
{
|
||||||
|
var scriptElements = document.QuerySelectorAll("script[type='application/ld+json']");
|
||||||
|
|
||||||
|
foreach (var script in scriptElements)
|
||||||
|
{
|
||||||
|
string jsonText = script.TextContent?.Trim() ?? string.Empty;
|
||||||
|
if (string.IsNullOrEmpty(jsonText))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
using var jsonDoc = JsonDocument.Parse(jsonText);
|
||||||
|
var root = jsonDoc.RootElement;
|
||||||
|
|
||||||
|
if (root.ValueKind == JsonValueKind.Object)
|
||||||
|
{
|
||||||
|
if (TryExtractDate(root, out var date))
|
||||||
|
{
|
||||||
|
return date;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else if (root.ValueKind == JsonValueKind.Array)
|
||||||
|
{
|
||||||
|
foreach (var item in root.EnumerateArray())
|
||||||
|
{
|
||||||
|
if (item.ValueKind == JsonValueKind.Object && TryExtractDate(item, out var date))
|
||||||
|
{
|
||||||
|
return date;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (JsonException)
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// @type が ImageGallery か判定し、datePublished の値を取り出します。
|
||||||
|
/// </summary>
|
||||||
|
private static bool TryExtractDate(JsonElement element, out string? datePublished)
|
||||||
|
{
|
||||||
|
datePublished = null;
|
||||||
|
|
||||||
|
if (element.TryGetProperty("@type", out var typeProp) &&
|
||||||
|
string.Equals(typeProp.GetString(), "ImageGallery", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
if (element.TryGetProperty("datePublished", out var dateProp))
|
||||||
|
{
|
||||||
|
datePublished = dateProp.GetString();
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return false;
|
||||||
|
}
|
||||||
}
|
}
|
||||||
@@ -81,8 +81,8 @@ while (true)
|
|||||||
tasks.Add(momonga_magazine.CreateRSSAsync(client));
|
tasks.Add(momonga_magazine.CreateRSSAsync(client));
|
||||||
}
|
}
|
||||||
#if DEBUG
|
#if DEBUG
|
||||||
|
tasks.Add(FlareSolverrFeedManager.CreateAllRSSAsync(client));
|
||||||
#else
|
#else
|
||||||
#endif
|
|
||||||
tasks.Add(YouTubeFeedManager.CreateRSSAsync(client));
|
tasks.Add(YouTubeFeedManager.CreateRSSAsync(client));
|
||||||
tasks.Add(rss_generator.Class.RSS.X.x_list.CreateRSSAsync(client));
|
tasks.Add(rss_generator.Class.RSS.X.x_list.CreateRSSAsync(client));
|
||||||
tasks.Add(kimochiinfo.CreateRSSAsync(client));
|
tasks.Add(kimochiinfo.CreateRSSAsync(client));
|
||||||
@@ -98,6 +98,7 @@ while (true)
|
|||||||
|
|
||||||
// FlareSolverr 利用タスク群(単一セッションで順次実行し、完了後に破棄してメモリ最小化)
|
// FlareSolverr 利用タスク群(単一セッションで順次実行し、完了後に破棄してメモリ最小化)
|
||||||
tasks.Add(FlareSolverrFeedManager.CreateAllRSSAsync(client));
|
tasks.Add(FlareSolverrFeedManager.CreateAllRSSAsync(client));
|
||||||
|
#endif
|
||||||
|
|
||||||
|
|
||||||
await Task.WhenAll(tasks);
|
await Task.WhenAll(tasks);
|
||||||
|
|||||||
Reference in new issue
Block a user