取得方法調整
This commit is contained in:
1 parent
ecbfed2694
commit
e14b273174
2 files changed
+242
-21
No files matched your search
@@ -2,23 +2,38 @@ using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.IO;
|
||||
using System.Linq;
|
||||
using System.Net.Http;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.Json;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class aurahentai
|
||||
{
|
||||
/// <summary>
|
||||
/// 既存フィード記事の比較用データ保持クラス
|
||||
/// </summary>
|
||||
private class ExistingFeedEntry
|
||||
{
|
||||
public string Title { get; set; } = string.Empty;
|
||||
public string SummaryHtml { get; set; } = string.Empty;
|
||||
public DateTimeOffset PublishDate { get; set; }
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// aurahentai.com の日本語作品一覧から RSS フィード (aurahentai.xml) を生成します。
|
||||
/// 一覧ページから作品情報を直接パースすることで、FlareSolverr へのリクエスト数を最小化(全150件をたった5回のリクエストで取得)し、
|
||||
/// 500 Internal Server Error や過負荷を根本防止しています。
|
||||
/// 一覧ページから作品情報を直接パースすることで FlareSolverr へのリクエスト数を大幅に削減し、
|
||||
/// 新規記事や更新記事のみコンテンツページの DOM (JSON-LD) から正確な datePublished を取得します。
|
||||
/// 既存記事はキャッシュを活用することで過負荷と重複登録を完全に防止します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
/// <param name="sessionId">FlareSolverr セッションID(省略時は自前で作成・破棄)</param>
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
var baseURL = "https://aurahentai.com/language/japanese";
|
||||
@@ -27,6 +42,9 @@ internal class aurahentai
|
||||
|
||||
try
|
||||
{
|
||||
// 既存の aurahentai.xml から過去に出力した各記事の内容(タイトル・本文・日時)を読み込む
|
||||
var existingEntries = LoadExistingEntries("aurahentai.xml");
|
||||
|
||||
// 外部からセッションが渡されなかった場合は自前で作成
|
||||
bool ownSession = sessionId == null;
|
||||
if (ownSession)
|
||||
@@ -44,7 +62,7 @@ internal class aurahentai
|
||||
continue;
|
||||
}
|
||||
|
||||
var newItems = CreateFeedItemsFromListPage(document, pageId);
|
||||
var newItems = await CreateFeedItemsFromListPageAsync(client, sessionId, document, pageId, existingEntries);
|
||||
items.AddRange(newItems);
|
||||
}
|
||||
}
|
||||
@@ -73,13 +91,71 @@ internal class aurahentai
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 一覧ページの IDocument から個別作品の SyndicationItem を生成します。
|
||||
/// タイトル、リンク、カバー画像、ページ数、カテゴリは一覧ページの DOM からすべて取得可能です。
|
||||
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時を読み込みます。
|
||||
/// URL および GUID の両方をキーとして辞書に格納します。
|
||||
/// </summary>
|
||||
/// <param name="docListPage">AngleSharp の一覧ページ IDocument</param>
|
||||
/// <param name="pageIndex">ページ番号</param>
|
||||
/// <returns>SyndicationItem のリスト</returns>
|
||||
private static List<SyndicationItem> CreateFeedItemsFromListPage(IDocument docListPage, int pageIndex)
|
||||
/// <param name="fileName">XML ファイル名</param>
|
||||
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
|
||||
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||||
{
|
||||
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||||
try
|
||||
{
|
||||
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
|
||||
if (!File.Exists(xmlPath))
|
||||
{
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
using var reader = XmlReader.Create(xmlPath);
|
||||
var existingFeed = SyndicationFeed.Load(reader);
|
||||
if (existingFeed?.Items != null)
|
||||
{
|
||||
foreach (var item in existingFeed.Items)
|
||||
{
|
||||
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||
var guid = item.Id;
|
||||
var date = item.PublishDate != DateTimeOffset.MinValue
|
||||
? item.PublishDate
|
||||
: item.LastUpdatedTime;
|
||||
|
||||
var entry = new ExistingFeedEntry
|
||||
{
|
||||
Title = item.Title?.Text?.Trim() ?? string.Empty,
|
||||
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
|
||||
PublishDate = date
|
||||
};
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
|
||||
{
|
||||
existingEntries[linkUrl] = entry;
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
|
||||
{
|
||||
existingEntries[guid] = entry;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[情報] aurahentai 既存エントリの読み込みスキップ: {ex.Message}");
|
||||
}
|
||||
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 一覧ページの IDocument から個別作品の SyndicationItem を生成します。
|
||||
/// 新規記事または内容変更記事のみコンテンツページ (JSON-LD) から datePublished を取得します。
|
||||
/// 変更のない既存記事は前回の PublishDate をそのまま引き継ぎ、FlareSolverr の過負荷を防ぎます。
|
||||
/// </summary>
|
||||
private static async Task<List<SyndicationItem>> CreateFeedItemsFromListPageAsync(
|
||||
HttpClient client,
|
||||
string? sessionId,
|
||||
IDocument docListPage,
|
||||
int pageIndex,
|
||||
Dictionary<string, ExistingFeedEntry> existingEntries)
|
||||
{
|
||||
var items = new List<SyndicationItem>();
|
||||
var articleElements = docListPage.QuerySelectorAll("main article");
|
||||
@@ -117,11 +193,7 @@ internal class aurahentai
|
||||
var pageSpan = article.QuerySelectorAll("span").FirstOrDefault(s => s.TextContent.Trim().EndsWith("p", StringComparison.OrdinalIgnoreCase));
|
||||
var pageCount = pageSpan?.TextContent?.Trim() ?? string.Empty;
|
||||
|
||||
// 5. 日時 (一覧の掲載順序を維持するために少しずつオフセット)
|
||||
var pubDate = DateTime.Now.AddMinutes(-((pageIndex - 1) * 30 + itemIndex));
|
||||
itemIndex++;
|
||||
|
||||
// 6. 本文 HTML の生成
|
||||
// 5. 本文 HTML の生成
|
||||
var body = new StringBuilder();
|
||||
|
||||
// ギャラリー表示リンク
|
||||
@@ -148,17 +220,66 @@ internal class aurahentai
|
||||
body.Append($"</p>");
|
||||
}
|
||||
|
||||
var item = new SyndicationItem
|
||||
string currentSummaryHtml = body.ToString();
|
||||
|
||||
// 6. GUID の生成: 記事URLを渡して一意な文字列を生成
|
||||
string guid = CmnUtil.CreateGuid(linkHref);
|
||||
|
||||
// 7. 内容比較および公開日時の決定
|
||||
ExistingFeedEntry? prevEntry = null;
|
||||
if (existingEntries.TryGetValue(linkHref, out var byUrl))
|
||||
{
|
||||
prevEntry = byUrl;
|
||||
}
|
||||
else if (existingEntries.TryGetValue(guid, out var byGuid))
|
||||
{
|
||||
prevEntry = byGuid;
|
||||
}
|
||||
|
||||
DateTimeOffset pubDate;
|
||||
if (prevEntry != null)
|
||||
{
|
||||
// 同じ記事が存在する場合、内部(タイトル・本文HTML)を比較
|
||||
bool isModified = !string.Equals(prevEntry.Title, title, StringComparison.Ordinal)
|
||||
|| !string.Equals(prevEntry.SummaryHtml, currentSummaryHtml, StringComparison.Ordinal);
|
||||
|
||||
if (isModified)
|
||||
{
|
||||
// 内容が更新されている場合はコンテンツページの DOM から正確な投稿日時を取得
|
||||
var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId);
|
||||
pubDate = datePublished ?? DateTimeOffset.Now;
|
||||
}
|
||||
else
|
||||
{
|
||||
// 内容が変わっていない場合は前回の公開日時をそのまま維持(コンテンツページへの不要なリクエストは 0 回)
|
||||
pubDate = prevEntry.PublishDate != DateTimeOffset.MinValue
|
||||
? prevEntry.PublishDate
|
||||
: DateTimeOffset.Now;
|
||||
}
|
||||
}
|
||||
else
|
||||
{
|
||||
// 新規記事: コンテンツページの DOM (JSON-LD) から正確な datePublished を取得
|
||||
var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId);
|
||||
pubDate = datePublished ?? DateTimeOffset.Now.AddSeconds(-((pageIndex - 1) * 30 + itemIndex));
|
||||
}
|
||||
itemIndex++;
|
||||
|
||||
// 8. SyndicationItem の生成
|
||||
var itemUri = new Uri(linkHref);
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
pubDate
|
||||
)
|
||||
{
|
||||
Title = new TextSyndicationContent(title),
|
||||
Id = CmnUtil.CreateGuid(linkHref),
|
||||
PublishDate = pubDate,
|
||||
LastUpdatedTime = pubDate,
|
||||
Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html)
|
||||
Summary = new TextSyndicationContent(currentSummaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
item.Links.Add(new SyndicationLink(new Uri(linkHref)));
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(category))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(category));
|
||||
@@ -169,4 +290,103 @@ internal class aurahentai
|
||||
|
||||
return items;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 個別作品のコンテンツページを FlareSolverr で取得し、DOM 内の JSON-LD から datePublished を抽出します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient</param>
|
||||
/// <param name="linkHref">作品詳細ページの URL</param>
|
||||
/// <param name="sessionId">FlareSolverr セッションID</param>
|
||||
/// <returns>日本時間の DateTimeOffset(取得失敗時は null)</returns>
|
||||
private static async Task<DateTimeOffset?> FetchDatePublishedAsync(HttpClient client, string linkHref, string? sessionId)
|
||||
{
|
||||
try
|
||||
{
|
||||
var docContents = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId);
|
||||
if (docContents != null)
|
||||
{
|
||||
var pubDateStr = GetDatePublished(docContents);
|
||||
if (!string.IsNullOrEmpty(pubDateStr) && DateTimeOffset.TryParse(pubDateStr, out DateTimeOffset parsedOffset))
|
||||
{
|
||||
// 日本時間(UTC+9)のオフセットに変換
|
||||
return parsedOffset.ToOffset(TimeSpan.FromHours(9));
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] aurahentai コンテンツページ日時取得失敗 ({linkHref}): {ex.Message}");
|
||||
}
|
||||
|
||||
return null;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// IDocument 内の複数ある JSON-LD から、@type が "ImageGallery" の datePublished を取得します。
|
||||
/// </summary>
|
||||
/// <param name="document">AngleSharp の IDocument</param>
|
||||
/// <returns>取得した datePublished 文字列(見つからない場合は null)</returns>
|
||||
private static string? GetDatePublished(IDocument document)
|
||||
{
|
||||
var scriptElements = document.QuerySelectorAll("script[type='application/ld+json']");
|
||||
|
||||
foreach (var script in scriptElements)
|
||||
{
|
||||
string jsonText = script.TextContent?.Trim() ?? string.Empty;
|
||||
if (string.IsNullOrEmpty(jsonText))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
try
|
||||
{
|
||||
using var jsonDoc = JsonDocument.Parse(jsonText);
|
||||
var root = jsonDoc.RootElement;
|
||||
|
||||
if (root.ValueKind == JsonValueKind.Object)
|
||||
{
|
||||
if (TryExtractDate(root, out var date))
|
||||
{
|
||||
return date;
|
||||
}
|
||||
}
|
||||
else if (root.ValueKind == JsonValueKind.Array)
|
||||
{
|
||||
foreach (var item in root.EnumerateArray())
|
||||
{
|
||||
if (item.ValueKind == JsonValueKind.Object && TryExtractDate(item, out var date))
|
||||
{
|
||||
return date;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (JsonException)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
}
|
||||
|
||||
return null;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// @type が ImageGallery か判定し、datePublished の値を取り出します。
|
||||
/// </summary>
|
||||
private static bool TryExtractDate(JsonElement element, out string? datePublished)
|
||||
{
|
||||
datePublished = null;
|
||||
|
||||
if (element.TryGetProperty("@type", out var typeProp) &&
|
||||
string.Equals(typeProp.GetString(), "ImageGallery", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
if (element.TryGetProperty("datePublished", out var dateProp))
|
||||
{
|
||||
datePublished = dateProp.GetString();
|
||||
return true;
|
||||
}
|
||||
}
|
||||
|
||||
return false;
|
||||
}
|
||||
}
|
||||
Reference in new issue
Block a user