- momonga_fanzine.cs, momonga_magazine.cs において本文メタデータから「サークル」「作者」を抽出し、著者の箇所(Authors)にそれぞれ追加 - 複数作者や複数サークルがある場合はカンマ区切りで個別登録し、重複を排除 - FreshRSS上でサークル名・アーティスト名のそれぞれで絞り込み検索が可能になるよう改善 - リファクタリングおよびログ出力プレフィックスの統一
377 lines
15 KiB
C#
377 lines
15 KiB
C#
using AngleSharp.Dom;
|
||
using AngleSharp.Html.Dom;
|
||
using System;
|
||
using System.Collections.Generic;
|
||
using System.IO;
|
||
using System.Linq;
|
||
using System.Net.Http;
|
||
using System.ServiceModel.Syndication;
|
||
using System.Text;
|
||
using System.Text.Json;
|
||
using System.Text.RegularExpressions;
|
||
using System.Threading.Tasks;
|
||
using System.Xml;
|
||
using rss_generator.Class.Common;
|
||
|
||
namespace rss_generator.Class.AuraHentai;
|
||
|
||
internal class aurahentai
|
||
{
|
||
/// <summary>
|
||
/// 既存フィード記事の比較用データ保持クラス
|
||
/// </summary>
|
||
private class ExistingFeedEntry
|
||
{
|
||
public string Title { get; set; } = string.Empty;
|
||
public string SummaryHtml { get; set; } = string.Empty;
|
||
public DateTimeOffset PublishDate { get; set; }
|
||
}
|
||
|
||
/// <summary>
|
||
/// aurahentai.com の日本語作品一覧から RSS フィード (aurahentai.xml) を生成します。
|
||
/// 一覧ページから作品情報を直接パースすることで FlareSolverr へのリクエスト数を大幅に削減し、
|
||
/// 新規記事や更新記事のみコンテンツページの DOM (JSON-LD) から正確な datePublished を取得します。
|
||
/// 既存記事はキャッシュを活用することで過負荷と重複登録を完全に防止します。
|
||
/// </summary>
|
||
/// <param name="client">HttpClient インスタンス</param>
|
||
/// <param name="sessionId">FlareSolverr セッションID(省略時は自前で作成・破棄)</param>
|
||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||
{
|
||
var baseURL = "https://aurahentai.com/language/japanese";
|
||
var feed = new SyndicationFeed("aurahentai.com", "", new Uri(baseURL));
|
||
var items = new List<SyndicationItem>();
|
||
|
||
try
|
||
{
|
||
// 既存の aurahentai.xml から過去に出力した各記事の内容(タイトル・本文・日時)を読み込む
|
||
var existingEntries = LoadExistingEntries("aurahentai.xml");
|
||
|
||
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
|
||
for (int pageId = 1; pageId <= 5; pageId++)
|
||
{
|
||
var pageURL = $"{baseURL}?page={pageId}";
|
||
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
|
||
if (document == null)
|
||
{
|
||
continue;
|
||
}
|
||
|
||
var newItems = await CreateFeedItemsFromListPageAsync(client, sessionId, document, pageId, existingEntries);
|
||
items.AddRange(newItems);
|
||
}
|
||
|
||
// ID 重複排除
|
||
var uniqueItems = items
|
||
.GroupBy(x => x.Id)
|
||
.Select(g => g.First())
|
||
.ToList();
|
||
|
||
feed.Items = uniqueItems;
|
||
|
||
await CmnUtil.ExportXMLFileAsync("aurahentai.xml", feed, client);
|
||
}
|
||
catch (Exception ex)
|
||
{
|
||
LogManager.AddLog($"[エラー] aurahentai: {ex.Message}");
|
||
}
|
||
}
|
||
|
||
/// <summary>
|
||
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時を読み込みます。
|
||
/// URL および GUID の両方をキーとして辞書に格納します。
|
||
/// </summary>
|
||
/// <param name="fileName">XML ファイル名</param>
|
||
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
|
||
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||
{
|
||
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||
try
|
||
{
|
||
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
|
||
if (!File.Exists(xmlPath))
|
||
{
|
||
return existingEntries;
|
||
}
|
||
|
||
using var reader = XmlReader.Create(xmlPath);
|
||
var existingFeed = SyndicationFeed.Load(reader);
|
||
if (existingFeed?.Items != null)
|
||
{
|
||
foreach (var item in existingFeed.Items)
|
||
{
|
||
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||
var guid = item.Id;
|
||
var date = item.PublishDate != DateTimeOffset.MinValue
|
||
? item.PublishDate
|
||
: item.LastUpdatedTime;
|
||
|
||
var entry = new ExistingFeedEntry
|
||
{
|
||
Title = item.Title?.Text?.Trim() ?? string.Empty,
|
||
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
|
||
PublishDate = date
|
||
};
|
||
|
||
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
|
||
{
|
||
existingEntries[linkUrl] = entry;
|
||
}
|
||
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
|
||
{
|
||
existingEntries[guid] = entry;
|
||
}
|
||
}
|
||
}
|
||
}
|
||
catch (Exception ex)
|
||
{
|
||
LogManager.AddLog($"[情報] aurahentai 既存エントリの読み込みスキップ: {ex.Message}");
|
||
}
|
||
|
||
return existingEntries;
|
||
}
|
||
|
||
/// <summary>
|
||
/// 一覧ページの IDocument から個別作品の SyndicationItem を生成します。
|
||
/// 新規記事または内容変更記事のみコンテンツページ (JSON-LD) から datePublished を取得します。
|
||
/// 変更のない既存記事は前回の PublishDate をそのまま引き継ぎ、FlareSolverr の過負荷を防ぎます。
|
||
/// </summary>
|
||
private static async Task<List<SyndicationItem>> CreateFeedItemsFromListPageAsync(
|
||
HttpClient client,
|
||
string? sessionId,
|
||
IDocument docListPage,
|
||
int pageIndex,
|
||
Dictionary<string, ExistingFeedEntry> existingEntries)
|
||
{
|
||
var items = new List<SyndicationItem>();
|
||
var articleElements = docListPage.QuerySelectorAll("main article");
|
||
|
||
int itemIndex = 0;
|
||
foreach (var article in articleElements)
|
||
{
|
||
var linkElement = article.QuerySelector("a.block, a");
|
||
if (linkElement == null) continue;
|
||
|
||
var relLink = linkElement.GetAttribute("href") ?? string.Empty;
|
||
if (string.IsNullOrWhiteSpace(relLink)) continue;
|
||
|
||
var contentsUri = CmnUtil.GetAbsoluteUri(docListPage.BaseUrl!, relLink);
|
||
if (contentsUri == null) continue;
|
||
var linkHref = contentsUri.AbsoluteUri;
|
||
|
||
// 1. タイトルの取得 (h3 または img alt)
|
||
var title = article.QuerySelector("h3")?.TextContent?.Trim();
|
||
if (string.IsNullOrWhiteSpace(title))
|
||
{
|
||
title = article.QuerySelector("img")?.GetAttribute("alt")?.Trim() ?? "No Title";
|
||
}
|
||
|
||
// 2. カバー画像 URL の決定
|
||
var replaceFr = "https://aurahentai.com/gallery/";
|
||
var replaceTo = "https://img.aurahentai.com/g/";
|
||
var imgUrl = $"{linkHref.Replace(replaceFr, replaceTo)}/001.webp";
|
||
|
||
// 3. カテゴリ(Doujinshi, Manga 等)
|
||
var categorySpan = article.QuerySelector("span.uppercase, span[class*='uppercase']");
|
||
var category = categorySpan?.TextContent?.Trim() ?? string.Empty;
|
||
|
||
// 4. ページ数 (例: 34p)
|
||
var pageSpan = article.QuerySelectorAll("span").FirstOrDefault(s => s.TextContent.Trim().EndsWith("p", StringComparison.OrdinalIgnoreCase));
|
||
var pageCount = pageSpan?.TextContent?.Trim() ?? string.Empty;
|
||
|
||
// 5. 本文 HTML の生成
|
||
var body = new StringBuilder();
|
||
|
||
if (!string.IsNullOrEmpty(linkHref))
|
||
{
|
||
// WebImageViewer統一リンク (https://udukipc-web.armonica-vps.work/?url=[ページURL])
|
||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(linkHref)}";
|
||
body.Append($"<div>");
|
||
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
|
||
body.Append($"</div>");
|
||
}
|
||
|
||
// 1枚目画像
|
||
body.Append($"<div>");
|
||
body.Append($"<img src=\"{imgUrl}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
|
||
body.Append($"</div>");
|
||
|
||
if (!string.IsNullOrWhiteSpace(pageCount) || !string.IsNullOrWhiteSpace(category))
|
||
{
|
||
body.Append($"<p>");
|
||
if (!string.IsNullOrWhiteSpace(category)) body.Append($"[{category}] ");
|
||
if (!string.IsNullOrWhiteSpace(pageCount)) body.Append($"ページ数: {pageCount}");
|
||
body.Append($"</p>");
|
||
}
|
||
|
||
string currentSummaryHtml = body.ToString();
|
||
|
||
// 6. GUID の生成: 記事URLを渡して一意な文字列を生成
|
||
string guid = CmnUtil.CreateGuid(linkHref);
|
||
|
||
// 7. 内容比較および公開日時の決定
|
||
ExistingFeedEntry? prevEntry = null;
|
||
if (existingEntries.TryGetValue(linkHref, out var byUrl))
|
||
{
|
||
prevEntry = byUrl;
|
||
}
|
||
else if (existingEntries.TryGetValue(guid, out var byGuid))
|
||
{
|
||
prevEntry = byGuid;
|
||
}
|
||
|
||
DateTimeOffset pubDate;
|
||
if (prevEntry != null)
|
||
{
|
||
// 同じ記事が存在する場合、内部(タイトル・本文HTML)を比較
|
||
bool isModified = !string.Equals(prevEntry.Title, title, StringComparison.Ordinal)
|
||
|| !string.Equals(prevEntry.SummaryHtml, currentSummaryHtml, StringComparison.Ordinal);
|
||
|
||
if (isModified)
|
||
{
|
||
// 内容が更新されている場合はコンテンツページの DOM から正確な投稿日時を取得
|
||
var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId);
|
||
pubDate = datePublished ?? DateTimeOffset.Now;
|
||
}
|
||
else
|
||
{
|
||
// 内容が変わっていない場合は前回の公開日時をそのまま維持(コンテンツページへの不要なリクエストは 0 回)
|
||
pubDate = prevEntry.PublishDate != DateTimeOffset.MinValue
|
||
? prevEntry.PublishDate
|
||
: DateTimeOffset.Now;
|
||
}
|
||
}
|
||
else
|
||
{
|
||
// 新規記事: コンテンツページの DOM (JSON-LD) から正確な datePublished を取得
|
||
var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId);
|
||
pubDate = datePublished ?? DateTimeOffset.Now.AddSeconds(-((pageIndex - 1) * 30 + itemIndex));
|
||
}
|
||
itemIndex++;
|
||
|
||
// 8. SyndicationItem の生成
|
||
var itemUri = new Uri(linkHref);
|
||
var item = new SyndicationItem(
|
||
title,
|
||
(string?)null,
|
||
itemUri,
|
||
guid,
|
||
pubDate
|
||
)
|
||
{
|
||
PublishDate = pubDate,
|
||
LastUpdatedTime = pubDate,
|
||
Summary = new TextSyndicationContent(currentSummaryHtml, TextSyndicationContentKind.Html)
|
||
};
|
||
|
||
if (!string.IsNullOrWhiteSpace(category))
|
||
{
|
||
item.Categories.Add(new SyndicationCategory(category));
|
||
}
|
||
|
||
items.Add(item);
|
||
}
|
||
|
||
return items;
|
||
}
|
||
|
||
/// <summary>
|
||
/// 個別作品のコンテンツページを FlareSolverr で取得し、DOM 内の JSON-LD から datePublished を抽出します。
|
||
/// </summary>
|
||
/// <param name="client">HttpClient</param>
|
||
/// <param name="linkHref">作品詳細ページの URL</param>
|
||
/// <param name="sessionId">FlareSolverr セッションID</param>
|
||
/// <returns>日本時間の DateTimeOffset(取得失敗時は null)</returns>
|
||
private static async Task<DateTimeOffset?> FetchDatePublishedAsync(HttpClient client, string linkHref, string? sessionId)
|
||
{
|
||
try
|
||
{
|
||
var docContents = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId);
|
||
if (docContents != null)
|
||
{
|
||
var pubDateStr = GetDatePublished(docContents);
|
||
if (!string.IsNullOrEmpty(pubDateStr) && DateTimeOffset.TryParse(pubDateStr, out DateTimeOffset parsedOffset))
|
||
{
|
||
// 日本時間(UTC+9)のオフセットに変換
|
||
return parsedOffset.ToOffset(TimeSpan.FromHours(9));
|
||
}
|
||
}
|
||
}
|
||
catch (Exception ex)
|
||
{
|
||
LogManager.AddLog($"[警告] aurahentai コンテンツページ日時取得失敗 ({linkHref}): {ex.Message}");
|
||
}
|
||
|
||
return null;
|
||
}
|
||
|
||
/// <summary>
|
||
/// IDocument 内の複数ある JSON-LD から、@type が "ImageGallery" の datePublished を取得します。
|
||
/// </summary>
|
||
/// <param name="document">AngleSharp の IDocument</param>
|
||
/// <returns>取得した datePublished 文字列(見つからない場合は null)</returns>
|
||
private static string? GetDatePublished(IDocument document)
|
||
{
|
||
var scriptElements = document.QuerySelectorAll("script[type='application/ld+json']");
|
||
|
||
foreach (var script in scriptElements)
|
||
{
|
||
string jsonText = script.TextContent?.Trim() ?? string.Empty;
|
||
if (string.IsNullOrEmpty(jsonText))
|
||
{
|
||
continue;
|
||
}
|
||
|
||
try
|
||
{
|
||
using var jsonDoc = JsonDocument.Parse(jsonText);
|
||
var root = jsonDoc.RootElement;
|
||
|
||
if (root.ValueKind == JsonValueKind.Object)
|
||
{
|
||
if (TryExtractDate(root, out var date))
|
||
{
|
||
return date;
|
||
}
|
||
}
|
||
else if (root.ValueKind == JsonValueKind.Array)
|
||
{
|
||
foreach (var item in root.EnumerateArray())
|
||
{
|
||
if (item.ValueKind == JsonValueKind.Object && TryExtractDate(item, out var date))
|
||
{
|
||
return date;
|
||
}
|
||
}
|
||
}
|
||
}
|
||
catch (JsonException)
|
||
{
|
||
continue;
|
||
}
|
||
}
|
||
|
||
return null;
|
||
}
|
||
|
||
/// <summary>
|
||
/// @type が ImageGallery か判定し、datePublished の値を取り出します。
|
||
/// </summary>
|
||
private static bool TryExtractDate(JsonElement element, out string? datePublished)
|
||
{
|
||
datePublished = null;
|
||
|
||
if (element.TryGetProperty("@type", out var typeProp) &&
|
||
string.Equals(typeProp.GetString(), "ImageGallery", StringComparison.OrdinalIgnoreCase))
|
||
{
|
||
if (element.TryGetProperty("datePublished", out var dateProp))
|
||
{
|
||
datePublished = dateProp.GetString();
|
||
return true;
|
||
}
|
||
}
|
||
|
||
return false;
|
||
}
|
||
}
|