出力内容の設定

This commit is contained in:
armonica committed 2026-08-28 11:39:05 +09:00
1 parent b01665423e
commit f31595ac9f
5 files changed
+367 -130

No files matched your search

+255 -114
View File
@@ -1,168 +1,309 @@
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using AngleSharp.Html.Parser;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Net;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.RegularExpressions;
using System.Threading.Tasks;
namespace rss_generator.Class.RSS.Danbooru;
internal class rank
{
/// <summary>
/// Danbooruのランクフィードを取得し、各投稿ページから詳細情報を取得して整形したRSSを出力します。
/// </summary>
/// <param name="client">HttpClient インスタンス</param>
public static async Task CreateRSSAsync(HttpClient client)
{
var pageMaster = "https://danbooru.donmai.us/posts.atom?tags=order%3Arank";
try
{
// 簡潔なRSSに整形
var items = await CmnUtil.GetFeedItems(client, pageMaster);
var simplifiedItems = items.Select(n => n);
foreach (var item in simplifiedItems)
// FlareSolverr セッションを作成して複数リクエストを高速化
string? sessionId = await CmnUtil.CreateFlareSolverrSession(client);
try
{
await Simplified(client, item);
// FlareSolverr 経由で Atom フィードアイテムを取得
var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId);
var simplifiedItems = new List<SyndicationItem>();
foreach (var item in items)
{
var simplified = await Simplified(client, item, sessionId);
if (simplified != null)
{
simplifiedItems.Add(simplified);
}
}
// 新しい統合フィードを作成
var mergedFeed = new SyndicationFeed(
"Danbooru",
"Danbooru Rank Posts",
new Uri("https://danbooru.donmai.us/posts?tags=order%3Arank"),
simplifiedItems
);
CmnUtil.ExportXMLFile("rank.xml", mergedFeed, "danbooru");
}
finally
{
if (sessionId != null)
{
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
}
}
// 新しい統合フィードを作成
var mergedFeed = new SyndicationFeed(
"Danbooru",
"description",
new Uri("https://danbooru.donmai.us/posts?tags=order%3Arank"),
simplifiedItems
);
CmnUtil.ExportXMLFile("rank.xml", mergedFeed, "danbooru");
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] danbooru:{ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
public static async Task<SyndicationItem> Simplified(HttpClient client, SyndicationItem originalItem)
/// <summary>
/// 元のフィードアイテムとDanbooru投稿詳細ページからコンテンツ(画像・タグ・作者・元ソース等)を取得・整形します。
/// </summary>
/// <param name="client">HttpClient インスタンス</param>
/// <param name="originalItem">元のフィードアイテム</param>
/// <param name="sessionId">FlareSolverr セッションID</param>
/// <returns>整形後のSyndicationItem</returns>
public static async Task<SyndicationItem> Simplified(HttpClient client, SyndicationItem originalItem, string? sessionId = null)
{
List<SyndicationCategory> getAddCategory()
var link = originalItem.Links.FirstOrDefault(l => l.RelationshipType == "alternate" || string.IsNullOrEmpty(l.RelationshipType))?.Uri
?? originalItem.Links.FirstOrDefault()?.Uri;
IDocument? docContents = null;
if (link != null)
{
List<SyndicationCategory> result = new List<SyndicationCategory>();
string orgText = originalItem.Summary.Text;
var parser = new HtmlParser();
var document = parser.ParseDocument(orgText);
var firstP = document.QuerySelector("p");
if (firstP != null)
try
{
var targetText = firstP.TextContent;
int tagIndex = targetText.IndexOf("【タグ】");
if (tagIndex >= 0)
{
// 【タグ】が見つかった場合、そこから前の文字列だけを残す
targetText = targetText.Substring(0, tagIndex);
}
// ----------------------------------------------------
// 正規表現で各項目の値を抽出する
// ----------------------------------------------------
// パターン解説:
// 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】)
// ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ)
string pattern = @"【[^】]+】([^【]*)";
var matches = Regex.Matches(targetText, pattern);
foreach (Match match in matches)
{
// match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります
// (項目の中身が空の場合は空文字になります)
string valuesStr = match.Groups[1].Value;
if (string.IsNullOrWhiteSpace(valuesStr))
{
continue; // 中身が空の場合はスキップ
}
// ----------------------------------------------------
// 3. カンマで分割し、前後の空白を除去してカテゴリに追加
// ----------------------------------------------------
// ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します
string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries);
foreach (var val in splitValues)
{
// 前後の半角・全角スペースを取り除く
string categoryName = val.Trim();
// 空でなければカテゴリとして追加
if (!string.IsNullOrEmpty(categoryName))
{
// domain属性なし(前回回答の手法)でカテゴリを追加
result.Add(new SyndicationCategory(categoryName));
}
}
}
docContents = await CmnUtil.GetDocumentFlareSolverr(client, link.ToString(), session: sessionId);
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] Danbooru 投稿ページ取得失敗 ({link}): {ex.Message}");
}
return result;
}
var newItem = new SyndicationItem()
// 1. タイトルの決定(個別ページのog:titleまたはAtomのTitle)
var title = originalItem.Title?.Text ?? "Danbooru Post";
if (docContents != null)
{
// タイトルは TextSyndicationContent でラップする必要があります
Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title")
,
Id = CmnUtil.CreateGuid(originalItem.Id)
,
PublishDate = originalItem.PublishDate
,
LastUpdatedTime = originalItem.LastUpdatedTime
var ogTitle = docContents.QuerySelector("meta[property='og:title']")?.GetAttribute("content");
if (!string.IsNullOrWhiteSpace(ogTitle))
{
title = ogTitle;
if (title.EndsWith(" | Danbooru", StringComparison.OrdinalIgnoreCase))
{
title = title[..^11].Trim();
}
}
}
// 元のコンテンツをそのまま引き継ぐ
// , Content = originalItem.Content
// , Summary = originalItem.Summary
var newItem = new SyndicationItem
{
Title = new TextSyndicationContent(title),
Id = CmnUtil.CreateGuid(originalItem.Id ?? link?.ToString() ?? Guid.NewGuid().ToString()),
PublishDate = originalItem.PublishDate,
LastUpdatedTime = originalItem.LastUpdatedTime
};
// リンクを引き継ぐ
var link = originalItem.Links.FirstOrDefault()?.Uri;
if (link != null)
{
newItem.Links.Add(new SyndicationLink(link));
}
// カテゴリに本文内の作者などの情報を追加する
foreach (var category in getAddCategory())
// 2. タグ分類(Artist / Copyright / Character / General / Meta)の取得
List<string> GetTagsBySelector(string selector)
{
newItem.Categories.Add(category);
}
// 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
foreach (var category in originalItem.Categories)
{
category.Scheme = null;
newItem.Categories.Add(category);
}
foreach (var author in originalItem.Authors)
{
newItem.Authors.Add(author);
var tagList = new List<string>();
if (docContents == null) return tagList;
var elements = docContents.QuerySelectorAll(selector);
foreach (var el in elements)
{
var tagName = el.GetAttribute("data-tag-name");
if (string.IsNullOrWhiteSpace(tagName))
{
tagName = el.QuerySelector(".search-tag")?.TextContent?.Trim();
}
if (!string.IsNullOrWhiteSpace(tagName) && !tagList.Contains(tagName))
{
tagList.Add(tagName);
}
}
return tagList;
}
var body = new StringBuilder();
var originalSummary = originalItem.Summary.Text;
body.Append(originalSummary);
if (link != null)
var artistTags = GetTagsBySelector("#tag-list .artist-tag-list li");
var copyrightTags = GetTagsBySelector("#tag-list .copyright-tag-list li");
var characterTags = GetTagsBySelector("#tag-list .character-tag-list li");
var generalTags = GetTagsBySelector("#tag-list .general-tag-list li");
var metaTags = GetTagsBySelector("#tag-list .meta-tag-list li");
// 3. カテゴリの登録(重複防止)
var addedCategories = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
void AddCategories(IEnumerable<string> tags)
{
var docContents = await CmnUtil.GetDocument(client, link.ToString());
var imgElements = docContents.QuerySelectorAll("#post-hentai img");
foreach (var img in imgElements)
foreach (var tag in tags)
{
var src = img.GetAttribute("src");
if (!string.IsNullOrEmpty(src))
if (!string.IsNullOrWhiteSpace(tag) && addedCategories.Add(tag))
{
// 相対URLの場合も考慮して、絶対URLに解決する
if (Uri.TryCreate(link, src, out var absoluteUri))
newItem.Categories.Add(new SyndicationCategory(tag));
}
}
}
AddCategories(artistTags);
AddCategories(copyrightTags);
AddCategories(characterTags);
AddCategories(generalTags);
AddCategories(metaTags);
// 元のアイテムのカテゴリも引き継ぐ
foreach (var category in originalItem.Categories)
{
if (!string.IsNullOrWhiteSpace(category.Name) && addedCategories.Add(category.Name))
{
category.Scheme = null;
newItem.Categories.Add(category);
}
}
// 4. 作者(Authors)の設定
if (artistTags.Count > 0)
{
foreach (var artist in artistTags)
{
newItem.Authors.Add(new SyndicationPerson { Name = artist });
}
}
else
{
foreach (var author in originalItem.Authors)
{
newItem.Authors.Add(author);
}
}
// 5. 画像URLの取得(最高画質 / オリジナル画像)
string? imageUrl = null;
if (docContents != null)
{
// og:image はオリジナル画像URLであることが多い
imageUrl = docContents.QuerySelector("meta[property='og:image']")?.GetAttribute("content")
?? docContents.QuerySelector("#image-container img")?.GetAttribute("src")
?? docContents.QuerySelector("#image")?.GetAttribute("src")
?? docContents.QuerySelector("meta[name='twitter:image']")?.GetAttribute("content");
}
// HTMLのフォールバック画像抽出
if (string.IsNullOrEmpty(imageUrl) && originalItem.Content is TextSyndicationContent textContent)
{
var contentParser = new HtmlParser();
var contentDoc = contentParser.ParseDocument(textContent.Text);
imageUrl = contentDoc.QuerySelector("img")?.GetAttribute("src");
}
// 6. 元ソースURLの取得
string? sourceUrl = null;
if (docContents != null)
{
var sourceElem = docContents.QuerySelector("#post-info-source a") ?? docContents.QuerySelector("#post-information a[href^='http']");
sourceUrl = sourceElem?.GetAttribute("href");
}
if (string.IsNullOrEmpty(sourceUrl))
{
var relatedLink = originalItem.Links.FirstOrDefault(l => l.RelationshipType == "related")?.Uri;
if (relatedLink != null)
{
sourceUrl = relatedLink.ToString();
}
}
// 7. 作者コメント(artist-commentary)の抽出
var commentaryHtml = new StringBuilder();
if (docContents != null)
{
var commentaryContainer = docContents.QuerySelector("#artist-commentary");
if (commentaryContainer != null)
{
var sections = commentaryContainer.QuerySelectorAll("section");
foreach (var sec in sections)
{
var isTranslated = sec.Id?.Contains("translated", StringComparison.OrdinalIgnoreCase) == true;
var label = isTranslated ? "翻訳コメント" : "作者コメント";
var h3Title = sec.QuerySelector("h3")?.TextContent?.Trim();
var proseElem = sec.QuerySelector(".prose") ?? sec.QuerySelector("div");
var contentHtml = proseElem?.InnerHtml?.Trim();
// 空文字やプレースホルダー("????")の除外判定
bool hasTitle = !string.IsNullOrWhiteSpace(h3Title);
bool hasContent = !string.IsNullOrWhiteSpace(contentHtml) && contentHtml != "<p>????</p>" && contentHtml != "????";
if (hasTitle || hasContent)
{
body.Append($"<img src=\"{absoluteUri}\" />");
break;
commentaryHtml.Append($@"<div style=""margin: 8px 0; padding: 8px 12px; background: #f8f9fa; border-left: 4px solid #4a90e2; border-radius: 4px;"">");
commentaryHtml.Append($@"<div style=""font-weight: bold; margin-bottom: 4px;"">【{label}】{(hasTitle ? $" {WebUtility.HtmlEncode(h3Title)}" : "")}</div>");
if (hasContent)
{
commentaryHtml.Append($@"<div>{contentHtml}</div>");
}
commentaryHtml.Append("</div>");
}
}
}
}
// 8. HTML本文(Summary)の生成
var body = new StringBuilder();
// 画像の配置
if (!string.IsNullOrEmpty(imageUrl))
{
body.Append($@"<div><a href=""{link}""><img src=""{imageUrl}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
}
// 画像のすぐ下に作者コメントを追加
if (commentaryHtml.Length > 0)
{
body.Append(commentaryHtml);
}
body.Append($@"<div><strong>タイトル:</strong> {WebUtility.HtmlEncode(title)}</div>");
if (copyrightTags.Count > 0)
{
body.Append($@"<div><strong>作品名:</strong> {WebUtility.HtmlEncode(string.Join(", ", copyrightTags))}</div>");
}
if (characterTags.Count > 0)
{
body.Append($@"<div><strong>キャラクター:</strong> {WebUtility.HtmlEncode(string.Join(", ", characterTags))}</div>");
}
if (artistTags.Count > 0)
{
body.Append($@"<div><strong>作者:</strong> {WebUtility.HtmlEncode(string.Join(", ", artistTags))}</div>");
}
if (!string.IsNullOrEmpty(sourceUrl))
{
body.Append($@"<div><strong>元ソース:</strong> <a href=""{sourceUrl}"" target=""_blank"">{WebUtility.HtmlEncode(sourceUrl)}</a></div>");
}
if (generalTags.Count > 0)
{
body.Append($@"<div><strong>タグ:</strong> {WebUtility.HtmlEncode(string.Join(", ", generalTags))}</div>");
}
newItem.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
return newItem;