feat(anige-sokuhou): アニゲー速報VIPのRSS取得とURLに基づく一意GUID生成による重複防止対応

This commit is contained in:
armonica committed 2026-10-22 10:48:28 +09:00
1 parent 61239f067f
commit f0e6a1f1e8
2 files changed
+252 -2

No files matched your search

@@ -0,0 +1,248 @@
using AngleSharp.Html.Parser;
using rss_generator.Class.Common;
using System.ServiceModel.Syndication;
using System.Text;
using System.Xml.Linq;
namespace rss_generator.Class.AnigeSokuhou;
/// <summary>
/// アニゲー速報VIP (http://www.anige-sokuhouvip.com/) のフィードを取得・再構成し、
/// 記事URLに基づいた一意なGUIDを割り当てたRSSフィードを生成するクラスです。
/// FreshRSS等での同一記事の重複登録を防止します。
/// </summary>
internal static class anige_sokuhouvip
{
#region "□定数(Private)"
/// <summary>
/// 元となるアニゲー速報VIPのRSS 1.0 (RDF) フィードURL
/// </summary>
private const string FeedUrl = "http://www.anige-sokuhouvip.com/?xml";
/// <summary>
/// アニゲー速報VIPのトップページURL
/// </summary>
private const string SiteUrl = "http://www.anige-sokuhouvip.com/";
/// <summary>
/// フィードタイトル
/// </summary>
private const string FeedTitle = "アニゲー速報";
/// <summary>
/// フィード説明文
/// </summary>
private const string FeedDescription = "アニゲー速報のRSSフィード";
/// <summary>
/// 出力先XMLファイル名
/// </summary>
private const string OutputFileName = "anige_sokuhouvip.xml";
#endregion
#region "□メソッド(Public)"
/// <summary>
/// アニゲー速報VIPのフィードを取得し、URLから一意のGUIDを設定したRSS 2.0フィードを非同期で生成・出力します。
/// </summary>
/// <param name="client">HTTPリクエストに使用するHttpClient</param>
/// <returns>非同期タスク</returns>
public static async Task CreateRSSAsync(HttpClient client)
{
try
{
// 1. 元フィード (RSS 1.0 / RDF) の取得
using var response = await client.GetAsync(FeedUrl);
response.EnsureSuccessStatusCode();
using var stream = await response.Content.ReadAsStreamAsync();
var xdoc = await XDocument.LoadAsync(stream, LoadOptions.None, CancellationToken.None);
var root = xdoc.Root;
if (root == null)
{
LogManager.AddLog("[警告] [anige_sokuhouvip] XMLルート要素が存在しません。");
return;
}
// 名前空間の定義
XNamespace rss = "http://purl.org/rss/1.0/";
XNamespace rdf = "http://www.w3.org/1999/02/22-rdf-syntax-ns#";
XNamespace dc = "http://purl.org/dc/elements/1.1/";
XNamespace content = "http://purl.org/rss/1.0/modules/content/";
// <item> 要素の一覧取得(名前空間付き、またはフォールバック)
var itemElements = root.Elements(rss + "item");
if (!itemElements.Any())
{
itemElements = root.Descendants().Where(e => e.Name.LocalName == "item");
}
var items = new List<SyndicationItem>();
var seenUrls = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
foreach (var itemElem in itemElements)
{
var link = itemElem.Element(rss + "link")?.Value?.Trim()
?? itemElem.Attribute(rdf + "about")?.Value?.Trim()
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "link")?.Value?.Trim()
?? string.Empty;
if (string.IsNullOrWhiteSpace(link))
{
continue;
}
// 同一フィード内のURL重複を除外
if (!seenUrls.Add(link))
{
continue;
}
var title = itemElem.Element(rss + "title")?.Value?.Trim()
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "title")?.Value?.Trim()
?? "タイトルなし";
// 公開日時の解析(ISO 8601形式: 例 2026-10-22T09:45:33+09:00)
var dateStr = itemElem.Element(dc + "date")?.Value?.Trim()
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "date")?.Value?.Trim();
var itemDate = DateTimeOffset.Now;
if (!string.IsNullOrWhiteSpace(dateStr) && DateTimeOffset.TryParse(dateStr, out var parsedDate))
{
itemDate = parsedDate;
}
// 記事本文・HTMLの取得(content:encoded 優先、無ければ description)
var rawBodyHtml = itemElem.Element(content + "encoded")?.Value
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "encoded")?.Value
?? itemElem.Element(rss + "description")?.Value
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "description")?.Value
?? string.Empty;
var formattedBody = FormatHtmlBody(rawBodyHtml, link, title);
// URLから一意のGUIDを生成(他フィードと同様にSHA512ハッシュによる一意識別子)
var guid = CmnUtil.CreateGuid(link);
var itemUri = new Uri(link);
var syndicationItem = new SyndicationItem(
title,
string.Empty,
itemUri,
guid,
itemDate
)
{
PublishDate = itemDate,
LastUpdatedTime = itemDate,
Summary = new TextSyndicationContent(formattedBody, TextSyndicationContentKind.Html)
};
// カテゴリ(dc:subject)
var subject = itemElem.Element(dc + "subject")?.Value?.Trim()
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "subject")?.Value?.Trim();
if (!string.IsNullOrWhiteSpace(subject))
{
syndicationItem.Categories.Add(new SyndicationCategory(subject));
}
// 作成者(dc:creator)
var creator = itemElem.Element(dc + "creator")?.Value?.Trim()
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "creator")?.Value?.Trim();
if (!string.IsNullOrWhiteSpace(creator))
{
syndicationItem.Authors.Add(new SyndicationPerson { Name = creator });
}
items.Add(syndicationItem);
}
var feed = new SyndicationFeed(FeedTitle, FeedDescription, new Uri(SiteUrl))
{
Items = items,
Language = "ja-JP",
LastUpdatedTime = DateTimeOffset.Now
};
// RSS 2.0 形式で出力(filter24Hours: false で全件維持、embedBase64: false で画像リンク維持)
await CmnUtil.ExportXMLFileAsync(OutputFileName, feed, client, embedBase64: false, filter24Hours: false);
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [anige_sokuhouvip] フィード生成失敗: {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
#endregion
#region "□メソッド(Private)"
/// <summary>
/// 記事HTMLのリンク属性や画像属性を調整し、整形したHTML文字列を生成します。
/// </summary>
/// <param name="rawHtml">元のHTML文字列</param>
/// <param name="articleUrl">記事のURL</param>
/// <param name="articleTitle">記事のタイトル</param>
/// <returns>整形後のHTML文字列</returns>
private static string FormatHtmlBody(string rawHtml, string articleUrl, string articleTitle)
{
var sb = new StringBuilder();
sb.Append($@"<div><a href=""{articleUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{articleTitle}</a></div>");
if (string.IsNullOrWhiteSpace(rawHtml))
{
return sb.ToString();
}
try
{
var parser = new HtmlParser();
var document = parser.ParseDocument($"<div id=\"content-root\">{rawHtml}</div>");
var rootDiv = document.QuerySelector("#content-root");
if (rootDiv != null)
{
// 不要なスクリプトタグの除去
var scriptTags = rootDiv.QuerySelectorAll("script").ToList();
foreach (var script in scriptTags)
{
script.Remove();
}
// リンクタグの属性調整
foreach (var a in rootDiv.QuerySelectorAll("a"))
{
a.SetAttribute("target", "_blank");
a.SetAttribute("rel", "noopener noreferrer");
a.SetAttribute("referrerpolicy", "no-referrer");
}
// 画像タグの属性調整
foreach (var img in rootDiv.QuerySelectorAll("img"))
{
img.SetAttribute("referrerpolicy", "no-referrer");
var currentStyle = img.GetAttribute("style") ?? string.Empty;
if (!currentStyle.Contains("max-width", StringComparison.OrdinalIgnoreCase))
{
img.SetAttribute("style", $"{currentStyle}; max-width: 100%; height: auto;".Trim(';', ' '));
}
}
sb.Append(rootDiv.InnerHtml);
return sb.ToString();
}
}
catch
{
// パース失敗時は元のHTMLをフォールバックとして追記
}
sb.Append(rawHtml);
return sb.ToString();
}
#endregion
}