Compare commits
2
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
a5d796e099 | ||
|
|
f0e6a1f1e8 |
No files matched your search
@@ -0,0 +1,248 @@
|
|||||||
|
using AngleSharp.Html.Parser;
|
||||||
|
using rss_generator.Class.Common;
|
||||||
|
using System.ServiceModel.Syndication;
|
||||||
|
using System.Text;
|
||||||
|
using System.Xml.Linq;
|
||||||
|
|
||||||
|
namespace rss_generator.Class.AnigeSokuhou;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// アニゲー速報VIP (http://www.anige-sokuhouvip.com/) のフィードを取得・再構成し、
|
||||||
|
/// 記事URLに基づいた一意なGUIDを割り当てたRSSフィードを生成するクラスです。
|
||||||
|
/// FreshRSS等での同一記事の重複登録を防止します。
|
||||||
|
/// </summary>
|
||||||
|
internal static class anige_sokuhouvip
|
||||||
|
{
|
||||||
|
#region "□定数(Private)"
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 元となるアニゲー速報VIPのRSS 1.0 (RDF) フィードURL
|
||||||
|
/// </summary>
|
||||||
|
private const string FeedUrl = "http://www.anige-sokuhouvip.com/?xml";
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// アニゲー速報VIPのトップページURL
|
||||||
|
/// </summary>
|
||||||
|
private const string SiteUrl = "http://www.anige-sokuhouvip.com/";
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// フィードタイトル
|
||||||
|
/// </summary>
|
||||||
|
private const string FeedTitle = "アニゲー速報";
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// フィード説明文
|
||||||
|
/// </summary>
|
||||||
|
private const string FeedDescription = "アニゲー速報のRSSフィード";
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 出力先XMLファイル名
|
||||||
|
/// </summary>
|
||||||
|
private const string OutputFileName = "anige_sokuhouvip.xml";
|
||||||
|
|
||||||
|
#endregion
|
||||||
|
|
||||||
|
#region "□メソッド(Public)"
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// アニゲー速報VIPのフィードを取得し、URLから一意のGUIDを設定したRSS 2.0フィードを非同期で生成・出力します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="client">HTTPリクエストに使用するHttpClient</param>
|
||||||
|
/// <returns>非同期タスク</returns>
|
||||||
|
public static async Task CreateRSSAsync(HttpClient client)
|
||||||
|
{
|
||||||
|
try
|
||||||
|
{
|
||||||
|
// 1. 元フィード (RSS 1.0 / RDF) の取得
|
||||||
|
using var response = await client.GetAsync(FeedUrl);
|
||||||
|
response.EnsureSuccessStatusCode();
|
||||||
|
|
||||||
|
using var stream = await response.Content.ReadAsStreamAsync();
|
||||||
|
var xdoc = await XDocument.LoadAsync(stream, LoadOptions.None, CancellationToken.None);
|
||||||
|
|
||||||
|
var root = xdoc.Root;
|
||||||
|
if (root == null)
|
||||||
|
{
|
||||||
|
LogManager.AddLog("[警告] [anige_sokuhouvip] XMLルート要素が存在しません。");
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 名前空間の定義
|
||||||
|
XNamespace rss = "http://purl.org/rss/1.0/";
|
||||||
|
XNamespace rdf = "http://www.w3.org/1999/02/22-rdf-syntax-ns#";
|
||||||
|
XNamespace dc = "http://purl.org/dc/elements/1.1/";
|
||||||
|
XNamespace content = "http://purl.org/rss/1.0/modules/content/";
|
||||||
|
|
||||||
|
// <item> 要素の一覧取得(名前空間付き、またはフォールバック)
|
||||||
|
var itemElements = root.Elements(rss + "item");
|
||||||
|
if (!itemElements.Any())
|
||||||
|
{
|
||||||
|
itemElements = root.Descendants().Where(e => e.Name.LocalName == "item");
|
||||||
|
}
|
||||||
|
|
||||||
|
var items = new List<SyndicationItem>();
|
||||||
|
var seenUrls = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
|
||||||
|
foreach (var itemElem in itemElements)
|
||||||
|
{
|
||||||
|
var link = itemElem.Element(rss + "link")?.Value?.Trim()
|
||||||
|
?? itemElem.Attribute(rdf + "about")?.Value?.Trim()
|
||||||
|
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "link")?.Value?.Trim()
|
||||||
|
?? string.Empty;
|
||||||
|
|
||||||
|
if (string.IsNullOrWhiteSpace(link))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 同一フィード内のURL重複を除外
|
||||||
|
if (!seenUrls.Add(link))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
var title = itemElem.Element(rss + "title")?.Value?.Trim()
|
||||||
|
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "title")?.Value?.Trim()
|
||||||
|
?? "タイトルなし";
|
||||||
|
|
||||||
|
// 公開日時の解析(ISO 8601形式: 例 2026-10-22T09:45:33+09:00)
|
||||||
|
var dateStr = itemElem.Element(dc + "date")?.Value?.Trim()
|
||||||
|
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "date")?.Value?.Trim();
|
||||||
|
var itemDate = DateTimeOffset.Now;
|
||||||
|
if (!string.IsNullOrWhiteSpace(dateStr) && DateTimeOffset.TryParse(dateStr, out var parsedDate))
|
||||||
|
{
|
||||||
|
itemDate = parsedDate;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 記事本文・HTMLの取得(content:encoded 優先、無ければ description)
|
||||||
|
var rawBodyHtml = itemElem.Element(content + "encoded")?.Value
|
||||||
|
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "encoded")?.Value
|
||||||
|
?? itemElem.Element(rss + "description")?.Value
|
||||||
|
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "description")?.Value
|
||||||
|
?? string.Empty;
|
||||||
|
|
||||||
|
var formattedBody = FormatHtmlBody(rawBodyHtml, link, title);
|
||||||
|
|
||||||
|
// URLから一意のGUIDを生成(他フィードと同様にSHA512ハッシュによる一意識別子)
|
||||||
|
var guid = CmnUtil.CreateGuid(link);
|
||||||
|
var itemUri = new Uri(link);
|
||||||
|
|
||||||
|
var syndicationItem = new SyndicationItem(
|
||||||
|
title,
|
||||||
|
string.Empty,
|
||||||
|
itemUri,
|
||||||
|
guid,
|
||||||
|
itemDate
|
||||||
|
)
|
||||||
|
{
|
||||||
|
PublishDate = itemDate,
|
||||||
|
LastUpdatedTime = itemDate,
|
||||||
|
Summary = new TextSyndicationContent(formattedBody, TextSyndicationContentKind.Html)
|
||||||
|
};
|
||||||
|
|
||||||
|
// カテゴリ(dc:subject)
|
||||||
|
var subject = itemElem.Element(dc + "subject")?.Value?.Trim()
|
||||||
|
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "subject")?.Value?.Trim();
|
||||||
|
if (!string.IsNullOrWhiteSpace(subject))
|
||||||
|
{
|
||||||
|
syndicationItem.Categories.Add(new SyndicationCategory(subject));
|
||||||
|
}
|
||||||
|
|
||||||
|
// 作成者(dc:creator)
|
||||||
|
var creator = itemElem.Element(dc + "creator")?.Value?.Trim()
|
||||||
|
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "creator")?.Value?.Trim();
|
||||||
|
if (!string.IsNullOrWhiteSpace(creator))
|
||||||
|
{
|
||||||
|
syndicationItem.Authors.Add(new SyndicationPerson { Name = creator });
|
||||||
|
}
|
||||||
|
|
||||||
|
items.Add(syndicationItem);
|
||||||
|
}
|
||||||
|
|
||||||
|
var feed = new SyndicationFeed(FeedTitle, FeedDescription, new Uri(SiteUrl))
|
||||||
|
{
|
||||||
|
Items = items,
|
||||||
|
Language = "ja-JP",
|
||||||
|
LastUpdatedTime = DateTimeOffset.Now
|
||||||
|
};
|
||||||
|
|
||||||
|
// RSS 2.0 形式で出力(filter24Hours: false で全件維持、embedBase64: false で画像リンク維持)
|
||||||
|
await CmnUtil.ExportXMLFileAsync(OutputFileName, feed, client, embedBase64: false, filter24Hours: false);
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[エラー] [anige_sokuhouvip] フィード生成失敗: {ex.Message}");
|
||||||
|
CmnUtil.PrintCallStackToEvent(ex);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
#endregion
|
||||||
|
|
||||||
|
#region "□メソッド(Private)"
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 記事HTMLのリンク属性や画像属性を調整し、整形したHTML文字列を生成します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="rawHtml">元のHTML文字列</param>
|
||||||
|
/// <param name="articleUrl">記事のURL</param>
|
||||||
|
/// <param name="articleTitle">記事のタイトル</param>
|
||||||
|
/// <returns>整形後のHTML文字列</returns>
|
||||||
|
private static string FormatHtmlBody(string rawHtml, string articleUrl, string articleTitle)
|
||||||
|
{
|
||||||
|
var sb = new StringBuilder();
|
||||||
|
sb.Append($@"<div><a href=""{articleUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{articleTitle}</a></div>");
|
||||||
|
|
||||||
|
if (string.IsNullOrWhiteSpace(rawHtml))
|
||||||
|
{
|
||||||
|
return sb.ToString();
|
||||||
|
}
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
var parser = new HtmlParser();
|
||||||
|
var document = parser.ParseDocument($"<div id=\"content-root\">{rawHtml}</div>");
|
||||||
|
var rootDiv = document.QuerySelector("#content-root");
|
||||||
|
|
||||||
|
if (rootDiv != null)
|
||||||
|
{
|
||||||
|
// 不要なスクリプトタグの除去
|
||||||
|
var scriptTags = rootDiv.QuerySelectorAll("script").ToList();
|
||||||
|
foreach (var script in scriptTags)
|
||||||
|
{
|
||||||
|
script.Remove();
|
||||||
|
}
|
||||||
|
|
||||||
|
// リンクタグの属性調整
|
||||||
|
foreach (var a in rootDiv.QuerySelectorAll("a"))
|
||||||
|
{
|
||||||
|
a.SetAttribute("target", "_blank");
|
||||||
|
a.SetAttribute("rel", "noopener noreferrer");
|
||||||
|
a.SetAttribute("referrerpolicy", "no-referrer");
|
||||||
|
}
|
||||||
|
|
||||||
|
// 画像タグの属性調整
|
||||||
|
foreach (var img in rootDiv.QuerySelectorAll("img"))
|
||||||
|
{
|
||||||
|
img.SetAttribute("referrerpolicy", "no-referrer");
|
||||||
|
var currentStyle = img.GetAttribute("style") ?? string.Empty;
|
||||||
|
if (!currentStyle.Contains("max-width", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
img.SetAttribute("style", $"{currentStyle}; max-width: 100%; height: auto;".Trim(';', ' '));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
sb.Append(rootDiv.InnerHtml);
|
||||||
|
return sb.ToString();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch
|
||||||
|
{
|
||||||
|
// パース失敗時は元のHTMLをフォールバックとして追記
|
||||||
|
}
|
||||||
|
|
||||||
|
sb.Append(rawHtml);
|
||||||
|
return sb.ToString();
|
||||||
|
}
|
||||||
|
|
||||||
|
#endregion
|
||||||
|
}
|
||||||
@@ -60,8 +60,32 @@ internal class ci_en
|
|||||||
using var response = await client.SendAsync(request);
|
using var response = await client.SendAsync(request);
|
||||||
response.EnsureSuccessStatusCode();
|
response.EnsureSuccessStatusCode();
|
||||||
|
|
||||||
var jsonString = await response.Content.ReadAsStringAsync();
|
// リダイレクト先URLがメンテナンスページであるか検証
|
||||||
using var jsonDoc = JsonDocument.Parse(jsonString);
|
var responseUri = response.RequestMessage?.RequestUri?.ToString() ?? string.Empty;
|
||||||
|
if (responseUri.Contains("maintenance", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
AddLog($"[情報] [ci_en] Ci-enは現在システムメンテナンス中です ({responseUri})。メンテナンス完了後に自動再開されます。");
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
var responseString = await response.Content.ReadAsStringAsync();
|
||||||
|
var trimmedContent = responseString.TrimStart();
|
||||||
|
|
||||||
|
// レスポンスがJSONではなくHTML(メンテナンス画面やログイン画面等)の場合の安全ハンドリング
|
||||||
|
if (trimmedContent.StartsWith('<'))
|
||||||
|
{
|
||||||
|
if (trimmedContent.Contains("メンテナンス") || trimmedContent.Contains("maintenance", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
AddLog("[情報] [ci_en] Ci-enは現在システムメンテナンス中です。サービスの再開後に自動取得されます。");
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
AddLog("[警告] [ci_en] APIからJSONではなくHTMLが返却されました。セッションCookieの有効期限切れ、またはリダイレクトの可能性があります。");
|
||||||
|
}
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
using var jsonDoc = JsonDocument.Parse(responseString);
|
||||||
|
|
||||||
if (!jsonDoc.RootElement.TryGetProperty("items", out var itemsElem) ||
|
if (!jsonDoc.RootElement.TryGetProperty("items", out var itemsElem) ||
|
||||||
!itemsElem.TryGetProperty("data", out var dataElem))
|
!itemsElem.TryGetProperty("data", out var dataElem))
|
||||||
|
|||||||
@@ -1,4 +1,5 @@
|
|||||||
using Microsoft.Extensions.DependencyInjection;
|
using Microsoft.Extensions.DependencyInjection;
|
||||||
|
using rss_generator.Class.AnigeSokuhou;
|
||||||
using rss_generator.Class.AuraHentai;
|
using rss_generator.Class.AuraHentai;
|
||||||
using rss_generator.Class.CiEn;
|
using rss_generator.Class.CiEn;
|
||||||
using rss_generator.Class.Common;
|
using rss_generator.Class.Common;
|
||||||
@@ -119,6 +120,7 @@ while (true)
|
|||||||
feedActions.Add(("momonga_fanzine", () => momonga_fanzine.CreateRSSAsync(client)));
|
feedActions.Add(("momonga_fanzine", () => momonga_fanzine.CreateRSSAsync(client)));
|
||||||
feedActions.Add(("momonga_magazine", () => momonga_magazine.CreateRSSAsync(client)));
|
feedActions.Add(("momonga_magazine", () => momonga_magazine.CreateRSSAsync(client)));
|
||||||
feedActions.Add(("skebetter", () => skebetter.CreateRSSAsync(client)));
|
feedActions.Add(("skebetter", () => skebetter.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("anige_sokuhouvip", () => anige_sokuhouvip.CreateRSSAsync(client)));
|
||||||
|
|
||||||
// FlareSolverr 利用タスク群(単一セッションで順次実行し、完了後に破棄してメモリ最小化)
|
// FlareSolverr 利用タスク群(単一セッションで順次実行し、完了後に破棄してメモリ最小化)
|
||||||
feedActions.Add(("FlareSolverr", () => FlareSolverrFeedManager.CreateAllRSSAsync(client)));
|
feedActions.Add(("FlareSolverr", () => FlareSolverrFeedManager.CreateAllRSSAsync(client)));
|
||||||
@@ -175,4 +177,4 @@ while (true)
|
|||||||
{
|
{
|
||||||
executionLock.Release();
|
executionLock.Release();
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
Reference in new issue
Block a user