Compare commits
63
Commits
ecbfed2694
...
main
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
39eb1fef31 | ||
|
|
d2f3bb4a6e | ||
|
|
80ba9afcc1 | ||
|
|
32786ca023 | ||
|
|
0e82c7a2b7 | ||
|
|
2eb067ff8f | ||
|
|
62738928fd | ||
|
|
20ff5b2eac | ||
|
|
6be0d060bf | ||
|
|
86f6e6cf16 | ||
|
|
95e16189cc | ||
|
|
9b5953fbca | ||
|
|
e4aa86589c | ||
|
|
4800d98223 | ||
|
|
0fe359cf17 | ||
|
|
4302fee3fe | ||
|
|
70b5bfa088 | ||
|
|
2a9e4c4218 | ||
|
|
3b856f6cbf | ||
|
|
f2b2edc247 | ||
|
|
c788acaeca | ||
|
|
a5d796e099 | ||
|
|
f0e6a1f1e8 | ||
|
|
61239f067f | ||
|
|
522b53467b | ||
|
|
2512df13f7 | ||
|
|
7161129bf5 | ||
|
|
200ae9334f | ||
|
|
aa76a3d868 | ||
|
|
7243b64cdc | ||
|
|
5157a175c1 | ||
|
|
6b9cd3b372 | ||
|
|
63fd421550 | ||
|
|
ca164a4ef2 | ||
|
|
ebeff9a65f | ||
|
|
badf29f569 | ||
|
|
1e3cac0452 | ||
|
|
838ff22c5e | ||
|
|
0e095c8fa3 | ||
|
|
740c57624c | ||
|
|
465d53765c | ||
|
|
0f67b782b3 | ||
|
|
bd5728b504 | ||
|
|
9cb9892cb3 | ||
|
|
a0158db108 | ||
|
|
2f3ac958bf | ||
|
|
922e226b0a | ||
|
|
aeef4b37c8 | ||
|
|
256d26de53 | ||
|
|
44864cde19 | ||
|
|
46808590c6 | ||
|
|
d18ed28eda | ||
|
|
b182316504 | ||
|
|
020c11103e | ||
|
|
ef730787dd | ||
|
|
63188d87f4 | ||
|
|
f5230cb0ab | ||
|
|
233ef518c3 | ||
|
|
ded000f0a3 | ||
|
|
6b3c67f361 | ||
|
|
1b6051f2e1 | ||
|
|
5c5752d4a2 | ||
|
|
e14b273174 |
No files matched your search
+3
-1
@@ -1,7 +1,9 @@
|
||||
################################################################################
|
||||
################################################################################
|
||||
# この .gitignore ファイルは Microsoft(R) Visual Studio によって自動的に作成されました。
|
||||
################################################################################
|
||||
|
||||
/.vs
|
||||
/rss-generator/bin
|
||||
/rss-generator/obj
|
||||
/app
|
||||
/publish
|
||||
@@ -0,0 +1,145 @@
|
||||
# プロジェクト固有規則(rss-generator)
|
||||
|
||||
本プロジェクト(`rss-generator`)におけるコード記述およびフィード生成処理では、以下のプロジェクト固有規則を厳格に遵守してください。
|
||||
|
||||
---
|
||||
|
||||
## 1. ドメイン毎の出力先フォルダ分離規則(必須)
|
||||
|
||||
RSSフィード(XMLファイル)を出力する際は、`output` ディレクトリ直下に直接配置せず、**必ず対象サイトのドメイン名等に応じたサブディレクトリを作成し、その中にXMLファイルを出力してください**。
|
||||
|
||||
### 1.1 命名規則および具体例
|
||||
- 対象サイトのドメイン名(FQDN)またはサービス識別子をサブディレクトリ名として使用します。
|
||||
- `ryuugames.com` → `output/ryuugames.com/ryuugames.xml`
|
||||
- `kimochi.info` → `output/kimochi.info/kimochiinfo.xml`
|
||||
- `japaneseavi.blogspot.com` → `output/japaneseavi.blogspot.com/japaneseavi.xml`
|
||||
- `jpfiles.net` → `output/jpfiles.net/jpfiles.xml`
|
||||
- `pixiv.net` → `output/pixiv.net/...`
|
||||
- `x.com` → `output/x.com/...`
|
||||
- `e-hentai.org` → `output/e-hentai.org/...`
|
||||
- `momon-ga.com` → `output/momon-ga.com/...`
|
||||
- `skebetter.com` → `output/skebetter.com/...`
|
||||
- `danbooru` → `output/danbooru/...`
|
||||
- `youtube` → `output/youtube/...`
|
||||
|
||||
### 1.2 実装方法(C#)
|
||||
- フィード出力メソッド `CmnUtil.ExportXMLFileAsync` を呼び出す際は、必ず `addDir` 引数に対象ドメインサブディレクトリ名を指定してください。
|
||||
```csharp
|
||||
// 例: ryuugames.com の場合
|
||||
private const string DomainDir = "ryuugames.com";
|
||||
|
||||
await CmnUtil.ExportXMLFileAsync(
|
||||
fileName,
|
||||
feed,
|
||||
client,
|
||||
addDir: DomainDir,
|
||||
embedBase64: false,
|
||||
filter24Hours: false);
|
||||
```
|
||||
- 既存XMLファイルを読み込むキャッシュ処理(`LoadExistingEntries` 等)を実装する場合も、`CmnUtil.GetExportXmlPath(fileName, addDir)` を使用して該当ドメインサブフォルダ内のXMLファイルを探索・読み込んでください。
|
||||
|
||||
---
|
||||
|
||||
## 2. GUID(一意識別子)の標準ハッシュ化規則(必須)
|
||||
|
||||
各記事エントリの一意識別子(RSS 2.0 の `<guid isPermaLink="false">`、`SyndicationItem.Id`)には、生のURL文字列をそのまま設定せず、**必ず `CmnUtil.CreateGuid(articleUrl)` で生成した SHA512 ハッシュ文字列(小文字16進数)を設定してください**。
|
||||
|
||||
### 2.1 実装方法
|
||||
```csharp
|
||||
var guid = CmnUtil.CreateGuid(articleUrl);
|
||||
|
||||
var item = new SyndicationItem(
|
||||
cleanTitle,
|
||||
summaryHtml,
|
||||
new Uri(articleUrl),
|
||||
guid, // 生URLではなく CmnUtil.CreateGuid によるハッシュ値を指定
|
||||
publishDate)
|
||||
{
|
||||
PublishDate = publishDate,
|
||||
LastUpdatedTime = lastUpdatedTime
|
||||
};
|
||||
```
|
||||
- キャッシュ再利用時および既存フィードマージ時も、必ず `CmnUtil.CreateGuid(url)` によるハッシュIDを付与してください。
|
||||
|
||||
---
|
||||
|
||||
## 3. 日付・時刻(pubDate / LastUpdatedTime)の日本時間(JST)統一規則(必須)
|
||||
|
||||
RSSフィード内の `<pubDate>` は、**必ず正確な日本時間(JST = UTC+9)として解釈・出力してください**。UTC時刻のまま `+0900` が付与されて時間がズレる(例: UTC 02:22 に `+0900` が付いて深夜2時になってしまう現象)ことを厳重に防止してください。
|
||||
|
||||
### 3.1 取得元形式別の変換実装
|
||||
- **サイト現地日時(JST表記、タイムゾーンなし文字列)の場合**:
|
||||
`DateTime.TryParse` 後、オフセット `TimeSpan.FromHours(9)` を明示して `DateTimeOffset` を構築します。
|
||||
```csharp
|
||||
if (DateTime.TryParse(dateStr, out var parsedLocal))
|
||||
{
|
||||
pubDate = new DateTimeOffset(parsedLocal, TimeSpan.FromHours(9));
|
||||
}
|
||||
```
|
||||
- **UTC日時(`date_gmt` や `Z` 付き文字列)の場合**:
|
||||
`DateTimeKind.Utc` を明示し、`ToOffset(TimeSpan.FromHours(9))` で日本時間に変換します。
|
||||
```csharp
|
||||
if (DateTime.TryParse(dateGmtStr, out var parsedGmt))
|
||||
{
|
||||
var utc = DateTime.SpecifyKind(parsedGmt, DateTimeKind.Utc);
|
||||
pubDate = new DateTimeOffset(utc).ToOffset(TimeSpan.FromHours(9));
|
||||
}
|
||||
```
|
||||
- **HTMLメタタグ(`meta property="article:published_time"` 等)の場合**:
|
||||
`CmnUtil.GetPublishedTimeAsJst(doc)` または `CmnUtil.GetModifiedTimeAsJst(doc)` を使用してください。
|
||||
|
||||
### 3.2 本文内の日本時間表示
|
||||
本文(SummaryHtml)ヘッダー部分にも、リーダー画面で直感的に確認できるよう日本時間を明記してください:
|
||||
```html
|
||||
<span style="font-size: 11px; color: #6c757d; font-weight: bold;">📅 2026/11/11 11:22:27 (JST)</span>
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 4. タイトル整形および Windows フォルダ名用タイトルの提供規則(必須)
|
||||
|
||||
ユーザーが記事タイトルをそのままWindowsの保存用フォルダ名として利用できるよう、以下の整形処理とワンクリックコピー枠を必ず提供してください。
|
||||
|
||||
### 4.1 タイトル整形仕様
|
||||
1. **Windows 禁止文字の全角置換**:
|
||||
`\ / : * ? " < > |` は必ず全角文字 `¥ / : * ? ” < > |` に置換してください。
|
||||
2. **タイトル構成フォーマット**:
|
||||
原則として `[サークル名・発売元・カテゴリ・品番] タイトル (バージョン情報)` の形式に整形してください。
|
||||
|
||||
### 4.2 本文最上部へのワンクリックコピー枠の配置
|
||||
本文(SummaryHtml)の先頭に、クリックするだけで文字列全体が選択(`onclick="this.select();"`)される入力欄を必ず配置してください:
|
||||
```html
|
||||
<div style="margin-bottom: 16px; background-color: #f8f9fa; border: 1px solid #ced4da; border-radius: 6px; padding: 10px;">
|
||||
<div style="font-size: 11px; color: #6c757d; font-weight: bold; margin-bottom: 4px;">📁 フォルダ名用タイトル(クリックで全選択)</div>
|
||||
<input type="text" readonly value="{WebUtility.HtmlEncode(cleanTitle)}" onclick="this.select();" style="width: 100%; padding: 6px 10px; font-size: 13px; font-family: Consolas, monospace; background-color: #ffffff; border: 1px solid #adb5bd; border-radius: 4px; box-sizing: border-box; cursor: pointer; color: #212529;" />
|
||||
</div>
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 5. ダウンロードリンクの直リンク化および直下グリッド配置規則(必須)
|
||||
|
||||
### 5.1 直リンク化の徹底
|
||||
- 外部ストレージ・アップローダーへのリンクは、中継短縮URL(adfly等)や不要なサイト内中継ページを可能な限りバイパス・自動解決し、**目的のストレージ(Mediafire, Mega, Rapidgator, Katfile, Nitroflare, Frdl 等)のダウンロードページURLを直接出力してください**。
|
||||
- ボタンではなく、RSSリーダー上で確実にクリック遷移可能な標準の `<a href="...">` タグで出力してください。
|
||||
|
||||
### 5.2 タイトル直下へのグリッドレイアウト配置
|
||||
- ダウンロードリンクは本文の奥深くに埋もれさせず、**タイトル・フォルダ名コピー枠のすぐ直下に配置してください**。
|
||||
- 1行に押し込めず、押しやすいボタングリッド(`display: flex; flex-wrap: wrap; gap: 8px;`)として並べてください。
|
||||
- プロバイダー別にブランドカラーを設定してください(例: Rapidgator=青 `#1976d2`, Katfile=オレンジ `#f57c00`, Nitroflare=赤 `#d32f2f`, Frdl=緑 `#388e3c`, Mediafire=紺 `#00539b`)。
|
||||
- 分割ファイルの場合は、ファイルパート番号(`Part 1`, `Part 2` 等)を自動判定してボタンに表記してください。
|
||||
|
||||
---
|
||||
|
||||
## 6. カバー画像表示規則(必須)
|
||||
|
||||
- 記事内のカバー画像・サムネイル(Pixhost, TurboImageHost, ブログ内画像等)は、本文中央にセンタリング配置してください。
|
||||
- サムネイル画像をクリックした際、高解像度の元画像ページ(例: Pixhost の `show` ページ等)を別タブで開けるようにアンカータグ(`<a href="元画像URL" target="_blank"><img src="サムネイルURL" /></a>`)でラップしてください。
|
||||
|
||||
---
|
||||
|
||||
## 7. 既存XMLキャッシュとの連携および差分マージ規則(必須)
|
||||
|
||||
- 各フィード処理では、起動時に該当ドメインサブディレクトリ内の既存 XML を読み込む `LoadExistingEntries` を実装してください。
|
||||
- 最新フォーマット識別タグ(例: `domain-format-vX`)を持つ記事は解析処理をスキップして高速に再利用してください。
|
||||
- サイト側の最新一覧から押し出された過去記事も、重複排除(URLおよびGUIDによるチェック)を行った上でマージし、フィード全体として最大件数(50〜100件程度)を安定して保持してください。
|
||||
+12
@@ -0,0 +1,12 @@
|
||||
# .NET 10.0 ランタイムベースイメージ
|
||||
FROM mcr.microsoft.com/dotnet/runtime:10.0 AS runtime
|
||||
WORKDIR /app
|
||||
|
||||
# 日本時間に設定 (ベースイメージに tzdata は組み込み済み)
|
||||
ENV TZ=Asia/Tokyo
|
||||
|
||||
# 発行済みバイナリをコンテナ内へ配置
|
||||
COPY ./app .
|
||||
|
||||
# アプリケーション実行
|
||||
ENTRYPOINT ["dotnet", "rss-generator.dll"]
|
||||
@@ -0,0 +1,26 @@
|
||||
services:
|
||||
rss-generator:
|
||||
build: .
|
||||
image: local-rss-generator:latest
|
||||
container_name: rss-generator
|
||||
restart: always
|
||||
mem_limit: 512m
|
||||
memswap_limit: 512m
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
memory: 512M
|
||||
environment:
|
||||
- TZ=Asia/Tokyo
|
||||
# .NET GC設定: Workstation GC強制、ヒープ制限70%
|
||||
- DOTNET_gcServer=0
|
||||
- DOTNET_GCHeapHardLimitPercent=70
|
||||
volumes:
|
||||
# 生成されたXMLフィードをホストの C:\feeds に出力
|
||||
- C:\feeds:/app/output
|
||||
networks:
|
||||
- common-network
|
||||
|
||||
networks:
|
||||
common-network:
|
||||
external: true
|
||||
@@ -0,0 +1,248 @@
|
||||
using AngleSharp.Html.Parser;
|
||||
using rss_generator.Class.Common;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Xml.Linq;
|
||||
|
||||
namespace rss_generator.Class.AnigeSokuhou;
|
||||
|
||||
/// <summary>
|
||||
/// アニゲー速報VIP (http://www.anige-sokuhouvip.com/) のフィードを取得・再構成し、
|
||||
/// 記事URLに基づいた一意なGUIDを割り当てたRSSフィードを生成するクラスです。
|
||||
/// FreshRSS等での同一記事の重複登録を防止します。
|
||||
/// </summary>
|
||||
internal static class anige_sokuhouvip
|
||||
{
|
||||
#region "□定数(Private)"
|
||||
|
||||
/// <summary>
|
||||
/// 元となるアニゲー速報VIPのRSS 1.0 (RDF) フィードURL
|
||||
/// </summary>
|
||||
private const string FeedUrl = "http://www.anige-sokuhouvip.com/?xml";
|
||||
|
||||
/// <summary>
|
||||
/// アニゲー速報VIPのトップページURL
|
||||
/// </summary>
|
||||
private const string SiteUrl = "http://www.anige-sokuhouvip.com/";
|
||||
|
||||
/// <summary>
|
||||
/// フィードタイトル
|
||||
/// </summary>
|
||||
private const string FeedTitle = "アニゲー速報";
|
||||
|
||||
/// <summary>
|
||||
/// フィード説明文
|
||||
/// </summary>
|
||||
private const string FeedDescription = "アニゲー速報のRSSフィード";
|
||||
|
||||
/// <summary>
|
||||
/// 出力先XMLファイル名
|
||||
/// </summary>
|
||||
private const string OutputFileName = "anige_sokuhouvip.xml";
|
||||
|
||||
#endregion
|
||||
|
||||
#region "□メソッド(Public)"
|
||||
|
||||
/// <summary>
|
||||
/// アニゲー速報VIPのフィードを取得し、URLから一意のGUIDを設定したRSS 2.0フィードを非同期で生成・出力します。
|
||||
/// </summary>
|
||||
/// <param name="client">HTTPリクエストに使用するHttpClient</param>
|
||||
/// <returns>非同期タスク</returns>
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
try
|
||||
{
|
||||
// 1. 元フィード (RSS 1.0 / RDF) の取得
|
||||
using var response = await client.GetAsync(FeedUrl);
|
||||
response.EnsureSuccessStatusCode();
|
||||
|
||||
using var stream = await response.Content.ReadAsStreamAsync();
|
||||
var xdoc = await XDocument.LoadAsync(stream, LoadOptions.None, CancellationToken.None);
|
||||
|
||||
var root = xdoc.Root;
|
||||
if (root == null)
|
||||
{
|
||||
LogManager.AddLog("[警告] 【anige_sokuhouvip】 XMLルート要素が存在しません。");
|
||||
return;
|
||||
}
|
||||
|
||||
// 名前空間の定義
|
||||
XNamespace rss = "http://purl.org/rss/1.0/";
|
||||
XNamespace rdf = "http://www.w3.org/1999/02/22-rdf-syntax-ns#";
|
||||
XNamespace dc = "http://purl.org/dc/elements/1.1/";
|
||||
XNamespace content = "http://purl.org/rss/1.0/modules/content/";
|
||||
|
||||
// <item> 要素の一覧取得(名前空間付き、またはフォールバック)
|
||||
var itemElements = root.Elements(rss + "item");
|
||||
if (!itemElements.Any())
|
||||
{
|
||||
itemElements = root.Descendants().Where(e => e.Name.LocalName == "item");
|
||||
}
|
||||
|
||||
var items = new List<SyndicationItem>();
|
||||
var seenUrls = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
foreach (var itemElem in itemElements)
|
||||
{
|
||||
var link = itemElem.Element(rss + "link")?.Value?.Trim()
|
||||
?? itemElem.Attribute(rdf + "about")?.Value?.Trim()
|
||||
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "link")?.Value?.Trim()
|
||||
?? string.Empty;
|
||||
|
||||
if (string.IsNullOrWhiteSpace(link))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
// 同一フィード内のURL重複を除外
|
||||
if (!seenUrls.Add(link))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var title = itemElem.Element(rss + "title")?.Value?.Trim()
|
||||
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "title")?.Value?.Trim()
|
||||
?? "タイトルなし";
|
||||
|
||||
// 公開日時の解析(ISO 8601形式: 例 2026-10-22T09:45:33+09:00)
|
||||
var dateStr = itemElem.Element(dc + "date")?.Value?.Trim()
|
||||
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "date")?.Value?.Trim();
|
||||
var itemDate = DateTimeOffset.Now;
|
||||
if (!string.IsNullOrWhiteSpace(dateStr) && DateTimeOffset.TryParse(dateStr, out var parsedDate))
|
||||
{
|
||||
itemDate = parsedDate;
|
||||
}
|
||||
|
||||
// 記事本文・HTMLの取得(content:encoded 優先、無ければ description)
|
||||
var rawBodyHtml = itemElem.Element(content + "encoded")?.Value
|
||||
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "encoded")?.Value
|
||||
?? itemElem.Element(rss + "description")?.Value
|
||||
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "description")?.Value
|
||||
?? string.Empty;
|
||||
|
||||
var formattedBody = FormatHtmlBody(rawBodyHtml, link, title);
|
||||
|
||||
// URLから一意のGUIDを生成(他フィードと同様にSHA512ハッシュによる一意識別子)
|
||||
var guid = CmnUtil.CreateGuid(link);
|
||||
var itemUri = new Uri(link);
|
||||
|
||||
var syndicationItem = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
guid,
|
||||
itemDate
|
||||
)
|
||||
{
|
||||
PublishDate = itemDate,
|
||||
LastUpdatedTime = itemDate,
|
||||
Summary = new TextSyndicationContent(formattedBody, TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
// カテゴリ(dc:subject)
|
||||
var subject = itemElem.Element(dc + "subject")?.Value?.Trim()
|
||||
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "subject")?.Value?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(subject))
|
||||
{
|
||||
syndicationItem.Categories.Add(new SyndicationCategory(subject));
|
||||
}
|
||||
|
||||
// 作成者(dc:creator)
|
||||
var creator = itemElem.Element(dc + "creator")?.Value?.Trim()
|
||||
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "creator")?.Value?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(creator))
|
||||
{
|
||||
syndicationItem.Authors.Add(new SyndicationPerson { Name = creator });
|
||||
}
|
||||
|
||||
items.Add(syndicationItem);
|
||||
}
|
||||
|
||||
var feed = new SyndicationFeed(FeedTitle, FeedDescription, new Uri(SiteUrl))
|
||||
{
|
||||
Items = items,
|
||||
Language = "ja-JP",
|
||||
LastUpdatedTime = DateTimeOffset.Now
|
||||
};
|
||||
|
||||
// RSS 2.0 形式で出力(filter24Hours: false で全件維持、embedBase64: false で画像リンク維持)
|
||||
await CmnUtil.ExportXMLFileAsync(OutputFileName, feed, client, embedBase64: false, filter24Hours: false);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【anige_sokuhouvip】 フィード生成失敗: {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region "□メソッド(Private)"
|
||||
|
||||
/// <summary>
|
||||
/// 記事HTMLのリンク属性や画像属性を調整し、整形したHTML文字列を生成します。
|
||||
/// </summary>
|
||||
/// <param name="rawHtml">元のHTML文字列</param>
|
||||
/// <param name="articleUrl">記事のURL</param>
|
||||
/// <param name="articleTitle">記事のタイトル</param>
|
||||
/// <returns>整形後のHTML文字列</returns>
|
||||
private static string FormatHtmlBody(string rawHtml, string articleUrl, string articleTitle)
|
||||
{
|
||||
var sb = new StringBuilder();
|
||||
sb.Append($@"<div><a href=""{articleUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{articleTitle}</a></div>");
|
||||
|
||||
if (string.IsNullOrWhiteSpace(rawHtml))
|
||||
{
|
||||
return sb.ToString();
|
||||
}
|
||||
|
||||
try
|
||||
{
|
||||
var parser = new HtmlParser();
|
||||
var document = parser.ParseDocument($"<div id=\"content-root\">{rawHtml}</div>");
|
||||
var rootDiv = document.QuerySelector("#content-root");
|
||||
|
||||
if (rootDiv != null)
|
||||
{
|
||||
// 不要なスクリプトタグの除去
|
||||
var scriptTags = rootDiv.QuerySelectorAll("script").ToList();
|
||||
foreach (var script in scriptTags)
|
||||
{
|
||||
script.Remove();
|
||||
}
|
||||
|
||||
// リンクタグの属性調整
|
||||
foreach (var a in rootDiv.QuerySelectorAll("a"))
|
||||
{
|
||||
a.SetAttribute("target", "_blank");
|
||||
a.SetAttribute("rel", "noopener noreferrer");
|
||||
a.SetAttribute("referrerpolicy", "no-referrer");
|
||||
}
|
||||
|
||||
// 画像タグの属性調整
|
||||
foreach (var img in rootDiv.QuerySelectorAll("img"))
|
||||
{
|
||||
img.SetAttribute("referrerpolicy", "no-referrer");
|
||||
var currentStyle = img.GetAttribute("style") ?? string.Empty;
|
||||
if (!currentStyle.Contains("max-width", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
img.SetAttribute("style", $"{currentStyle}; max-width: 100%; height: auto;".Trim(';', ' '));
|
||||
}
|
||||
}
|
||||
|
||||
sb.Append(rootDiv.InnerHtml);
|
||||
return sb.ToString();
|
||||
}
|
||||
}
|
||||
catch
|
||||
{
|
||||
// パース失敗時は元のHTMLをフォールバックとして追記
|
||||
}
|
||||
|
||||
sb.Append(rawHtml);
|
||||
return sb.ToString();
|
||||
}
|
||||
|
||||
#endregion
|
||||
}
|
||||
@@ -0,0 +1,376 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.IO;
|
||||
using System.Linq;
|
||||
using System.Net.Http;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.Json;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.AuraHentai;
|
||||
|
||||
internal class aurahentai
|
||||
{
|
||||
/// <summary>
|
||||
/// 既存フィード記事の比較用データ保持クラス
|
||||
/// </summary>
|
||||
private class ExistingFeedEntry
|
||||
{
|
||||
public string Title { get; set; } = string.Empty;
|
||||
public string SummaryHtml { get; set; } = string.Empty;
|
||||
public DateTimeOffset PublishDate { get; set; }
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// aurahentai.com の日本語作品一覧から RSS フィード (aurahentai.xml) を生成します。
|
||||
/// 一覧ページから作品情報を直接パースすることで FlareSolverr へのリクエスト数を大幅に削減し、
|
||||
/// 新規記事や更新記事のみコンテンツページの DOM (JSON-LD) から正確な datePublished を取得します。
|
||||
/// 既存記事はキャッシュを活用することで過負荷と重複登録を完全に防止します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
/// <param name="sessionId">FlareSolverr セッションID(省略時は自前で作成・破棄)</param>
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
var baseURL = "https://aurahentai.com/language/japanese";
|
||||
var feed = new SyndicationFeed("aurahentai.com", "", new Uri(baseURL));
|
||||
var items = new List<SyndicationItem>();
|
||||
|
||||
try
|
||||
{
|
||||
// 既存の aurahentai.xml から過去に出力した各記事の内容(タイトル・本文・日時)を読み込む
|
||||
var existingEntries = LoadExistingEntries("aurahentai.xml");
|
||||
|
||||
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
|
||||
for (int pageId = 1; pageId <= 5; pageId++)
|
||||
{
|
||||
var pageURL = $"{baseURL}?page={pageId}";
|
||||
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
|
||||
if (document == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var newItems = await CreateFeedItemsFromListPageAsync(client, sessionId, document, pageId, existingEntries);
|
||||
items.AddRange(newItems);
|
||||
}
|
||||
|
||||
// ID 重複排除
|
||||
var uniqueItems = items
|
||||
.GroupBy(x => x.Id)
|
||||
.Select(g => g.First())
|
||||
.ToList();
|
||||
|
||||
feed.Items = uniqueItems;
|
||||
|
||||
await CmnUtil.ExportXMLFileAsync("aurahentai.xml", feed, client);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] aurahentai: {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時を読み込みます。
|
||||
/// URL および GUID の両方をキーとして辞書に格納します。
|
||||
/// </summary>
|
||||
/// <param name="fileName">XML ファイル名</param>
|
||||
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
|
||||
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||||
{
|
||||
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||||
try
|
||||
{
|
||||
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
|
||||
if (!File.Exists(xmlPath))
|
||||
{
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
using var reader = XmlReader.Create(xmlPath);
|
||||
var existingFeed = SyndicationFeed.Load(reader);
|
||||
if (existingFeed?.Items != null)
|
||||
{
|
||||
foreach (var item in existingFeed.Items)
|
||||
{
|
||||
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||
var guid = item.Id;
|
||||
var date = item.PublishDate != DateTimeOffset.MinValue
|
||||
? item.PublishDate
|
||||
: item.LastUpdatedTime;
|
||||
|
||||
var entry = new ExistingFeedEntry
|
||||
{
|
||||
Title = item.Title?.Text?.Trim() ?? string.Empty,
|
||||
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
|
||||
PublishDate = date
|
||||
};
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
|
||||
{
|
||||
existingEntries[linkUrl] = entry;
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
|
||||
{
|
||||
existingEntries[guid] = entry;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[情報] aurahentai 既存エントリの読み込みスキップ: {ex.Message}");
|
||||
}
|
||||
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 一覧ページの IDocument から個別作品の SyndicationItem を生成します。
|
||||
/// 新規記事または内容変更記事のみコンテンツページ (JSON-LD) から datePublished を取得します。
|
||||
/// 変更のない既存記事は前回の PublishDate をそのまま引き継ぎ、FlareSolverr の過負荷を防ぎます。
|
||||
/// </summary>
|
||||
private static async Task<List<SyndicationItem>> CreateFeedItemsFromListPageAsync(
|
||||
HttpClient client,
|
||||
string? sessionId,
|
||||
IDocument docListPage,
|
||||
int pageIndex,
|
||||
Dictionary<string, ExistingFeedEntry> existingEntries)
|
||||
{
|
||||
var items = new List<SyndicationItem>();
|
||||
var articleElements = docListPage.QuerySelectorAll("main article");
|
||||
|
||||
int itemIndex = 0;
|
||||
foreach (var article in articleElements)
|
||||
{
|
||||
var linkElement = article.QuerySelector("a.block, a");
|
||||
if (linkElement == null) continue;
|
||||
|
||||
var relLink = linkElement.GetAttribute("href") ?? string.Empty;
|
||||
if (string.IsNullOrWhiteSpace(relLink)) continue;
|
||||
|
||||
var contentsUri = CmnUtil.GetAbsoluteUri(docListPage.BaseUrl!, relLink);
|
||||
if (contentsUri == null) continue;
|
||||
var linkHref = contentsUri.AbsoluteUri;
|
||||
|
||||
// 1. タイトルの取得 (h3 または img alt)
|
||||
var title = article.QuerySelector("h3")?.TextContent?.Trim();
|
||||
if (string.IsNullOrWhiteSpace(title))
|
||||
{
|
||||
title = article.QuerySelector("img")?.GetAttribute("alt")?.Trim() ?? "No Title";
|
||||
}
|
||||
|
||||
// 2. カバー画像 URL の決定
|
||||
var replaceFr = "https://aurahentai.com/gallery/";
|
||||
var replaceTo = "https://img.aurahentai.com/g/";
|
||||
var imgUrl = $"{linkHref.Replace(replaceFr, replaceTo)}/001.webp";
|
||||
|
||||
// 3. カテゴリ(Doujinshi, Manga 等)
|
||||
var categorySpan = article.QuerySelector("span.uppercase, span[class*='uppercase']");
|
||||
var category = categorySpan?.TextContent?.Trim() ?? string.Empty;
|
||||
|
||||
// 4. ページ数 (例: 34p)
|
||||
var pageSpan = article.QuerySelectorAll("span").FirstOrDefault(s => s.TextContent.Trim().EndsWith("p", StringComparison.OrdinalIgnoreCase));
|
||||
var pageCount = pageSpan?.TextContent?.Trim() ?? string.Empty;
|
||||
|
||||
// 5. 本文 HTML の生成
|
||||
var body = new StringBuilder();
|
||||
|
||||
if (!string.IsNullOrEmpty(linkHref))
|
||||
{
|
||||
// WebImageViewer統一リンク (https://udukipc-web.armonica-vps.work/?url=[ページURL])
|
||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(linkHref)}";
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
|
||||
body.Append($"</div>");
|
||||
}
|
||||
|
||||
// 1枚目画像
|
||||
body.Append($"<div>");
|
||||
body.Append($"<img src=\"{imgUrl}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
|
||||
body.Append($"</div>");
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(pageCount) || !string.IsNullOrWhiteSpace(category))
|
||||
{
|
||||
body.Append($"<p>");
|
||||
if (!string.IsNullOrWhiteSpace(category)) body.Append($"[{category}] ");
|
||||
if (!string.IsNullOrWhiteSpace(pageCount)) body.Append($"ページ数: {pageCount}");
|
||||
body.Append($"</p>");
|
||||
}
|
||||
|
||||
string currentSummaryHtml = body.ToString();
|
||||
|
||||
// 6. GUID の生成: 記事URLを渡して一意な文字列を生成
|
||||
string guid = CmnUtil.CreateGuid(linkHref);
|
||||
|
||||
// 7. 内容比較および公開日時の決定
|
||||
ExistingFeedEntry? prevEntry = null;
|
||||
if (existingEntries.TryGetValue(linkHref, out var byUrl))
|
||||
{
|
||||
prevEntry = byUrl;
|
||||
}
|
||||
else if (existingEntries.TryGetValue(guid, out var byGuid))
|
||||
{
|
||||
prevEntry = byGuid;
|
||||
}
|
||||
|
||||
DateTimeOffset pubDate;
|
||||
if (prevEntry != null)
|
||||
{
|
||||
// 同じ記事が存在する場合、内部(タイトル・本文HTML)を比較
|
||||
bool isModified = !string.Equals(prevEntry.Title, title, StringComparison.Ordinal)
|
||||
|| !string.Equals(prevEntry.SummaryHtml, currentSummaryHtml, StringComparison.Ordinal);
|
||||
|
||||
if (isModified)
|
||||
{
|
||||
// 内容が更新されている場合はコンテンツページの DOM から正確な投稿日時を取得
|
||||
var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId);
|
||||
pubDate = datePublished ?? DateTimeOffset.Now;
|
||||
}
|
||||
else
|
||||
{
|
||||
// 内容が変わっていない場合は前回の公開日時をそのまま維持(コンテンツページへの不要なリクエストは 0 回)
|
||||
pubDate = prevEntry.PublishDate != DateTimeOffset.MinValue
|
||||
? prevEntry.PublishDate
|
||||
: DateTimeOffset.Now;
|
||||
}
|
||||
}
|
||||
else
|
||||
{
|
||||
// 新規記事: コンテンツページの DOM (JSON-LD) から正確な datePublished を取得
|
||||
var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId);
|
||||
pubDate = datePublished ?? DateTimeOffset.Now.AddSeconds(-((pageIndex - 1) * 30 + itemIndex));
|
||||
}
|
||||
itemIndex++;
|
||||
|
||||
// 8. SyndicationItem の生成
|
||||
var itemUri = new Uri(linkHref);
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
pubDate
|
||||
)
|
||||
{
|
||||
PublishDate = pubDate,
|
||||
LastUpdatedTime = pubDate,
|
||||
Summary = new TextSyndicationContent(currentSummaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(category))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(category));
|
||||
}
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
|
||||
return items;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 個別作品のコンテンツページを FlareSolverr で取得し、DOM 内の JSON-LD から datePublished を抽出します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient</param>
|
||||
/// <param name="linkHref">作品詳細ページの URL</param>
|
||||
/// <param name="sessionId">FlareSolverr セッションID</param>
|
||||
/// <returns>日本時間の DateTimeOffset(取得失敗時は null)</returns>
|
||||
private static async Task<DateTimeOffset?> FetchDatePublishedAsync(HttpClient client, string linkHref, string? sessionId)
|
||||
{
|
||||
try
|
||||
{
|
||||
var docContents = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId);
|
||||
if (docContents != null)
|
||||
{
|
||||
var pubDateStr = GetDatePublished(docContents);
|
||||
if (!string.IsNullOrEmpty(pubDateStr) && DateTimeOffset.TryParse(pubDateStr, out DateTimeOffset parsedOffset))
|
||||
{
|
||||
// 日本時間(UTC+9)のオフセットに変換
|
||||
return parsedOffset.ToOffset(TimeSpan.FromHours(9));
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] aurahentai コンテンツページ日時取得失敗 ({linkHref}): {ex.Message}");
|
||||
}
|
||||
|
||||
return null;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// IDocument 内の複数ある JSON-LD から、@type が "ImageGallery" の datePublished を取得します。
|
||||
/// </summary>
|
||||
/// <param name="document">AngleSharp の IDocument</param>
|
||||
/// <returns>取得した datePublished 文字列(見つからない場合は null)</returns>
|
||||
private static string? GetDatePublished(IDocument document)
|
||||
{
|
||||
var scriptElements = document.QuerySelectorAll("script[type='application/ld+json']");
|
||||
|
||||
foreach (var script in scriptElements)
|
||||
{
|
||||
string jsonText = script.TextContent?.Trim() ?? string.Empty;
|
||||
if (string.IsNullOrEmpty(jsonText))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
try
|
||||
{
|
||||
using var jsonDoc = JsonDocument.Parse(jsonText);
|
||||
var root = jsonDoc.RootElement;
|
||||
|
||||
if (root.ValueKind == JsonValueKind.Object)
|
||||
{
|
||||
if (TryExtractDate(root, out var date))
|
||||
{
|
||||
return date;
|
||||
}
|
||||
}
|
||||
else if (root.ValueKind == JsonValueKind.Array)
|
||||
{
|
||||
foreach (var item in root.EnumerateArray())
|
||||
{
|
||||
if (item.ValueKind == JsonValueKind.Object && TryExtractDate(item, out var date))
|
||||
{
|
||||
return date;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (JsonException)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
}
|
||||
|
||||
return null;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// @type が ImageGallery か判定し、datePublished の値を取り出します。
|
||||
/// </summary>
|
||||
private static bool TryExtractDate(JsonElement element, out string? datePublished)
|
||||
{
|
||||
datePublished = null;
|
||||
|
||||
if (element.TryGetProperty("@type", out var typeProp) &&
|
||||
string.Equals(typeProp.GetString(), "ImageGallery", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
if (element.TryGetProperty("datePublished", out var dateProp))
|
||||
{
|
||||
datePublished = dateProp.GetString();
|
||||
return true;
|
||||
}
|
||||
}
|
||||
|
||||
return false;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,263 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using AngleSharp.Html.Parser;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.Net.Http;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.Json;
|
||||
using System.Threading.Tasks;
|
||||
using rss_generator.Class.Common;
|
||||
using static rss_generator.Class.Common.LogManager;
|
||||
|
||||
namespace rss_generator.Class.CiEn;
|
||||
|
||||
/// <summary>
|
||||
/// Ci-en(シエン)のマイページ新着記事からRSSフィードを生成するクラスです。
|
||||
/// </summary>
|
||||
internal class ci_en
|
||||
{
|
||||
#region □定数(Private)
|
||||
|
||||
/// <summary>
|
||||
/// Ci-en マイページ新着記事一覧取得用APIエンドポイント
|
||||
/// </summary>
|
||||
private const string RecentApiUrl = "https://ci-en.dlsite.com/api/mypage/recent";
|
||||
|
||||
/// <summary>
|
||||
/// Ci-en マイページURL(リファラーおよびフィードURL用)
|
||||
/// </summary>
|
||||
private const string MypageRecentUrl = "https://ci-en.dlsite.com/mypage/recent";
|
||||
|
||||
/// <summary>
|
||||
/// Ci-en ログイン認証用Cookie文字列
|
||||
/// </summary>
|
||||
private const string CookieString = @"dlloginjp=1; _vwo_uuid_v2=DE0A491AF4C7D82F5A0E36EE05FB9DCC4|1c75fec8568c82f554ce0bf05b184323; _fbp=fb.1.1744889132407.755153059380374410; _gaid=368068859.1744048157; _tt_enable_cookie=1; _ttp=01JS1QYDMMCWME95G944M64YBH_.tt.1; carted=1; accepted_rating=r18g; _ga_BZK47NSH6M=GS2.1.s1773681391$o1$g1$t1773683085$j60$l0$h0; _ga_5V5XC0P05K=GS2.1.s1773925565$o1$g1$t1773925597$j28$l0$h0; _ga_FT5XDNCSST=GS2.1.s1774009996$o1$g1$t1774010041$j15$l0$h0; recommend_device_id=4242537564.1775488541; locale=ja-jp; _trust360_=%7B%22pid%22%3A%22GZOmvAwr%22%2C%22vid%22%3A%22MNNC1CLRTKMZA453FZJ2AKYY%22%2C%22v%22%3A1%2C%22accepted%22%3A7%2C%22it%22%3A1775488544271%7D; adultchecked=1; _ga_QQPE5BRL8Y=GS2.1.s1776218873$o1$g1$t1776218883$j50$l0$h0; _twpid=tw.1776384373659.787621302594603318; _ga_MYZL3283YG=GS2.1.s1776533403$o5$g1$t1776533425$j38$l0$h0; i18n_redirected=ja-jp; _ga_57HC74EGYW=GS2.1.s1776877012$o3$g0$t1776877014$j58$l0$h0; _ga_FGNPZ32399=GS2.1.s1776963447$o3$g1$t1776963496$j11$l0$h0; _ga_CKDD79YY5K=GS2.1.s1777130134$o2$g1$t1777130163$j31$l0$h0; _ga_SLMZ0ZXNJ1=GS2.1.s1788801244$o2$g1$t1788801256$j48$l0$h0; uhashjp=8a9768d1bc66b3cb5d302ada2c95724cbab9eeeb; iom_jp=SFT000002128873; uid_jp=SFT000002128873; remember_web_59ba36addc2b2f9401580f014c7f58ea4e30989d=2045064%7CtfkLIcqxXZDJ8bpsXA8nOZcofF9qGIiUeo8T8eWSTesxR7BjTKvlzj2JjKFI%7CtfkLIcqxXZDJ8bpsXA8nOZcofF9qGIiUeo8T8eWSTesxR7BjTKvlzj2JjKFI; _ga_9SB79WF4BD=GS2.1.s1779791861$o4$g1$t1779792797$j60$l0$h0; _ga_140=GS2.1.s1779805620$o17$g1$t1779805764$j60$l0$h0; _ga_EZN33JX2LQ=GS2.1.s1780220071$o8$g1$t1780220111$j20$l0$h0; _ga_NSFZEVF70Z=GS2.1.s1780660225$o13$g1$t1780660251$j34$l0$h0; client_id=5296163acabf6608213b4e6f7e9ebd60; _unv_aid=183806e4-d24d-4d1d-958e-0044749aebab; _ga_YJ8NCCZMYD=GS2.1.s1782302356$o5$g1$t1782302393$j23$l0$h0; _ga_H29V5427MF=GS2.1.s1782311562$o7$g0$t1782311570$j52$l0$h0; _vwo_uuid=D0095974371256A8657ECF68E198C5817; _ga_166H7ZBJJ6=GS2.1.s1782579077$o7$g1$t1782579130$j7$l0$h0; _ga_FYQ837TCLF=GS2.1.s1782643016$o3$g1$t1782643097$j47$l0$h0; _ga_ZWB2Z5E0V2=GS2.1.s1782821894$o7$g0$t1782821903$j51$l0$h0; ttcsid_D0DFBO3C77U626LJDL6G=1782837386436::cRvgniZAyWEaSNF3mVpx.43.1782837438327.1; ttcsid_CKRMHGRC77U81CKC8HNG=1782837386443::vABiN78hXjyU_a3pz7XK.43.1782837438334.1; ttcsid_CLVT5NRC77U95UC4O12G=1782837386446::MF_CNvJ_wXnnaUYSTF1e.43.1782837438340.1; ttcsid_CPLBGI3C77U3S3PJLFRG=1782837386450::1QYS6mg4SHJnwBkWzvvm.43.1782837438346.1; ttcsid_CQ3QNNBC77U0CETNEGNG=1782837386454::Zx5dDGKm5RKyQqEMQmtp.43.1782837438353.1; ttcsid_D02V363C77U9GIBTNP9G=1782837386457::OMcsULq6hpuuJ2x1B0r2.43.1782837438359.1; ttcsid=1782837386438::1pxUgLoa6xq6svEKpaD3.203.1782837438357.0::1.36619.41937::0.0.0.0::51807.20.3300; _ga_3Q3ERY250G=GS2.1.s1782837523$o1$g1$t1782837803$j60$l0$h0; _vwo_ds=3%241782551443%3A50.02909166%3A%3A%3A%3A%3A1782902051%3A1782897550%3A18; _vis_opt_s=20%7C; _ga_HEQQ3BGXDL=GS2.1.s1782902045$o7$g1$t1782902059$j46$l0$h0; _ga=GA1.1.368068859.1744048157; _ga_CWG6LEYWHN=GS2.1.s1783181099$o4$g1$t1783181119$j40$l0$h0; vendor_design=normal; session_state=3f33774fce7cb6c51d66cf8c4bef7642173dce3c7e4ef82310b9752b9ad2c6b7.40x3nks7uaww4800o4wkc0wgg; loginchecked=1; __DLsite_SID=htvqf2s9ge8o313nolr7edcrfd; _ga_MB2PT3FWW8=GS2.1.s1783268429$o15$g1$t1783268531$j56$l0$h0; _ga_1CQ9479B3Z=GS2.1.s1783688876$o6$g0$t1783688878$j58$l0$h0; _inflow_params=%7B%22referrer_uri%22%3A%22www.anime-sharing.com%22%7D; _ga_1Z1SYS3CQ4=GS2.1.s1783858175$o12$g0$t1783858180$j55$l0$h0; _ga_6VLJ921530=GS2.1.s1784047289$o19$g1$t1784047430$j57$l0$h0; _ga_SEMVGMN3H2=GS2.1.s1784223465$o5$g1$t1784223531$j58$l0$h0; consent_terms_vivion_id_SFT000002128873=2026-07-19T12:57:22.011Z; consent_privacy_vivion_id_SFT000002128873=2026-07-19T12:57:22.011Z; consent_terms_dlsite_SFT000002128873=2026-07-19T12:57:22.011Z; consent_privacy_dlsite_SFT000002128873=2026-07-19T12:57:22.011Z; DL_PTAFID=twitternukomajin; utm_c=sns_link; _inflow_ad_params=%7B%22product_id%22%3A%22RJ01009083%22%2C%22utm_medium%22%3A%22affiliate%22%2C%22utm_campaign%22%3A%22sns_link%22%2C%22utm_content%22%3A%22RJ01009083%22%2C%22utm_source%22%3A%22t.co%2F%22%7D; _gcl_au=1.1.302635706.1783464784.999250299.1784474157.1784474157.93176051.1784474157.1784474157; DL_PRODUCT_LOG=RJ196116%2CRJ01632273%2CRJ01668630%2CRJ01670035%2CRJ01671421%2CRJ01673489%2CRJ01657229%2CRJ01009083%2CRJ01648715%2CRJ01644999%2CRJ01604830%2CRJ01625582%2CRJ01605765%2CRJ236734%2CRJ071090%2CRJ01623421%2CRJ145373%2CRJ01570227%2CRJ01665800%2CRJ01669480%2CRJ01212879%2CRJ01606779%2CRJ01605618%2CRJ01610188%2CRJ01648963%2CRJ01484365%2CRJ362203%2CRJ01509772%2CRJ01450546%2CRJ01271060%2CRJ01123284%2CRJ01516172%2CRJ01576032%2CRJ01375307%2CRJ01622268%2CRJ01496131%2CRJ01550550%2CRJ01650691%2CRJ01647232%2CRJ01585232%2CRJ01657316%2CRJ01622380%2CRJ01387722%2CRJ01409387%2CRJ01449864%2CRJ01509009%2CRJ212283%2CRJ01638705%2CRJ01653149%2CRJ01633249; last_wishlist_check=0; _inflow_dlsite_params=%7B%22dlsite_referrer_url%22%3A%22https%3A%2F%2Fwww.dlsite.com%2Fmaniax
Line truncated
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Public)
|
||||
|
||||
/// <summary>
|
||||
/// Ci-enのマイページ新着記事一覧APIから新着記事を取得し、RSSフィード(XML)を非同期で生成・出力します。
|
||||
/// </summary>
|
||||
/// <param name="client">HTTPクライアントインスタンス</param>
|
||||
/// <returns>非同期タスク</returns>
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var feed = new SyndicationFeed("Ci-en", "", new Uri(MypageRecentUrl));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
using var request = new HttpRequestMessage(HttpMethod.Get, RecentApiUrl);
|
||||
request.Headers.Add("Cookie", CookieString);
|
||||
request.Headers.Add("Accept", "application/json");
|
||||
request.Headers.Add("Referer", MypageRecentUrl);
|
||||
|
||||
using var response = await client.SendAsync(request);
|
||||
response.EnsureSuccessStatusCode();
|
||||
|
||||
// リダイレクト先URLがメンテナンスページであるか検証
|
||||
var responseUri = response.RequestMessage?.RequestUri?.ToString() ?? string.Empty;
|
||||
if (responseUri.Contains("maintenance", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
AddLog($"[情報] 【ci_en】 Ci-enは現在システムメンテナンス中です ({responseUri})。メンテナンス完了後に自動再開されます。");
|
||||
return;
|
||||
}
|
||||
|
||||
var responseString = await response.Content.ReadAsStringAsync();
|
||||
var trimmedContent = responseString.TrimStart();
|
||||
|
||||
// レスポンスがJSONではなくHTML(メンテナンス画面やログイン画面等)の場合の安全ハンドリング
|
||||
if (trimmedContent.StartsWith('<'))
|
||||
{
|
||||
if (trimmedContent.Contains("メンテナンス") || trimmedContent.Contains("maintenance", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
AddLog("[情報] 【ci_en】 Ci-enは現在システムメンテナンス中です。サービスの再開後に自動取得されます。");
|
||||
}
|
||||
else
|
||||
{
|
||||
AddLog("[警告] 【ci_en】 APIからJSONではなくHTMLが返却されました。セッションCookieの有効期限切れ、またはリダイレクトの可能性があります。");
|
||||
}
|
||||
return;
|
||||
}
|
||||
|
||||
using var jsonDoc = JsonDocument.Parse(responseString);
|
||||
|
||||
if (!jsonDoc.RootElement.TryGetProperty("items", out var itemsElem) ||
|
||||
!itemsElem.TryGetProperty("data", out var dataElem))
|
||||
{
|
||||
AddLog("[警告] 【ci_en】 items.data プロパティが存在しません。");
|
||||
return;
|
||||
}
|
||||
|
||||
var parser = new HtmlParser();
|
||||
var cutoff = DateTimeOffset.Now.AddHours(-24);
|
||||
|
||||
foreach (var elem in dataElem.EnumerateArray())
|
||||
{
|
||||
var item = new SyndicationItem();
|
||||
|
||||
var href = elem.TryGetProperty("path", out var pathElem) ? pathElem.GetString() ?? "" : "";
|
||||
var rawTitle = elem.TryGetProperty("title", out var titleElem) ? titleElem.GetString() ?? "" : "";
|
||||
var creatorName = elem.TryGetProperty("creator", out var creatorElem) &&
|
||||
creatorElem.TryGetProperty("creator_name", out var cNameElem)
|
||||
? cNameElem.GetString() ?? ""
|
||||
: "";
|
||||
|
||||
if (!string.IsNullOrEmpty(href))
|
||||
{
|
||||
item.Links.Add(new SyndicationLink(new Uri(href)));
|
||||
}
|
||||
|
||||
item.Authors.Add(new SyndicationPerson { Name = "Ci-en" });
|
||||
if (!string.IsNullOrEmpty(creatorName))
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = creatorName });
|
||||
}
|
||||
|
||||
var title = !string.IsNullOrEmpty(creatorName) ? $"{creatorName} : {rawTitle}" : rawTitle;
|
||||
item.Title = new TextSyndicationContent(title);
|
||||
|
||||
var releasedAtStr = elem.TryGetProperty("released_at", out var relElem) ? relElem.GetString() : null;
|
||||
var updateTime = DateTimeOffset.Now;
|
||||
if (!string.IsNullOrEmpty(releasedAtStr) && DateTimeOffset.TryParse(releasedAtStr, out var parsedDate))
|
||||
{
|
||||
updateTime = parsedDate;
|
||||
}
|
||||
item.LastUpdatedTime = updateTime;
|
||||
|
||||
// 24時間判定(カットオフより古い記事は本文取得を行わずスキップ)
|
||||
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var body = new StringBuilder();
|
||||
if (!string.IsNullOrEmpty(href))
|
||||
{
|
||||
if (client.DefaultRequestHeaders.Contains("Cookie"))
|
||||
{
|
||||
client.DefaultRequestHeaders.Remove("Cookie");
|
||||
}
|
||||
client.DefaultRequestHeaders.Add("Cookie", CookieString);
|
||||
|
||||
var docContents = await CmnUtil.GetDocument(client, href);
|
||||
var divDetail = docContents.QuerySelector("article");
|
||||
|
||||
if (divDetail != null)
|
||||
{
|
||||
// 1. vue-l-image 等の Vue カスタムコンポーネントを標準の <a><img></a> タグに置換
|
||||
var vueImages = divDetail.QuerySelectorAll("vue-l-image, [vue-is='l_image'], vue-image").ToList();
|
||||
foreach (var vueImg in vueImages)
|
||||
{
|
||||
var src = vueImg.GetAttribute("src");
|
||||
var actualSrc = vueImg.GetAttribute("data-actual");
|
||||
var rawSrc = vueImg.GetAttribute("data-raw");
|
||||
var alt = vueImg.GetAttribute("alt") ?? "";
|
||||
|
||||
var targetImgSrc = !string.IsNullOrEmpty(actualSrc) ? actualSrc : (!string.IsNullOrEmpty(src) ? src : rawSrc);
|
||||
if (!string.IsNullOrEmpty(targetImgSrc))
|
||||
{
|
||||
var linkUrl = !string.IsNullOrEmpty(rawSrc) ? rawSrc : targetImgSrc;
|
||||
var imgTagHtml = $@"<a href=""{linkUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{targetImgSrc}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(alt)}"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a>";
|
||||
|
||||
var fragment = parser.ParseDocument(imgTagHtml);
|
||||
var newElement = fragment.Body?.FirstElementChild;
|
||||
if (newElement != null)
|
||||
{
|
||||
vueImg.ReplaceWith(newElement);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// 2. figure や file-player-image-wrapper の崩れ防止(padding-bottom等の削除)
|
||||
var figureWrappers = divDetail.QuerySelectorAll("figure, div.file-player-image-wrapper").ToList();
|
||||
foreach (var fig in figureWrappers)
|
||||
{
|
||||
fig.RemoveAttribute("style");
|
||||
}
|
||||
|
||||
// 3. 通常の <img> タグの data-actual / data-src 対応
|
||||
var regularImages = divDetail.QuerySelectorAll("img").ToList();
|
||||
foreach (var img in regularImages)
|
||||
{
|
||||
var dataActual = img.GetAttribute("data-actual");
|
||||
var dataSrc = img.GetAttribute("data-src");
|
||||
var currentSrc = img.GetAttribute("src");
|
||||
|
||||
if (!string.IsNullOrEmpty(dataActual))
|
||||
{
|
||||
img.SetAttribute("src", dataActual);
|
||||
}
|
||||
else if ((string.IsNullOrEmpty(currentSrc) || currentSrc.Contains("no_image")) && !string.IsNullOrEmpty(dataSrc))
|
||||
{
|
||||
img.SetAttribute("src", dataSrc);
|
||||
}
|
||||
|
||||
img.SetAttribute("referrerpolicy", "no-referrer");
|
||||
img.SetAttribute("style", "max-width: 100%; height: auto;");
|
||||
}
|
||||
|
||||
// 本文内リンクへのリファラー設定
|
||||
var regularAnchors = divDetail.QuerySelectorAll("a").ToList();
|
||||
foreach (var a in regularAnchors)
|
||||
{
|
||||
a.SetAttribute("target", "_blank");
|
||||
a.SetAttribute("rel", "noopener noreferrer");
|
||||
a.SetAttribute("referrerpolicy", "no-referrer");
|
||||
}
|
||||
|
||||
// 4. カバー画像/アイキャッチ画像の配置(API返却の image_src を最優先)
|
||||
var coverImageUrl = elem.TryGetProperty("image_src", out var imgElem) ? imgElem.GetString() : null;
|
||||
if (string.IsNullOrEmpty(coverImageUrl))
|
||||
{
|
||||
if (docContents.QuerySelector("img.image, img") is IHtmlImageElement coverElem &&
|
||||
!string.IsNullOrEmpty(coverElem.Source) &&
|
||||
!coverElem.Source.Contains("no_image") &&
|
||||
!coverElem.Source.Contains("logo_"))
|
||||
{
|
||||
coverImageUrl = coverElem.Source;
|
||||
}
|
||||
else
|
||||
{
|
||||
var metaOgImage = docContents.QuerySelector("meta[property='og:image']")?.GetAttribute("content");
|
||||
if (!string.IsNullOrEmpty(metaOgImage) && !metaOgImage.Contains("logo_") && !metaOgImage.Contains("no_image"))
|
||||
{
|
||||
coverImageUrl = metaOgImage;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
if (!string.IsNullOrEmpty(coverImageUrl))
|
||||
{
|
||||
body.Append($@"<div><a href=""{href}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{coverImageUrl}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-bottom: 12px;"" /></a></div>");
|
||||
}
|
||||
|
||||
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
||||
}
|
||||
}
|
||||
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
item.Id = CmnUtil.CreateGuid(href);
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
|
||||
feed.Items = items;
|
||||
|
||||
// ci_en は画像リンクを Base64 変換せず、通常の画像リンクとして出力する
|
||||
await CmnUtil.ExportXMLFileAsync("ci_en.xml", feed, client, embedBase64: false);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
AddLog($"[エラー] 【ci_en】 {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
|
||||
#endregion
|
||||
}
|
||||
@@ -1,10 +1,10 @@
|
||||
using Dapper;
|
||||
using Dapper;
|
||||
using Npgsql;
|
||||
#if DEBUG
|
||||
using Renci.SshNet;
|
||||
#endif
|
||||
|
||||
namespace rss_generator.Class;
|
||||
namespace rss_generator.Class.Common;
|
||||
|
||||
internal class CmnDB : IDisposable
|
||||
{
|
||||
@@ -1,8 +1,8 @@
|
||||
using System;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Text;
|
||||
|
||||
namespace rss_generator.Class;
|
||||
namespace rss_generator.Class.Common;
|
||||
|
||||
internal class CmnDefine
|
||||
{
|
||||
@@ -1,4 +1,4 @@
|
||||
using AngleSharp;
|
||||
using AngleSharp;
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Parser;
|
||||
using PuppeteerSharp;
|
||||
@@ -8,15 +8,18 @@ using System.Diagnostics;
|
||||
using System.Net;
|
||||
using System.Net.Http.Headers;
|
||||
using System.Net.Http.Json;
|
||||
using System.Collections.Concurrent;
|
||||
using System.Security.Cryptography;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.Json;
|
||||
using System.Text.Json.Serialization;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
|
||||
namespace rss_generator.Class;
|
||||
namespace rss_generator.Class.Common;
|
||||
|
||||
public class CmnUtil
|
||||
{
|
||||
@@ -120,12 +123,326 @@ public class CmnUtil
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Feedをファイルとして出力
|
||||
/// 記事が指定の日時以降(カットオフ以降)の取得対象であるかを判定します。
|
||||
/// 公開日時がカットオフ前であっても、更新日時がカットオフ以降であれば取得対象となります。
|
||||
/// </summary>
|
||||
/// <param name="item">判定対象のフィードアイテム</param>
|
||||
/// <param name="cutoff">カットオフ日時</param>
|
||||
/// <returns>取得対象であれば true、24時間以上前で対象外であれば false</returns>
|
||||
public static bool IsItemWithinCutoff(SyndicationItem item, DateTimeOffset cutoff)
|
||||
{
|
||||
bool hasUpdated = item.LastUpdatedTime > DateTimeOffset.MinValue;
|
||||
bool hasPublished = item.PublishDate > DateTimeOffset.MinValue;
|
||||
|
||||
// 1. 更新日時が有効で、カットオフ以降であれば対象(公開日時が24時間以上前でも救済)
|
||||
if (hasUpdated && item.LastUpdatedTime >= cutoff)
|
||||
{
|
||||
return true;
|
||||
}
|
||||
|
||||
// 2. 公開日時が有効で、カットオフ以降であれば対象
|
||||
if (hasPublished && item.PublishDate >= cutoff)
|
||||
{
|
||||
return true;
|
||||
}
|
||||
|
||||
// 3. 公開日時または更新日時のいずれかが設定されているが、どちらもカットオフ未満(古い)場合は除外
|
||||
if (hasUpdated || hasPublished)
|
||||
{
|
||||
return false;
|
||||
}
|
||||
|
||||
// 4. 日時情報が一切存在しないアイテム(MinValue)は念のため残す
|
||||
return true;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// フィードアイテム一覧から、指定時間以内(デフォルト24時間)の対象アイテムのみを抽出します。
|
||||
/// 公開日時が指定時間以上前であっても、更新日時が指定時間以内であれば抽出対象となります。
|
||||
/// </summary>
|
||||
/// <param name="items">アイテム一覧</param>
|
||||
/// <param name="hours">許容時間(時間単位、デフォルト: 24時間)</param>
|
||||
/// <returns>条件を満たすアイテムのリスト</returns>
|
||||
public static List<SyndicationItem> FilterItemsWithinHours(IEnumerable<SyndicationItem> items, double hours = 24)
|
||||
{
|
||||
var cutoff = DateTimeOffset.Now.AddHours(-hours);
|
||||
return items.Where(item => IsItemWithinCutoff(item, cutoff)).ToList();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 全ての RSS 出力処理において、記事内の画像(img src / video poster)を自動で Base64 形式(Data URI)に変換して埋め込むかどうか。
|
||||
/// 環境変数 EMBED_ALL_IMAGES_BASE64 (true/false) での上書きも可能です。
|
||||
/// </summary>
|
||||
public static bool EmbedAllImagesBase64
|
||||
{
|
||||
get
|
||||
{
|
||||
var envVal = Environment.GetEnvironmentVariable("EMBED_ALL_IMAGES_BASE64");
|
||||
if (!string.IsNullOrWhiteSpace(envVal) && bool.TryParse(envVal, out var parsed))
|
||||
{
|
||||
return parsed;
|
||||
}
|
||||
return _embedAllImagesBase64;
|
||||
}
|
||||
set => _embedAllImagesBase64 = value;
|
||||
}
|
||||
private static bool _embedAllImagesBase64 = true;
|
||||
|
||||
/// <summary>
|
||||
/// 画像URLから画像データを取得し、Base64 (Data URI: data:{mime};base64,{data}) 形式の文字列として返します。
|
||||
/// サイト固有の Referer ヘッダーの自動付与やタイムアウト(6秒)制御を行います。
|
||||
/// </summary>
|
||||
public static async Task<string?> FetchImageAsBase64Async(HttpClient client, string imageUrl, int timeoutSeconds = 6)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(imageUrl)) return null;
|
||||
if (imageUrl.StartsWith("data:", StringComparison.OrdinalIgnoreCase)) return imageUrl;
|
||||
|
||||
var targetUrl = imageUrl.Trim();
|
||||
// // で始まるスキーム相対URLを https: に補完
|
||||
if (targetUrl.StartsWith("//"))
|
||||
{
|
||||
targetUrl = "https:" + targetUrl;
|
||||
}
|
||||
|
||||
// HTML エンティティの多重エンコード(& や &amp; など)を完全に解決
|
||||
while (targetUrl.Contains("&", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
targetUrl = WebUtility.HtmlDecode(targetUrl);
|
||||
}
|
||||
|
||||
if (!targetUrl.StartsWith("http://", StringComparison.OrdinalIgnoreCase) && !targetUrl.StartsWith("https://", StringComparison.OrdinalIgnoreCase)) return null;
|
||||
|
||||
try
|
||||
{
|
||||
using var cts = new CancellationTokenSource(TimeSpan.FromSeconds(timeoutSeconds));
|
||||
using var request = new HttpRequestMessage(HttpMethod.Get, targetUrl);
|
||||
|
||||
// User-Agent の設定
|
||||
request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36");
|
||||
|
||||
// ドメインに応じた適切な Referer の自動判定と付与
|
||||
if (Uri.TryCreate(targetUrl, UriKind.Absolute, out var uri))
|
||||
{
|
||||
var host = uri.Host.ToLowerInvariant();
|
||||
if (host.Contains("pximg.net") || host.Contains("pixiv"))
|
||||
{
|
||||
request.Headers.Referrer = new Uri("https://www.pixiv.net/");
|
||||
}
|
||||
else if (host.Contains("hitomi.la") || host.Contains("gold-usergeneratedcontent.net"))
|
||||
{
|
||||
request.Headers.Referrer = new Uri("https://hitomi.la/");
|
||||
}
|
||||
else if (host.Contains("ci-en.dlsite.com"))
|
||||
{
|
||||
request.Headers.Referrer = new Uri("https://ci-en.dlsite.com/");
|
||||
}
|
||||
else if (host.Contains("momon-ga.com"))
|
||||
{
|
||||
request.Headers.Referrer = new Uri("https://momon-ga.com/");
|
||||
}
|
||||
else
|
||||
{
|
||||
request.Headers.Referrer = new Uri($"{uri.Scheme}://{uri.Authority}/");
|
||||
}
|
||||
}
|
||||
|
||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, cts.Token);
|
||||
if (!response.IsSuccessStatusCode)
|
||||
{
|
||||
return null;
|
||||
}
|
||||
|
||||
// 2MB 以上の画像はメモリ保護のためスキップ(元のURLを参照させる)
|
||||
if (response.Content.Headers.ContentLength.HasValue && response.Content.Headers.ContentLength.Value > 2 * 1024 * 1024)
|
||||
{
|
||||
return null;
|
||||
}
|
||||
|
||||
var contentType = response.Content.Headers.ContentType?.MediaType;
|
||||
if (string.IsNullOrWhiteSpace(contentType) || !contentType.StartsWith("image/", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
contentType = "image/jpeg";
|
||||
}
|
||||
|
||||
var bytes = await response.Content.ReadAsByteArrayAsync(cts.Token);
|
||||
if (bytes == null || bytes.Length == 0) return null;
|
||||
|
||||
var base64 = Convert.ToBase64String(bytes);
|
||||
return $"data:{contentType};base64,{base64}";
|
||||
}
|
||||
catch
|
||||
{
|
||||
// タイムアウトや取得失敗時は元のURLのままフォールバックするため静かにnull返却
|
||||
return null;
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// SyndicationFeed に含まれる全記事(24時間フィルタ適用後)の HTML 本文から画像 URL を抽出し、
|
||||
/// 並列ダウンロードして Base64 形式(Data URI)に置換します。
|
||||
/// </summary>
|
||||
public static async Task EmbedImagesAsBase64InFeedAsync(SyndicationFeed feed, HttpClient client, int maxParallel = 2)
|
||||
{
|
||||
if (feed.Items == null) return;
|
||||
|
||||
var itemsList = feed.Items.ToList();
|
||||
if (itemsList.Count == 0) return;
|
||||
|
||||
// 1. 全アイテムの HTML から画像 URL を抽出(重複排除)
|
||||
var urlPattern = new Regex(@"(?:<img\b[^>]*?\bsrc=[""'](?<url>[^""'\s>]+)[""']|<video\b[^>]*?\bposter=[""'](?<url>[^""'\s>]+)[""'])", RegexOptions.IgnoreCase | RegexOptions.Compiled);
|
||||
|
||||
// rawUrl -> decodedUrl のマッピング
|
||||
var targetUrls = new Dictionary<string, string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
foreach (var item in itemsList)
|
||||
{
|
||||
var html = item.Summary?.Text ?? (item.Content as TextSyndicationContent)?.Text;
|
||||
if (string.IsNullOrWhiteSpace(html)) continue;
|
||||
|
||||
var matches = urlPattern.Matches(html);
|
||||
foreach (Match match in matches)
|
||||
{
|
||||
var rawUrl = match.Groups["url"].Value;
|
||||
if (!string.IsNullOrWhiteSpace(rawUrl) && !rawUrl.StartsWith("data:", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
var decoded = rawUrl;
|
||||
while (decoded.Contains("&", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
decoded = WebUtility.HtmlDecode(decoded);
|
||||
}
|
||||
if (decoded.StartsWith("//"))
|
||||
{
|
||||
decoded = "https:" + decoded;
|
||||
}
|
||||
targetUrls[rawUrl] = decoded;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
if (targetUrls.Count == 0) return;
|
||||
|
||||
// 2. 並列ダウンロードして Base64 辞書を構築(メモリ節約のため同時並行数は2に制御)
|
||||
var cacheMap = new ConcurrentDictionary<string, string>(StringComparer.OrdinalIgnoreCase);
|
||||
using var semaphore = new SemaphoreSlim(maxParallel);
|
||||
|
||||
var downloadTasks = targetUrls.Select(async kvp =>
|
||||
{
|
||||
var rawUrl = kvp.Key;
|
||||
var fetchUrl = kvp.Value;
|
||||
|
||||
await semaphore.WaitAsync();
|
||||
try
|
||||
{
|
||||
var dataUri = await FetchImageAsBase64Async(client, fetchUrl);
|
||||
if (!string.IsNullOrWhiteSpace(dataUri))
|
||||
{
|
||||
cacheMap[rawUrl] = dataUri;
|
||||
cacheMap[fetchUrl] = dataUri;
|
||||
}
|
||||
}
|
||||
finally
|
||||
{
|
||||
semaphore.Release();
|
||||
}
|
||||
});
|
||||
|
||||
await Task.WhenAll(downloadTasks);
|
||||
|
||||
// 3. 各アイテムの HTML 内の画像 URL を Base64 文字列に置換
|
||||
if (cacheMap.Count > 0)
|
||||
{
|
||||
foreach (var item in itemsList)
|
||||
{
|
||||
if (item.Summary != null && !string.IsNullOrWhiteSpace(item.Summary.Text))
|
||||
{
|
||||
var newHtml = item.Summary.Text;
|
||||
bool modified = false;
|
||||
|
||||
foreach (var kvp in cacheMap)
|
||||
{
|
||||
if (newHtml.Contains(kvp.Key, StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
newHtml = newHtml.Replace(kvp.Key, kvp.Value, StringComparison.OrdinalIgnoreCase);
|
||||
modified = true;
|
||||
}
|
||||
}
|
||||
|
||||
if (modified)
|
||||
{
|
||||
item.Summary = new TextSyndicationContent(newHtml, TextSyndicationContentKind.Html);
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
int distinctSuccess = targetUrls.Keys.Count(k => cacheMap.ContainsKey(k));
|
||||
LogManager.AddLog($"[情報] [CmnUtil] 画像の Base64 変換完了: {distinctSuccess}/{targetUrls.Count} 件成功 (記事数: {itemsList.Count})");
|
||||
|
||||
// 使用済みメモリの即時解放
|
||||
cacheMap.Clear();
|
||||
targetUrls.Clear();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Feed を非同期でファイルに出力します。画像 Base64 変換が有効な場合は自動で変換を行います(Pixiv のみ有効)。
|
||||
/// </summary>
|
||||
/// <param name="fileName">出力先ファイル名</param>
|
||||
/// <param name="feed">SyndicationFeed</param>
|
||||
/// <param name="client">画像ダウンロード用 HttpClient</param>
|
||||
/// <param name="addDir">サブディレクトリ</param>
|
||||
/// <param name="embedBase64">画像を Base64 変換するかどうか(Pixiv 以外は false)</param>
|
||||
/// <param name="filter24Hours">24時間以上前の古い記事を除外するかどうか(デフォルト: true)</param>
|
||||
public static async Task ExportXMLFileAsync(string fileName, SyndicationFeed feed, HttpClient? client = null, string addDir = "", bool embedBase64 = false, bool filter24Hours = true)
|
||||
{
|
||||
// 24時間以上前の古い記事を除外
|
||||
if (filter24Hours && feed.Items != null)
|
||||
{
|
||||
feed.Items = FilterItemsWithinHours(feed.Items, 24);
|
||||
}
|
||||
|
||||
// 画像の Base64 埋め込み処理
|
||||
if (embedBase64 && EmbedAllImagesBase64 && client != null)
|
||||
{
|
||||
try
|
||||
{
|
||||
await EmbedImagesAsBase64InFeedAsync(feed, client);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [CmnUtil] 画像 Base64 変換中に例外発生 ({fileName}): {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
var filePath = GetExportXmlPath(fileName, addDir);
|
||||
var settings = new XmlWriterSettings
|
||||
{
|
||||
Encoding = new UTF8Encoding(false), // BOMなしUTF-8
|
||||
Indent = true,
|
||||
Async = true
|
||||
};
|
||||
|
||||
using var xmlWriter = XmlWriter.Create(filePath, settings);
|
||||
var formatter = new Rss20FeedFormatter(feed);
|
||||
formatter.WriteTo(xmlWriter);
|
||||
|
||||
int count = feed.Items?.Count() ?? 0;
|
||||
string displayFileName = System.IO.Path.GetFileName(filePath);
|
||||
LogManager.AddLog($"[情報] 【CmnUtil】 {displayFileName} を正常に出力しました (記事数: {count})");
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Feedをファイルとして出力(同期版・後方互換用)
|
||||
/// </summary>
|
||||
/// <param name="fileName"></param>
|
||||
/// <param name="feed"></param>
|
||||
public static void ExportXMLFile(string fileName, SyndicationFeed feed, string addDir = "")
|
||||
{
|
||||
// 24時間以上前の古い記事を除外(公開日時が24時間以上前でも、更新日時が24時間以内なら取得対象)
|
||||
if (feed.Items != null)
|
||||
{
|
||||
feed.Items = FilterItemsWithinHours(feed.Items, 24);
|
||||
}
|
||||
|
||||
var filePath = GetExportXmlPath(fileName, addDir);
|
||||
// 文字コードをUTF-8に指定
|
||||
var settings = new XmlWriterSettings
|
||||
@@ -142,7 +459,7 @@ public class CmnUtil
|
||||
|
||||
int count = feed.Items?.Count() ?? 0;
|
||||
string displayFileName = System.IO.Path.GetFileName(filePath);
|
||||
LogManager.AddLog($"[情報] {displayFileName} を正常に出力しました (記事数: {count})");
|
||||
LogManager.AddLog($"[情報] 【CmnUtil】 {displayFileName} を正常に出力しました (記事数: {count})");
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
@@ -165,7 +482,7 @@ public class CmnUtil
|
||||
{
|
||||
// 404の場合などのログをここに書くことも可能
|
||||
//AddLog($"[HTTP Error] Status Code: {response.StatusCode} for {url}");
|
||||
LogManager.AddLog($"[HTTP Error] Status Code: {response.StatusCode} for {url}");
|
||||
LogManager.AddLog($"[エラー] 【CmnUtil】 HTTP Error Status Code: {response.StatusCode} for {url}");
|
||||
return null;
|
||||
}
|
||||
|
||||
@@ -175,7 +492,7 @@ public class CmnUtil
|
||||
catch (HttpRequestException ex)
|
||||
{
|
||||
// ネットワーク不通やタイムアウトなどの例外処理
|
||||
LogManager.AddLog($"[Network Error] {ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【CmnUtil】 Network Error {ex.Message}");
|
||||
return null;
|
||||
}
|
||||
catch (Exception)
|
||||
@@ -233,10 +550,19 @@ public class CmnUtil
|
||||
}
|
||||
|
||||
// 5. ストリームによるレスポンス受信と直接パース(ResponseHeadersRead で中間バッファリングと巨大文字列生成を排除)
|
||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, cancellationToken);
|
||||
using var linkedCts = CancellationTokenSource.CreateLinkedTokenSource(cancellationToken);
|
||||
linkedCts.CancelAfter(TimeSpan.FromSeconds(15)); // ハング防止の最大15秒タイムアウト
|
||||
|
||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, linkedCts.Token);
|
||||
// 403 Forbidden が返された場合は自動的に FlareSolverr 経由で取得
|
||||
if (response.StatusCode == HttpStatusCode.Forbidden)
|
||||
{
|
||||
LogManager.AddLog($"[情報] [CmnUtil] 403 Forbidden を検知したため、FlareSolverr 経由で取得します: {pageURL}");
|
||||
return await GetDocumentFlareSolverr(client, pageURL);
|
||||
}
|
||||
response.EnsureSuccessStatusCode();
|
||||
|
||||
await using var stream = await response.Content.ReadAsStreamAsync(cancellationToken);
|
||||
await using var stream = await response.Content.ReadAsStreamAsync(linkedCts.Token);
|
||||
|
||||
// Content-Type (charset 等) を取得して AngleSharp に通知
|
||||
var contentType = response.Content.Headers.ContentType?.ToString();
|
||||
@@ -274,6 +600,11 @@ public class CmnUtil
|
||||
/// </summary>
|
||||
private static readonly SemaphoreSlim FlareSolverrSemaphore = new(1, 1);
|
||||
|
||||
/// <summary>
|
||||
/// アプリケーション全体で共有・使い回す FlareSolverr セッションID
|
||||
/// </summary>
|
||||
public static string? SharedFlareSolverrSessionId { get; set; }
|
||||
|
||||
/// <summary>
|
||||
/// FlareSolverr 経由で対象 URL の HTML を取得し、AngleSharp の IDocument を生成して返します。
|
||||
/// 排他制御および最大3回の自動リトライ(セッション無効化フォールバック・待機付き)を備えています。
|
||||
@@ -295,7 +626,7 @@ public class CmnUtil
|
||||
try
|
||||
{
|
||||
const int maxRetries = 3;
|
||||
string? currentSession = session;
|
||||
string? currentSession = session ?? SharedFlareSolverrSessionId;
|
||||
|
||||
for (int attempt = 1; attempt <= maxRetries; attempt++)
|
||||
{
|
||||
@@ -326,7 +657,7 @@ public class CmnUtil
|
||||
// セッション不整合による500の可能性があるため、次回はセッションなしでリトライ
|
||||
if (currentSession != null)
|
||||
{
|
||||
LogManager.AddLog($"[情報] セッション {currentSession} を解除して次回セッションなしで再試行します。");
|
||||
LogManager.AddLog($"[情報] 【CmnUtil】 セッション {currentSession} を解除して次回セッションなしで再試行します。");
|
||||
currentSession = null;
|
||||
}
|
||||
|
||||
@@ -348,7 +679,7 @@ public class CmnUtil
|
||||
if (!string.Equals(flareResponse.Status, "ok", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
string errorMsg = $"FlareSolverr エラー (Status: {flareResponse.Status}, Message: {flareResponse.Message}): {pageURL}";
|
||||
LogManager.AddLog($"[警告] {errorMsg}");
|
||||
LogManager.AddLog($"[警告] 【CmnUtil】 {errorMsg}");
|
||||
|
||||
if (attempt < maxRetries)
|
||||
{
|
||||
@@ -373,7 +704,7 @@ public class CmnUtil
|
||||
}
|
||||
catch (Exception ex) when (attempt < maxRetries && ex is not OperationCanceledException)
|
||||
{
|
||||
LogManager.AddLog($"[警告] FlareSolverr リクエスト再試行 (試行 {attempt}/{maxRetries}, URL: {pageURL}): {ex.Message}");
|
||||
LogManager.AddLog($"[警告] 【CmnUtil】 FlareSolverr リクエスト再試行 (試行 {attempt}/{maxRetries}, URL: {pageURL}): {ex.Message}");
|
||||
currentSession = null;
|
||||
await Task.Delay(attempt * 2500);
|
||||
}
|
||||
@@ -387,6 +718,118 @@ public class CmnUtil
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// FlareSolverr 経由で対象 URL のレスポンス文字列(HTML または JSON)を取得します。
|
||||
/// Chromium が JSON を表示した際の <pre>...</pre> ラップも自動検出してアンラップ・HTMLデコードします。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
/// <param name="url">取得対象のURL</param>
|
||||
/// <param name="flareSolverrEndpoint">FlareSolverrのエンドポイントURL(デフォルト: https://udukipc-flaresolverr.armonica-vps.work/v1)</param>
|
||||
/// <param name="maxTimeout">FlareSolverr側の最大タイムアウトミリ秒(デフォルト: 60000ms)</param>
|
||||
/// <param name="session">セッションID(セッションを再利用して高速化する場合に指定)</param>
|
||||
/// <returns>レスポンス文字列(失敗時は null または空文字)</returns>
|
||||
public static async Task<string?> GetStringFlareSolverr(
|
||||
HttpClient client,
|
||||
string url,
|
||||
string flareSolverrEndpoint = "https://udukipc-flaresolverr.armonica-vps.work/v1",
|
||||
int maxTimeout = 60000,
|
||||
string? session = null)
|
||||
{
|
||||
await FlareSolverrSemaphore.WaitAsync();
|
||||
try
|
||||
{
|
||||
const int maxRetries = 3;
|
||||
string? currentSession = session ?? SharedFlareSolverrSessionId;
|
||||
|
||||
for (int attempt = 1; attempt <= maxRetries; attempt++)
|
||||
{
|
||||
Console.WriteLine($"Fetching String via FlareSolverr (試行 {attempt}/{maxRetries}): {url}");
|
||||
|
||||
var payload = new FlareSolverrRequest
|
||||
{
|
||||
Cmd = "request.get",
|
||||
Url = url,
|
||||
MaxTimeout = maxTimeout,
|
||||
Session = currentSession
|
||||
};
|
||||
|
||||
using var request = new HttpRequestMessage(HttpMethod.Post, flareSolverrEndpoint)
|
||||
{
|
||||
Content = JsonContent.Create(payload, options: FlareSolverrJsonOptions)
|
||||
};
|
||||
|
||||
try
|
||||
{
|
||||
using var response = await client.SendAsync(request);
|
||||
var responseContent = await response.Content.ReadAsStringAsync();
|
||||
|
||||
if (!response.IsSuccessStatusCode)
|
||||
{
|
||||
LogManager.AddLog($"[警告] FlareSolverr HTTP失敗 (Status: {(int)response.StatusCode} {response.ReasonPhrase}, URL: {url}, Detail: {responseContent})");
|
||||
|
||||
if (currentSession != null)
|
||||
{
|
||||
LogManager.AddLog($"[情報] 【CmnUtil】 セッション {currentSession} を解除して次回セッションなしで再試行します。");
|
||||
currentSession = null;
|
||||
}
|
||||
|
||||
if (attempt < maxRetries)
|
||||
{
|
||||
await Task.Delay(attempt * 2500);
|
||||
continue;
|
||||
}
|
||||
|
||||
throw new HttpRequestException($"FlareSolverr サーバーエラー (Status: {(int)response.StatusCode}, Detail: {responseContent})");
|
||||
}
|
||||
|
||||
var flareResponse = JsonSerializer.Deserialize<FlareSolverrResponse>(responseContent, FlareSolverrJsonOptions);
|
||||
if (flareResponse == null)
|
||||
{
|
||||
throw new InvalidOperationException($"FlareSolverr レスポンスのデシリアライズ失敗: {url}");
|
||||
}
|
||||
|
||||
if (!string.Equals(flareResponse.Status, "ok", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
string errorMsg = $"FlareSolverr エラー (Status: {flareResponse.Status}, Message: {flareResponse.Message}): {url}";
|
||||
LogManager.AddLog($"[警告] 【CmnUtil】 {errorMsg}");
|
||||
|
||||
if (attempt < maxRetries)
|
||||
{
|
||||
currentSession = null;
|
||||
await Task.Delay(attempt * 2500);
|
||||
continue;
|
||||
}
|
||||
|
||||
throw new InvalidOperationException(errorMsg);
|
||||
}
|
||||
|
||||
string rawContent = flareResponse.Solution?.Response ?? string.Empty;
|
||||
|
||||
// Chromium が JSON を表示した際の <pre>...</pre> をアンラップ
|
||||
var match = Regex.Match(rawContent, @"<pre[^>]*>(.*?)</pre>", RegexOptions.Singleline | RegexOptions.IgnoreCase);
|
||||
if (match.Success)
|
||||
{
|
||||
return WebUtility.HtmlDecode(match.Groups[1].Value).Trim();
|
||||
}
|
||||
|
||||
return rawContent;
|
||||
}
|
||||
catch (Exception ex) when (attempt < maxRetries && ex is not OperationCanceledException)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 【CmnUtil】 FlareSolverr リクエスト再試行 (試行 {attempt}/{maxRetries}, URL: {url}): {ex.Message}");
|
||||
currentSession = null;
|
||||
await Task.Delay(attempt * 2500);
|
||||
}
|
||||
}
|
||||
|
||||
throw new InvalidOperationException($"FlareSolverr での取得が最大試行回数 ({maxRetries}回) を超えて失敗しました: {url}");
|
||||
}
|
||||
finally
|
||||
{
|
||||
FlareSolverrSemaphore.Release();
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// FlareSolverr 経由で対象 URL の RSS/Atom フィードを取得し、SyndicationItem のコレクションを返します。
|
||||
/// メモリ割り当ての最小化およびストリーム直接デシリアライズにより、メモリリーク防止と高速化を行っています。
|
||||
@@ -411,7 +854,7 @@ public class CmnUtil
|
||||
Cmd = "request.get",
|
||||
Url = url,
|
||||
MaxTimeout = maxTimeout,
|
||||
Session = session
|
||||
Session = session ?? SharedFlareSolverrSessionId
|
||||
};
|
||||
|
||||
using var request = new HttpRequestMessage(HttpMethod.Post, flareSolverrEndpoint)
|
||||
@@ -436,7 +879,7 @@ public class CmnUtil
|
||||
if (!string.Equals(flareResponse.Status, "ok", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
string errorMsg = $"FlareSolverr エラー (Status: {flareResponse.Status}, Message: {flareResponse.Message}): {url}";
|
||||
LogManager.AddLog($"[エラー] {errorMsg}");
|
||||
LogManager.AddLog($"[エラー] 【CmnUtil】 {errorMsg}");
|
||||
throw new InvalidOperationException(errorMsg);
|
||||
}
|
||||
|
||||
@@ -468,7 +911,7 @@ public class CmnUtil
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] FlareSolverr フィード {url} の取得に失敗: {ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【CmnUtil】 FlareSolverr フィード {url} の取得に失敗: {ex.Message}");
|
||||
PrintCallStackToEvent(ex);
|
||||
return Enumerable.Empty<SyndicationItem>();
|
||||
}
|
||||
@@ -537,6 +980,66 @@ public class CmnUtil
|
||||
return string.Equals(flareResponse?.Status, "ok", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// FlareSolverr に存在するすべてのセッションを取得します。
|
||||
/// </summary>
|
||||
public static async Task<List<string>> ListFlareSolverrSessions(
|
||||
HttpClient client,
|
||||
string flareSolverrEndpoint = "https://udukipc-flaresolverr.armonica-vps.work/v1")
|
||||
{
|
||||
try
|
||||
{
|
||||
var payload = new FlareSolverrRequest { Cmd = "sessions.list" };
|
||||
using var request = new HttpRequestMessage(HttpMethod.Post, flareSolverrEndpoint)
|
||||
{
|
||||
Content = JsonContent.Create(payload, options: FlareSolverrJsonOptions)
|
||||
};
|
||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead);
|
||||
if (!response.IsSuccessStatusCode) return new List<string>();
|
||||
|
||||
using var responseStream = await response.Content.ReadAsStreamAsync();
|
||||
var flareResponse = await JsonSerializer.DeserializeAsync<FlareSolverrResponse>(responseStream, FlareSolverrJsonOptions);
|
||||
return flareResponse?.Sessions ?? new List<string>();
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [CmnUtil] FlareSolverr セッション一覧取得失敗: {ex.Message}");
|
||||
return new List<string>();
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// FlareSolverr に存在するすべてのセッション(孤立・残留セッション含む)を破棄し、Chromium プロセスを終了させます。
|
||||
/// </summary>
|
||||
public static async Task DestroyAllFlareSolverrSessions(
|
||||
HttpClient client,
|
||||
string flareSolverrEndpoint = "https://udukipc-flaresolverr.armonica-vps.work/v1")
|
||||
{
|
||||
try
|
||||
{
|
||||
var sessions = await ListFlareSolverrSessions(client, flareSolverrEndpoint);
|
||||
if (sessions.Count == 0) return;
|
||||
|
||||
LogManager.AddLog($"[情報] [CmnUtil] FlareSolverr 残留セッション ({sessions.Count} 件) の一括破棄を開始します");
|
||||
foreach (var s in sessions)
|
||||
{
|
||||
try
|
||||
{
|
||||
await DestroyFlareSolverrSession(client, s, flareSolverrEndpoint);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [CmnUtil] セッション破棄失敗 ({s}): {ex.Message}");
|
||||
}
|
||||
}
|
||||
LogManager.AddLog($"[情報] [CmnUtil] FlareSolverr 全セッションの破棄完了");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [CmnUtil] 全セッション破棄処理中にエラー: {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// FlareSolverr リクエスト用 DTO
|
||||
/// </summary>
|
||||
@@ -572,6 +1075,9 @@ public class CmnUtil
|
||||
[JsonPropertyName("session")]
|
||||
public string? Session { get; set; }
|
||||
|
||||
[JsonPropertyName("sessions")]
|
||||
public List<string>? Sessions { get; set; }
|
||||
|
||||
[JsonPropertyName("solution")]
|
||||
public FlareSolverrSolution? Solution { get; set; }
|
||||
|
||||
@@ -617,7 +1123,7 @@ public class CmnUtil
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] {url} の取得に失敗: {ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【CmnUtil】 {url} の取得に失敗: {ex.Message}");
|
||||
return Enumerable.Empty<SyndicationItem>();
|
||||
}
|
||||
}
|
||||
@@ -870,7 +1376,7 @@ public class CmnUtil
|
||||
if (process.ExitCode != 0)
|
||||
{
|
||||
// エラー時は StandardError と StandardOutput の両方をログに出力する
|
||||
LogManager.AddLog($"[エラー] コマンド実行失敗 (ExitCode: {process.ExitCode}, Cmd: {command} {arguments})\n" +
|
||||
LogManager.AddLog($"[エラー] 【CmnUtil】 コマンド実行失敗 (ExitCode: {process.ExitCode}, Cmd: {command} {arguments})\n" +
|
||||
$"STDERR: {(string.IsNullOrEmpty(error) ? "(なし)" : error)}\n" +
|
||||
$"STDOUT: {(string.IsNullOrEmpty(output) ? "(なし)" : output)}");
|
||||
}
|
||||
@@ -884,7 +1390,7 @@ public class CmnUtil
|
||||
}
|
||||
else
|
||||
{
|
||||
LogManager.AddLog($"[エラー] プロセスの起動に失敗しました: {command}");
|
||||
LogManager.AddLog($"[エラー] 【CmnUtil】 プロセスの起動に失敗しました: {command}");
|
||||
}
|
||||
}
|
||||
|
||||
@@ -0,0 +1,282 @@
|
||||
using System;
|
||||
using System.Collections.Concurrent;
|
||||
using System.Collections.Generic;
|
||||
using System.Diagnostics;
|
||||
using System.IO;
|
||||
using System.Net.Http;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Common;
|
||||
|
||||
/// <summary>
|
||||
/// 外部設定ファイル(C:\feeds\src\*.json)の変更を監視し、
|
||||
/// 変更されたファイルに対応するRSS生成アクションを即座に実行するウォッチャークラス
|
||||
/// </summary>
|
||||
public class ExternalConfigWatcher : IDisposable
|
||||
{
|
||||
/// <summary>
|
||||
/// ファイル名に対応するハンドラー情報
|
||||
/// </summary>
|
||||
private readonly Dictionary<string, (string DisplayName, Func<HttpClient, Task> Action)> _handlers =
|
||||
new(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
/// <summary>
|
||||
/// 各ファイルの最終更新日時(UTC)記録用(ポーリング監視および重複発火防止用)
|
||||
/// </summary>
|
||||
private readonly ConcurrentDictionary<string, DateTime> _lastWriteTimes =
|
||||
new(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
/// <summary>
|
||||
/// 変更検知後のデバウンス用キュー(ファイル名 -> 検知時刻)
|
||||
/// </summary>
|
||||
private readonly ConcurrentDictionary<string, DateTime> _pendingTriggers =
|
||||
new(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
private readonly IHttpClientFactory _httpClientFactory;
|
||||
private readonly SemaphoreSlim _executionLock;
|
||||
private readonly CancellationTokenSource _cts = new();
|
||||
|
||||
private FileSystemWatcher? _watcher;
|
||||
private Task? _monitorTask;
|
||||
private bool _disposed;
|
||||
|
||||
/// <summary>
|
||||
/// コンストラクタ
|
||||
/// </summary>
|
||||
/// <param name="httpClientFactory">HttpClientFactory インスタンス</param>
|
||||
/// <param name="executionLock">定期実行との競合を防ぐ排他ロックセマフォ</param>
|
||||
public ExternalConfigWatcher(IHttpClientFactory httpClientFactory, SemaphoreSlim executionLock)
|
||||
{
|
||||
_httpClientFactory = httpClientFactory ?? throw new ArgumentNullException(nameof(httpClientFactory));
|
||||
_executionLock = executionLock ?? throw new ArgumentNullException(nameof(executionLock));
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 監視対象ファイルと、変更時に実行するアクションを登録します。
|
||||
/// </summary>
|
||||
/// <param name="fileName">監視する設定ファイル名(例: "youtube.json")</param>
|
||||
/// <param name="displayName">ログ表示用の名称(例: "YouTube")</param>
|
||||
/// <param name="action">実行するRSS生成非同期メソッド</param>
|
||||
public void RegisterHandler(string fileName, string displayName, Func<HttpClient, Task> action)
|
||||
{
|
||||
_handlers[fileName] = (displayName, action);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 監視を開始します。
|
||||
/// </summary>
|
||||
public void Start()
|
||||
{
|
||||
string watchDir = ExternalFeedConfigManager.GetConfigDirectory();
|
||||
if (!Directory.Exists(watchDir))
|
||||
{
|
||||
Directory.CreateDirectory(watchDir);
|
||||
}
|
||||
|
||||
// 初期ファイルの最終更新日時を記録(起動直後の誤検知を防止)
|
||||
RecordInitialFileTimes(watchDir);
|
||||
|
||||
// 1. FileSystemWatcher による即時検知(Windowsホスト環境等向け)
|
||||
try
|
||||
{
|
||||
_watcher = new FileSystemWatcher(watchDir, "*.json")
|
||||
{
|
||||
NotifyFilter = NotifyFilters.LastWrite | NotifyFilters.FileName | NotifyFilters.Size,
|
||||
IncludeSubdirectories = false,
|
||||
EnableRaisingEvents = true
|
||||
};
|
||||
|
||||
_watcher.Changed += OnFileEvent;
|
||||
_watcher.Created += OnFileEvent;
|
||||
_watcher.Renamed += (s, e) => OnFileEvent(s, new FileSystemEventArgs(WatcherChangeTypes.Changed, watchDir, e.Name));
|
||||
|
||||
LogManager.AddLog($"[情報] 【ExternalConfigWatcher】 FileSystemWatcher による設定ファイル監視を開始しました: {watchDir}");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 【ExternalConfigWatcher】 FileSystemWatcher の初期化に失敗(ポーリングのみで監視を継続します): {ex.Message}");
|
||||
}
|
||||
|
||||
// 2. バックグラウンドポーリングタスク(Dockerバインドマウント環境でも確実に検知するため2.5秒間隔で更新日時を走査)
|
||||
_monitorTask = Task.Run(() => PollingLoopAsync(watchDir, _cts.Token));
|
||||
LogManager.AddLog($"[情報] 外部設定ファイル監視ループを開始しました: {watchDir}");
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 起動時の既存ファイル更新日時を記録します。
|
||||
/// </summary>
|
||||
private void RecordInitialFileTimes(string watchDir)
|
||||
{
|
||||
try
|
||||
{
|
||||
var files = Directory.GetFiles(watchDir, "*.json");
|
||||
foreach (var filePath in files)
|
||||
{
|
||||
string fileName = Path.GetFileName(filePath);
|
||||
var lastWrite = File.GetLastWriteTimeUtc(filePath);
|
||||
_lastWriteTimes[fileName] = lastWrite;
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 初期ファイル一覧の確認失敗: {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// FileSystemWatcher イベントハンドラ
|
||||
/// </summary>
|
||||
private void OnFileEvent(object sender, FileSystemEventArgs e)
|
||||
{
|
||||
if (string.IsNullOrEmpty(e.Name)) return;
|
||||
|
||||
string fileName = Path.GetFileName(e.Name);
|
||||
if (_handlers.ContainsKey(fileName))
|
||||
{
|
||||
// デバウンス用キューに記録(現在時刻で更新)
|
||||
_pendingTriggers[fileName] = DateTime.UtcNow;
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// バックグラウンドポーリングおよびデバウンス処理ループ
|
||||
/// </summary>
|
||||
private async Task PollingLoopAsync(string watchDir, CancellationToken ct)
|
||||
{
|
||||
while (!ct.IsCancellationRequested)
|
||||
{
|
||||
try
|
||||
{
|
||||
await Task.Delay(500, ct);
|
||||
|
||||
// ディレクトリ内の .json ファイルの最終更新日時をポーリング
|
||||
if (Directory.Exists(watchDir))
|
||||
{
|
||||
var files = Directory.GetFiles(watchDir, "*.json");
|
||||
foreach (var filePath in files)
|
||||
{
|
||||
string fileName = Path.GetFileName(filePath);
|
||||
if (!_handlers.ContainsKey(fileName)) continue;
|
||||
|
||||
DateTime currentWriteTime;
|
||||
try
|
||||
{
|
||||
currentWriteTime = File.GetLastWriteTimeUtc(filePath);
|
||||
}
|
||||
catch
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
if (_lastWriteTimes.TryGetValue(fileName, out var prevWriteTime))
|
||||
{
|
||||
if (currentWriteTime > prevWriteTime)
|
||||
{
|
||||
// 変更検知
|
||||
_lastWriteTimes[fileName] = currentWriteTime;
|
||||
_pendingTriggers[fileName] = DateTime.UtcNow;
|
||||
}
|
||||
}
|
||||
else
|
||||
{
|
||||
// 新規作成ファイル
|
||||
_lastWriteTimes[fileName] = currentWriteTime;
|
||||
_pendingTriggers[fileName] = DateTime.UtcNow;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// デバウンス待機完了(変更検知から500ms以上経過したトリガー)の処理
|
||||
var now = DateTime.UtcNow;
|
||||
foreach (var kvp in _pendingTriggers.ToArray())
|
||||
{
|
||||
string fileName = kvp.Key;
|
||||
DateTime triggeredTime = kvp.Value;
|
||||
|
||||
// 変更検知から500ms以上経過していたら実行
|
||||
if ((now - triggeredTime).TotalMilliseconds >= 500)
|
||||
{
|
||||
_pendingTriggers.TryRemove(fileName, out _);
|
||||
// 最新の更新日時を反映
|
||||
string filePath = Path.Combine(watchDir, fileName);
|
||||
if (File.Exists(filePath))
|
||||
{
|
||||
try { _lastWriteTimes[fileName] = File.GetLastWriteTimeUtc(filePath); } catch { }
|
||||
}
|
||||
|
||||
// 非同期タスクとして排他実行
|
||||
_ = Task.Run(async () => await ExecuteTriggerAsync(fileName), ct);
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (OperationCanceledException)
|
||||
{
|
||||
break;
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【ExternalConfigWatcher】 外部設定ファイル監視ループ例外: {ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// ファイル変更に伴う該当フィードの個別取得処理を実行します。
|
||||
/// </summary>
|
||||
private async Task ExecuteTriggerAsync(string fileName)
|
||||
{
|
||||
if (!_handlers.TryGetValue(fileName, out var handler))
|
||||
{
|
||||
return;
|
||||
}
|
||||
|
||||
LogManager.AddLog($"[情報] 【ExternalConfigWatcher】 外部設定ファイルの変更を検知しました: {fileName} -> 【{handler.DisplayName}】のRSS生成を開始します");
|
||||
|
||||
// 定期実行または他トリガーとの排他ロックを取得
|
||||
await _executionLock.WaitAsync();
|
||||
Stopwatch sw = Stopwatch.StartNew();
|
||||
|
||||
try
|
||||
{
|
||||
using var client = _httpClientFactory.CreateClient("webClient");
|
||||
client.DefaultRequestHeaders.UserAgent.Clear();
|
||||
client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
|
||||
client.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
|
||||
|
||||
await handler.Action(client);
|
||||
|
||||
sw.Stop();
|
||||
LogManager.AddLog($"[情報] 【ExternalConfigWatcher】 【{handler.DisplayName}】 外部設定変更に伴うRSS生成完了 ({sw.Elapsed.TotalSeconds:0.##}秒)");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【{handler.DisplayName}】 外部設定変更トリガー実行時エラー: {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
finally
|
||||
{
|
||||
// メモリ回収
|
||||
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
|
||||
GC.WaitForPendingFinalizers();
|
||||
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
|
||||
|
||||
_executionLock.Release();
|
||||
}
|
||||
}
|
||||
|
||||
public void Dispose()
|
||||
{
|
||||
if (_disposed) return;
|
||||
_disposed = true;
|
||||
|
||||
_cts.Cancel();
|
||||
_cts.Dispose();
|
||||
|
||||
if (_watcher != null)
|
||||
{
|
||||
_watcher.EnableRaisingEvents = false;
|
||||
_watcher.Dispose();
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,173 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.IO;
|
||||
using System.Linq;
|
||||
using System.Runtime.InteropServices;
|
||||
using System.Text.Encodings.Web;
|
||||
using System.Text.Json;
|
||||
using System.Text.Json.Serialization;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Common;
|
||||
|
||||
/// <summary>
|
||||
/// 外部フィード設定の共通ターゲットモデル
|
||||
/// YouTubeや他の各種サイトにおける監視対象URL・チャンネル等の外部定義情報
|
||||
/// </summary>
|
||||
public class ExternalFeedTarget
|
||||
{
|
||||
/// <summary>
|
||||
/// 対象URL(またはチャンネルID・識別子)
|
||||
/// </summary>
|
||||
[JsonPropertyName("url")]
|
||||
public string Url { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>
|
||||
/// 対象名(チャンネル名・サイト名・ユーザー名など)
|
||||
/// </summary>
|
||||
[JsonPropertyName("name")]
|
||||
public string? Name { get; set; }
|
||||
|
||||
/// <summary>
|
||||
/// 出力カテゴリ名(例: "ゲーム", "野球", "音楽", "公式", "その他" など)
|
||||
/// </summary>
|
||||
[JsonPropertyName("category")]
|
||||
public string Category { get; set; } = "その他";
|
||||
|
||||
/// <summary>
|
||||
/// 有効フラグ(falseの場合は取得対象から除外)
|
||||
/// </summary>
|
||||
[JsonPropertyName("enabled")]
|
||||
public bool Enabled { get; set; } = true;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 外部設定ファイル(JSON)の読み込み・保存を管理する共通クラス
|
||||
/// </summary>
|
||||
public static class ExternalFeedConfigManager
|
||||
{
|
||||
/// <summary>
|
||||
/// JSONシリアライズ/デシリアライズの共通オプション
|
||||
/// 日本語文字列をUnicodeエスケープ(\uXXXX)せずにそのまま出力します
|
||||
/// </summary>
|
||||
private static readonly JsonSerializerOptions JsonOptions = new()
|
||||
{
|
||||
WriteIndented = true,
|
||||
Encoder = JavaScriptEncoder.UnsafeRelaxedJsonEscaping,
|
||||
PropertyNameCaseInsensitive = true,
|
||||
ReadCommentHandling = JsonCommentHandling.Skip,
|
||||
AllowTrailingCommas = true,
|
||||
DefaultIgnoreCondition = JsonIgnoreCondition.WhenWritingNull
|
||||
};
|
||||
|
||||
/// <summary>
|
||||
/// 設定ファイルの格納ディレクトリパスを取得します。
|
||||
/// Windowsホスト実行時は C:\feeds\src、Dockerコンテナ実行時はマウント先の /app/output/src を自動判定します。
|
||||
/// </summary>
|
||||
public static string GetConfigDirectory()
|
||||
{
|
||||
if (RuntimeInformation.IsOSPlatform(OSPlatform.Windows))
|
||||
{
|
||||
return @"C:\feeds\src";
|
||||
}
|
||||
|
||||
// Dockerコンテナ内(/app/output がホストの C:\feeds にマウントされている環境)
|
||||
string containerPath = Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "output", "src");
|
||||
if (Directory.Exists(containerPath) || Directory.Exists(Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "output")))
|
||||
{
|
||||
return containerPath;
|
||||
}
|
||||
|
||||
return "/app/output/src";
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 設定ファイルの絶対パスを取得します。
|
||||
/// </summary>
|
||||
/// <param name="fileName">ファイル名(例: "youtube.json")</param>
|
||||
public static string GetConfigFilePath(string fileName)
|
||||
{
|
||||
return Path.Combine(GetConfigDirectory(), fileName);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 指定された設定ファイル(JSON)からターゲット一覧を読み込みます。
|
||||
/// ファイルが存在しない場合、defaultTargets が指定されていれば初期ファイルとして自動保存します。
|
||||
/// </summary>
|
||||
/// <typeparam name="T">ターゲットモデルの型(ExternalFeedTargetの派生クラス)</typeparam>
|
||||
/// <param name="fileName">設定ファイル名(例: "youtube.json")</param>
|
||||
/// <param name="defaultTargets">ファイルが存在しない場合のデフォルトリスト</param>
|
||||
/// <param name="onlyEnabled">有効(Enabled == true)なターゲットのみ取得するかどうか</param>
|
||||
/// <returns>読み込まれたターゲット一覧</returns>
|
||||
public static async Task<List<T>> LoadTargetsAsync<T>(
|
||||
string fileName,
|
||||
IEnumerable<T>? defaultTargets = null,
|
||||
bool onlyEnabled = true) where T : ExternalFeedTarget, new()
|
||||
{
|
||||
string filePath = GetConfigFilePath(fileName);
|
||||
|
||||
try
|
||||
{
|
||||
if (!File.Exists(filePath))
|
||||
{
|
||||
if (defaultTargets != null && defaultTargets.Any())
|
||||
{
|
||||
LogManager.AddLog($"[情報] 【ExternalFeedConfigManager】 設定ファイルが存在しないため、デフォルト設定を書き出します: {filePath}");
|
||||
await SaveTargetsAsync(fileName, defaultTargets);
|
||||
var defaults = defaultTargets.ToList();
|
||||
return onlyEnabled ? defaults.Where(t => t.Enabled).ToList() : defaults;
|
||||
}
|
||||
|
||||
LogManager.AddLog($"[警告] 【ExternalFeedConfigManager】 設定ファイルが見つかりません: {filePath}");
|
||||
return new List<T>();
|
||||
}
|
||||
|
||||
using var stream = File.OpenRead(filePath);
|
||||
var items = await JsonSerializer.DeserializeAsync<List<T>>(stream, JsonOptions);
|
||||
|
||||
if (items == null)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 【ExternalFeedConfigManager】 設定ファイルの内容が空または不正です: {filePath}");
|
||||
return new List<T>();
|
||||
}
|
||||
|
||||
LogManager.AddLog($"[情報] 【ExternalFeedConfigManager】 外部設定ファイル読み込み完了: {fileName} ({items.Count}件)");
|
||||
return onlyEnabled ? items.Where(t => t.Enabled).ToList() : items;
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【ExternalFeedConfigManager】 外部設定ファイル読み込み失敗 ({filePath}): {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
|
||||
// 読み込みに失敗した場合、デフォルトが指定されていればフォールバック
|
||||
if (defaultTargets != null && defaultTargets.Any())
|
||||
{
|
||||
LogManager.AddLog($"[情報] 【ExternalFeedConfigManager】 デフォルト設定をフォールバックとして使用します: {fileName}");
|
||||
var defaults = defaultTargets.ToList();
|
||||
return onlyEnabled ? defaults.Where(t => t.Enabled).ToList() : defaults;
|
||||
}
|
||||
|
||||
return new List<T>();
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// ターゲット一覧を外部設定ファイル(JSON)に整形して保存します。
|
||||
/// </summary>
|
||||
/// <typeparam name="T">ターゲットモデルの型</typeparam>
|
||||
/// <param name="fileName">設定ファイル名(例: "youtube.json")</param>
|
||||
/// <param name="targets">保存するターゲット一覧</param>
|
||||
public static async Task SaveTargetsAsync<T>(string fileName, IEnumerable<T> targets)
|
||||
{
|
||||
string dir = GetConfigDirectory();
|
||||
if (!Directory.Exists(dir))
|
||||
{
|
||||
Directory.CreateDirectory(dir);
|
||||
}
|
||||
|
||||
string filePath = Path.Combine(dir, fileName);
|
||||
using var stream = File.Create(filePath);
|
||||
await JsonSerializer.SerializeAsync(stream, targets, JsonOptions);
|
||||
LogManager.AddLog($"[情報] 【ExternalFeedConfigManager】 設定ファイルを保存しました: {filePath}");
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,161 @@
|
||||
using System;
|
||||
using System.Diagnostics;
|
||||
using System.Net.Http;
|
||||
using System.Threading.Tasks;
|
||||
using rss_generator.Class.AuraHentai;
|
||||
using rss_generator.Class.Danbooru;
|
||||
using rss_generator.Class.HentaiPaw;
|
||||
using rss_generator.Class.HitomiLa;
|
||||
using rss_generator.Class.MissAV;
|
||||
using rss_generator.Class.MissAV123;
|
||||
using rss_generator.Class.Skebetter;
|
||||
using rss_generator.Class.SpankBang;
|
||||
using rss_generator.Class.YahooBaseball;
|
||||
|
||||
namespace rss_generator.Class.Common;
|
||||
|
||||
/// <summary>
|
||||
/// FlareSolverr を利用するすべての RSS 生成処理を単一のセッションで順次(直列)実行し、
|
||||
/// 完了後に確実にセッションを破棄してメモリ消費を極小化するマネージャークラス
|
||||
/// </summary>
|
||||
internal static class FlareSolverrFeedManager
|
||||
{
|
||||
/// <summary>
|
||||
/// FlareSolverr セッションを 1 つ作成し、そのセッションを共有して各フィードを順次生成します。
|
||||
/// 完了後(または異常終了時)にセッションを確実に破棄して Chromium プロセスを終了させます。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
public static async Task CreateAllRSSAsync(HttpClient client)
|
||||
{
|
||||
LogManager.AddLog("[情報] 【FlareSolverrFeedManager】 FlareSolverr フィード生成(単一セッション順次実行)を開始します");
|
||||
var sw = Stopwatch.StartNew();
|
||||
string? sessionId = null;
|
||||
|
||||
try
|
||||
{
|
||||
// 0. 開始前に過去の残留セッションがあればすべて事前に破棄
|
||||
await CmnUtil.DestroyAllFlareSolverrSessions(client);
|
||||
|
||||
// 1. 全タスク共通の単一 FlareSolverr セッションを作成(Chromium 1インスタンスのみ起動)
|
||||
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
|
||||
CmnUtil.SharedFlareSolverrSessionId = sessionId;
|
||||
LogManager.AddLog($"[情報] 【FlareSolverrFeedManager】 共通 FlareSolverr セッションを作成しました (Session: {sessionId ?? "none"})");
|
||||
|
||||
// 2. メモリ節約のため、1つのセッションを使い回して直列(同期)で順番に実行
|
||||
// 個別のエラーで全体が止まらないよう各タスクを保護
|
||||
|
||||
// npb_6
|
||||
try
|
||||
{
|
||||
await npb_6.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 npb_6 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// aurahentai
|
||||
try
|
||||
{
|
||||
await aurahentai.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 aurahentai 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// Danbooru rank
|
||||
try
|
||||
{
|
||||
await rank.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 Danbooru.rank 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// missav
|
||||
try
|
||||
{
|
||||
await missav.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 missav 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// missav123
|
||||
try
|
||||
{
|
||||
await missav123.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 missav123 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// hitomi.la
|
||||
try
|
||||
{
|
||||
await index_japanese.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 hitomi.la 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// spankbang
|
||||
try
|
||||
{
|
||||
await spankbang.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 spankbang 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// hentaipaw (エロモフ)
|
||||
try
|
||||
{
|
||||
await hentaipaw.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 hentaipaw 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// skebetter
|
||||
try
|
||||
{
|
||||
await skebetter.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 skebetter 実行失敗: {ex.Message}");
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 共通セッション処理中に例外発生: {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
finally
|
||||
{
|
||||
// 3. すべて取得完了後にセッション(Chromiumインスタンス)を確実に破棄してメモリ・CPUを完全解放
|
||||
CmnUtil.SharedFlareSolverrSessionId = null;
|
||||
// 個別の sessionId 破棄に加え、万が一の残留セッションも一括破棄
|
||||
try
|
||||
{
|
||||
await CmnUtil.DestroyAllFlareSolverrSessions(client);
|
||||
LogManager.AddLog($"[情報] 【FlareSolverrFeedManager】 FlareSolverr セッションクリーンアップ完了");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 【FlareSolverrFeedManager】 セッションクリーンアップ中にエラー: {ex.Message}");
|
||||
}
|
||||
|
||||
sw.Stop();
|
||||
LogManager.AddLog($"[情報] 【FlareSolverrFeedManager】 FlareSolverr フィード生成完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -1,9 +1,9 @@
|
||||
using System;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Text;
|
||||
using System.Threading.Channels;
|
||||
|
||||
namespace rss_generator.Class;
|
||||
namespace rss_generator.Class.Common;
|
||||
|
||||
internal static class LogManager // 実際のクラス名に合わせてください
|
||||
{
|
||||
@@ -37,10 +37,12 @@ internal static class LogManager // 実際のクラス名に合わせてくだ
|
||||
/// </summary>
|
||||
public static void AddLog(string? message)
|
||||
{
|
||||
string text = message?.TrimEnd('\r', '\n') ?? string.Empty;
|
||||
Console.WriteLine($"[{DateTime.Now:HH:mm:ss}] {text}");
|
||||
|
||||
var log = new LogMessage
|
||||
{
|
||||
Message = message!.TrimEnd('\r', '\n'),
|
||||
Message = text,
|
||||
Timestamp = DateTime.Now // ログが発生した瞬間の時間を保持
|
||||
};
|
||||
|
||||
@@ -1,4 +1,4 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using AngleSharp.Html.Parser;
|
||||
using System;
|
||||
@@ -8,8 +8,9 @@ using System.Net;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Threading.Tasks;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.RSS.Danbooru;
|
||||
namespace rss_generator.Class.Danbooru;
|
||||
|
||||
internal class rank
|
||||
{
|
||||
@@ -23,48 +24,40 @@ internal class rank
|
||||
|
||||
try
|
||||
{
|
||||
// 外部からセッションが渡されなかった場合は自前で作成
|
||||
bool ownSession = sessionId == null;
|
||||
if (ownSession)
|
||||
{
|
||||
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
|
||||
}
|
||||
try
|
||||
{
|
||||
// FlareSolverr 経由で Atom フィードアイテムを取得
|
||||
var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId);
|
||||
var simplifiedItems = new List<SyndicationItem>();
|
||||
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
|
||||
// FlareSolverr 経由で Atom フィードアイテムを取得
|
||||
var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId);
|
||||
var simplifiedItems = new List<SyndicationItem>();
|
||||
|
||||
foreach (var item in items)
|
||||
var cutoff = DateTimeOffset.Now.AddHours(-24);
|
||||
foreach (var item in items)
|
||||
{
|
||||
// 24時間以上前の記事は詳細スクレイピングをスキップ
|
||||
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
|
||||
{
|
||||
var simplified = await Simplified(client, item, sessionId);
|
||||
if (simplified != null)
|
||||
{
|
||||
simplifiedItems.Add(simplified);
|
||||
}
|
||||
continue;
|
||||
}
|
||||
|
||||
// 新しい統合フィードを作成
|
||||
var mergedFeed = new SyndicationFeed(
|
||||
"Danbooru",
|
||||
"Danbooru Rank Posts",
|
||||
new Uri("https://danbooru.donmai.us/posts?tags=order%3Arank"),
|
||||
simplifiedItems
|
||||
);
|
||||
|
||||
CmnUtil.ExportXMLFile("rank.xml", mergedFeed, "danbooru");
|
||||
}
|
||||
finally
|
||||
{
|
||||
if (ownSession && sessionId != null)
|
||||
var simplified = await Simplified(client, item, sessionId);
|
||||
if (simplified != null)
|
||||
{
|
||||
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
|
||||
simplifiedItems.Add(simplified);
|
||||
}
|
||||
}
|
||||
|
||||
// 新しい統合フィードを作成
|
||||
var mergedFeed = new SyndicationFeed(
|
||||
"Danbooru",
|
||||
"Danbooru Rank Posts",
|
||||
new Uri("https://danbooru.donmai.us/posts?tags=order%3Arank"),
|
||||
simplifiedItems
|
||||
);
|
||||
|
||||
await CmnUtil.ExportXMLFileAsync("rank.xml", mergedFeed, client, "danbooru");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] danbooru:{ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【Danbooru】 {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
@@ -272,7 +265,7 @@ internal class rank
|
||||
// 画像の配置
|
||||
if (!string.IsNullOrEmpty(imageUrl))
|
||||
{
|
||||
body.Append($@"<div><a href=""{link}""><img src=""{imageUrl}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
|
||||
body.Append($@"<div><a href=""{link}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{imageUrl}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
|
||||
}
|
||||
|
||||
// 画像のすぐ下に作者コメントを追加
|
||||
@@ -300,7 +293,7 @@ internal class rank
|
||||
|
||||
if (!string.IsNullOrEmpty(sourceUrl))
|
||||
{
|
||||
body.Append($@"<div><strong>元ソース:</strong> <a href=""{sourceUrl}"" target=""_blank"">{WebUtility.HtmlEncode(sourceUrl)}</a></div>");
|
||||
body.Append($@"<div><strong>元ソース:</strong> <a href=""{sourceUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{WebUtility.HtmlEncode(sourceUrl)}</a></div>");
|
||||
}
|
||||
|
||||
if (generalTags.Count > 0)
|
||||
+5
-4
@@ -1,12 +1,13 @@
|
||||
using System;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net.Http;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Threading.Tasks;
|
||||
using static rss_generator.Class.LogManager;
|
||||
using rss_generator.Class.Common;
|
||||
using static rss_generator.Class.Common.LogManager;
|
||||
|
||||
namespace rss_generator.Class.RSS.e_hentai;
|
||||
namespace rss_generator.Class.EHentai;
|
||||
|
||||
internal class e_hentai_ai
|
||||
{
|
||||
@@ -34,7 +35,7 @@ internal class e_hentai_ai
|
||||
);
|
||||
|
||||
// XML ファイルとして出力
|
||||
CmnUtil.ExportXMLFile("e_hentai_ai.xml", feed);
|
||||
await CmnUtil.ExportXMLFileAsync("e_hentai_ai.xml", feed, client, addDir: "e-hentai.org");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
+52
-133
@@ -1,4 +1,4 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using AngleSharp.Html.Parser;
|
||||
using System;
|
||||
@@ -10,8 +10,9 @@ using System.Net.Http;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Threading.Tasks;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.RSS.e_hentai;
|
||||
namespace rss_generator.Class.EHentai;
|
||||
|
||||
internal static class e_hentai_common
|
||||
{
|
||||
@@ -64,7 +65,7 @@ internal static class e_hentai_common
|
||||
using var response = await client.SendAsync(request);
|
||||
if (!response.IsSuccessStatusCode)
|
||||
{
|
||||
LogManager.AddLog($"[警告] E-Hentai 一覧取得失敗 (URL={currentUrl}, Status={response.StatusCode})");
|
||||
LogManager.AddLog($"[警告] 【EHentai】 E-Hentai 一覧取得失敗 (URL={currentUrl}, Status={response.StatusCode})");
|
||||
break;
|
||||
}
|
||||
|
||||
@@ -205,127 +206,51 @@ internal static class e_hentai_common
|
||||
public const int MaxImagesPerGallery = 1;
|
||||
|
||||
/// <summary>
|
||||
/// 対象ギャラリーの詳細ページ・ビューアページを巡回し、日本語タイトルおよび画像の直接URLを取得します。
|
||||
/// 対象ギャラリーの詳細ページ(p=0)を取得し、日本語タイトルを取得します。
|
||||
/// (画像は一覧ページの静的サムネイルを使用するため、H@H ビューアページへのアクセスは行いません)
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
/// <param name="gallery">ギャラリー情報オブジェクト</param>
|
||||
/// <param name="maxImages">取得する最大画像数(デフォルト: MaxImagesPerGallery)</param>
|
||||
/// <returns>画像URLリスト(順序保持)</returns>
|
||||
/// <param name="maxImages">取得する最大画像数(互換性のための引数)</param>
|
||||
/// <returns>空の画像リスト(ThumbnailUrl を使用するため)</returns>
|
||||
public static async Task<List<string>> FetchAllGalleryImagesAsync(HttpClient client, GalleryItem gallery, int maxImages = MaxImagesPerGallery)
|
||||
{
|
||||
var parser = new HtmlParser();
|
||||
var viewerLinks = new List<string>();
|
||||
|
||||
try
|
||||
{
|
||||
// 1. ギャラリー詳細ページから必要な枚数分のビューアリンク(/s/...)を収集
|
||||
int p = 0;
|
||||
while (viewerLinks.Count < maxImages)
|
||||
// ギャラリー詳細ページ(p == 0)で日本語タイトル (#gj) が存在すればタイトルを更新
|
||||
var pageUrl = $"{gallery.Url}?p=0";
|
||||
using var req = new HttpRequestMessage(HttpMethod.Get, pageUrl);
|
||||
req.Headers.Add("Cookie", "nw=1");
|
||||
|
||||
using var res = await client.SendAsync(req);
|
||||
if (res.IsSuccessStatusCode)
|
||||
{
|
||||
var pageUrl = $"{gallery.Url}?p={p}";
|
||||
using var req = new HttpRequestMessage(HttpMethod.Get, pageUrl);
|
||||
req.Headers.Add("Cookie", "nw=1");
|
||||
|
||||
using var res = await client.SendAsync(req);
|
||||
if (!res.IsSuccessStatusCode) break;
|
||||
|
||||
var html = await res.Content.ReadAsStringAsync();
|
||||
var doc = await parser.ParseDocumentAsync(html);
|
||||
|
||||
// 最初の詳細ページ(p == 0)で日本語タイトル (#gj) が存在すればタイトルを更新
|
||||
if (p == 0)
|
||||
var japaneseTitle = doc.QuerySelector("#gd2 #gj, #gj")?.TextContent.Trim();
|
||||
if (!string.IsNullOrEmpty(japaneseTitle))
|
||||
{
|
||||
var japaneseTitle = doc.QuerySelector("#gd2 #gj, #gj")?.TextContent.Trim();
|
||||
if (!string.IsNullOrEmpty(japaneseTitle))
|
||||
gallery.Title = japaneseTitle;
|
||||
}
|
||||
else
|
||||
{
|
||||
var englishTitle = doc.QuerySelector("#gd2 #gn, #gn")?.TextContent.Trim();
|
||||
if (!string.IsNullOrEmpty(englishTitle) && (string.IsNullOrEmpty(gallery.Title) || gallery.Title == "No Title"))
|
||||
{
|
||||
gallery.Title = japaneseTitle;
|
||||
}
|
||||
else
|
||||
{
|
||||
var englishTitle = doc.QuerySelector("#gd2 #gn, #gn")?.TextContent.Trim();
|
||||
if (!string.IsNullOrEmpty(englishTitle) && (string.IsNullOrEmpty(gallery.Title) || gallery.Title == "No Title"))
|
||||
{
|
||||
gallery.Title = englishTitle;
|
||||
}
|
||||
gallery.Title = englishTitle;
|
||||
}
|
||||
}
|
||||
|
||||
var links = doc.QuerySelectorAll("#gdt a")
|
||||
.Select(a => a.GetAttribute("href"))
|
||||
.Where(href => !string.IsNullOrEmpty(href) && href.Contains("/s/"))
|
||||
.ToList();
|
||||
|
||||
if (links.Count == 0) break;
|
||||
if (viewerLinks.Contains(links[0]!)) break;
|
||||
|
||||
viewerLinks.AddRange(links!);
|
||||
|
||||
// 最大枚数に達した場合はこれ以上のページ取得をスキップ
|
||||
if (viewerLinks.Count >= maxImages)
|
||||
{
|
||||
break;
|
||||
}
|
||||
|
||||
// ページネーション末尾の確認
|
||||
var ptb = doc.QuerySelector("table.ptb");
|
||||
var nextPtb = ptb?.QuerySelector("td:last-child a");
|
||||
if (nextPtb == null)
|
||||
{
|
||||
break;
|
||||
}
|
||||
p++;
|
||||
}
|
||||
|
||||
if (viewerLinks.Count == 0)
|
||||
{
|
||||
return new List<string>();
|
||||
}
|
||||
|
||||
// 必要枚数(maxImages)までに絞り込む
|
||||
var targetViewerLinks = viewerLinks.Take(maxImages).ToList();
|
||||
|
||||
// 2. 各ビューアページから画像URL(#img src)を並行取得
|
||||
var imageUrls = new string[targetViewerLinks.Count];
|
||||
var semaphore = new System.Threading.SemaphoreSlim(8); // 最大同時8接続
|
||||
|
||||
var tasks = targetViewerLinks.Select(async (vLink, index) =>
|
||||
{
|
||||
await semaphore.WaitAsync();
|
||||
try
|
||||
{
|
||||
using var vReq = new HttpRequestMessage(HttpMethod.Get, vLink);
|
||||
vReq.Headers.Add("Cookie", "nw=1");
|
||||
using var vRes = await client.SendAsync(vReq);
|
||||
if (vRes.IsSuccessStatusCode)
|
||||
{
|
||||
var vHtml = await vRes.Content.ReadAsStringAsync();
|
||||
var vDoc = await parser.ParseDocumentAsync(vHtml);
|
||||
var imgSrc = vDoc.QuerySelector("#img")?.GetAttribute("src");
|
||||
if (!string.IsNullOrEmpty(imgSrc))
|
||||
{
|
||||
imageUrls[index] = imgSrc;
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] ビューア画像取得エラー ({vLink}): {ex.Message}");
|
||||
}
|
||||
finally
|
||||
{
|
||||
semaphore.Release();
|
||||
}
|
||||
});
|
||||
|
||||
await Task.WhenAll(tasks);
|
||||
|
||||
return imageUrls.Where(url => !string.IsNullOrEmpty(url)).ToList();
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] ギャラリー画像取得エラー ({gallery.Url}): {ex.Message}");
|
||||
return new List<string>();
|
||||
LogManager.AddLog($"[警告] 【EHentai】 ギャラリー詳細取得エラー ({gallery.Url}): {ex.Message}");
|
||||
}
|
||||
|
||||
return new List<string>();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
@@ -335,14 +260,14 @@ internal static class e_hentai_common
|
||||
{
|
||||
var galleryList = galleries.ToList();
|
||||
|
||||
// 各ギャラリーの画像取得を並行して実行(最大8ギャラリー同時)
|
||||
// 各ギャラリーの詳細ページ取得を並行して実行(最大8ギャラリー同時)
|
||||
var gallerySemaphore = new System.Threading.SemaphoreSlim(8);
|
||||
var fetchImageTasks = galleryList.Select(async gallery =>
|
||||
{
|
||||
await gallerySemaphore.WaitAsync();
|
||||
try
|
||||
{
|
||||
gallery.ImageUrls = await FetchAllGalleryImagesAsync(client, gallery, MaxImagesPerGallery);
|
||||
await FetchAllGalleryImagesAsync(client, gallery);
|
||||
}
|
||||
finally
|
||||
{
|
||||
@@ -356,64 +281,58 @@ internal static class e_hentai_common
|
||||
|
||||
foreach (var gallery in galleryList)
|
||||
{
|
||||
var item = new SyndicationItem
|
||||
var itemUri = new Uri(gallery.Url);
|
||||
var item = new SyndicationItem(
|
||||
gallery.Title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
CmnUtil.CreateGuid(gallery.Url),
|
||||
gallery.PublishedDate
|
||||
)
|
||||
{
|
||||
Title = new TextSyndicationContent(gallery.Title),
|
||||
PublishDate = gallery.PublishedDate,
|
||||
LastUpdatedTime = gallery.PublishedDate,
|
||||
Id = CmnUtil.CreateGuid(gallery.Url)
|
||||
LastUpdatedTime = gallery.PublishedDate
|
||||
};
|
||||
|
||||
// ギャラリーへのリンク
|
||||
if (Uri.TryCreate(gallery.Url, UriKind.Absolute, out var uri))
|
||||
{
|
||||
item.Links.Add(new SyndicationLink(uri));
|
||||
}
|
||||
|
||||
// カテゴリ(作品ジャンル)の追加
|
||||
if (!string.IsNullOrWhiteSpace(gallery.Category))
|
||||
// カテゴリ
|
||||
if (!string.IsNullOrEmpty(gallery.Category))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(gallery.Category));
|
||||
}
|
||||
|
||||
// 各タグをカテゴリに追加
|
||||
// タグ
|
||||
foreach (var tag in gallery.Tags)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(tag));
|
||||
}
|
||||
|
||||
// アップローダーを著者に追加
|
||||
if (!string.IsNullOrWhiteSpace(gallery.Uploader))
|
||||
// アップローダー
|
||||
if (!string.IsNullOrEmpty(gallery.Uploader))
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = gallery.Uploader });
|
||||
}
|
||||
|
||||
// 本文 HTML の整形
|
||||
var body = new StringBuilder();
|
||||
|
||||
// ギャラリー表示リンク
|
||||
var match = System.Text.RegularExpressions.Regex.Match(gallery.Url, @"/g/(\d+)/([a-zA-Z0-9]+)", System.Text.RegularExpressions.RegexOptions.IgnoreCase);
|
||||
if (match.Success)
|
||||
if (!string.IsNullOrEmpty(gallery.Url))
|
||||
{
|
||||
string galleryId = match.Groups[1].Value;
|
||||
string token = match.Groups[2].Value;
|
||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/ehentai/{galleryId}/{token}";
|
||||
// WebImageViewer統一リンク (https://udukipc-web.armonica-vps.work/?url=[ページURL])
|
||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(gallery.Url)}";
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
|
||||
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
|
||||
body.Append($"</div>");
|
||||
}
|
||||
|
||||
// ギャラリーの1枚目画像
|
||||
string? firstImg = gallery.ImageUrls.FirstOrDefault();
|
||||
if (string.IsNullOrEmpty(firstImg))
|
||||
{
|
||||
firstImg = gallery.ThumbnailUrl;
|
||||
}
|
||||
// 静的一覧サムネイル URL を最優先で使用(H@H 一時 URL の 403 回避)
|
||||
string? firstImg = !string.IsNullOrEmpty(gallery.ThumbnailUrl)
|
||||
? gallery.ThumbnailUrl
|
||||
: gallery.ImageUrls.FirstOrDefault();
|
||||
|
||||
if (!string.IsNullOrEmpty(firstImg))
|
||||
{
|
||||
body.Append($"<div>");
|
||||
body.Append($"<img src=\"{firstImg}\" />");
|
||||
body.Append($"<img src=\"{firstImg}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
|
||||
body.Append($"</div>");
|
||||
}
|
||||
|
||||
+5
-4
@@ -1,12 +1,13 @@
|
||||
using System;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net.Http;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Threading.Tasks;
|
||||
using static rss_generator.Class.LogManager;
|
||||
using rss_generator.Class.Common;
|
||||
using static rss_generator.Class.Common.LogManager;
|
||||
|
||||
namespace rss_generator.Class.RSS.e_hentai;
|
||||
namespace rss_generator.Class.EHentai;
|
||||
|
||||
internal class e_hentai_non_ai
|
||||
{
|
||||
@@ -34,7 +35,7 @@ internal class e_hentai_non_ai
|
||||
);
|
||||
|
||||
// XML ファイルとして出力
|
||||
CmnUtil.ExportXMLFile("e_hentai_non_ai.xml", feed);
|
||||
await CmnUtil.ExportXMLFileAsync("e_hentai_non_ai.xml", feed, client, addDir: "e-hentai.org");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
@@ -0,0 +1,112 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Common;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Blog2nt;
|
||||
|
||||
/// <summary>
|
||||
/// *.2nt.com (2NTブログ系まとめサイト) のページ解析リゾルバー
|
||||
/// 本文から動画サイトや別の中間まとめリンク、記事公開日を抽出します。
|
||||
/// </summary>
|
||||
internal class Blog2ntSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "blog2nt";
|
||||
public int Priority => 65;
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
return !string.IsNullOrWhiteSpace(url) && url.Contains(".blog.2nt.com", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
public async Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult();
|
||||
|
||||
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
|
||||
if (doc == null) return result;
|
||||
|
||||
// 投稿日
|
||||
var dateEl = doc.QuerySelector(".entry-date, .date, time, .entry_date");
|
||||
var dateText = dateEl?.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
|
||||
{
|
||||
result.ArticlePublishDate = parsedDate;
|
||||
}
|
||||
|
||||
var candidateLinks = doc.QuerySelectorAll(".entry_body a, .entry-body a, .entry a, a[href]");
|
||||
var seen = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
foreach (var a in candidateLinks)
|
||||
{
|
||||
var href = a.GetAttribute("href")?.Trim();
|
||||
if (string.IsNullOrWhiteSpace(href) || href.Equals(url, StringComparison.OrdinalIgnoreCase)) continue;
|
||||
|
||||
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("blog-category", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("movie.eroterest.net/popular", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
if (!seen.Add(href)) continue;
|
||||
|
||||
// 動画リンクを優先
|
||||
bool isVideo = href.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("laxd.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("fc2.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase);
|
||||
|
||||
if (isVideo)
|
||||
{
|
||||
result.NextCandidateUrls.Insert(0, href);
|
||||
}
|
||||
else if (result.NextCandidateUrls.Count < 5)
|
||||
{
|
||||
result.NextCandidateUrls.Add(href);
|
||||
}
|
||||
}
|
||||
|
||||
// 動画ホスト直リンクがある場合は即座に特定
|
||||
var firstVideo = result.NextCandidateUrls.Find(u =>
|
||||
u.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
u.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
|
||||
u.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
u.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
|
||||
u.Contains("laxd.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
u.Contains("fc2.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
u.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase));
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(firstVideo))
|
||||
{
|
||||
var targetResolver = SiteResolverRegistry.GetResolver(firstVideo);
|
||||
var directResolve = await targetResolver.ResolveAsync(client, firstVideo, null, context, ct);
|
||||
if (directResolve.HasFinalVideo)
|
||||
{
|
||||
result.VideoPageUrl = directResolve.VideoPageUrl ?? firstVideo;
|
||||
result.VideoSiteName = directResolve.VideoSiteName;
|
||||
result.VideoSiteId = directResolve.VideoSiteId;
|
||||
result.StreamUrl = directResolve.StreamUrl;
|
||||
result.VideoUploadDate = directResolve.VideoUploadDate;
|
||||
}
|
||||
else
|
||||
{
|
||||
result.VideoPageUrl = firstVideo;
|
||||
}
|
||||
}
|
||||
|
||||
return result;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,135 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Common;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Blogterest;
|
||||
|
||||
/// <summary>
|
||||
/// *.blogterest.net (エロタレスト系まとめブログ群) のページ解析リゾルバー
|
||||
/// 本文やエントリーパーツから実動画リンク(Doga, LAXD, FC2, TXXX, Upornia, etc.)および次の中間まとめリンクを抽出します。
|
||||
/// </summary>
|
||||
internal class BlogterestSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "blogterest";
|
||||
public int Priority => 70;
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
return !string.IsNullOrWhiteSpace(url) && url.Contains(".blogterest.net", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
public async Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult();
|
||||
|
||||
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
|
||||
if (doc == null) return result;
|
||||
|
||||
// 1. 記事投稿日の抽出
|
||||
var dateEl = doc.QuerySelector(".entryDate, .post-date, time, .date");
|
||||
var dateText = dateEl?.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
|
||||
{
|
||||
result.ArticlePublishDate = parsedDate;
|
||||
}
|
||||
|
||||
// 2. ブログ内の主要エリアからリンクを走査
|
||||
// 「動画の再生はこちらから」リンクおよび .movie-frame a を最優先で確認
|
||||
var playTextEl = doc.QuerySelectorAll("a[href]")
|
||||
.FirstOrDefault(a => (a.TextContent?.Contains("動画の再生はこちらから") == true) ||
|
||||
(a.TextContent?.Contains("動画の再生") == true));
|
||||
var movieFrameEl = doc.QuerySelector(".movie-frame a[href]");
|
||||
var topVideoLink = playTextEl?.GetAttribute("href")?.Trim() ?? movieFrameEl?.GetAttribute("href")?.Trim();
|
||||
|
||||
var priorityLinks = doc.QuerySelectorAll(".entryImage a, .entryParts a, .pagePiece a, .entryBody a, .entry a");
|
||||
var seenLinks = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(topVideoLink))
|
||||
{
|
||||
seenLinks.Add(topVideoLink);
|
||||
result.NextCandidateUrls.Add(topVideoLink);
|
||||
}
|
||||
|
||||
foreach (var el in priorityLinks)
|
||||
{
|
||||
var rawHref = el.GetAttribute("href")?.Trim();
|
||||
if (string.IsNullOrWhiteSpace(rawHref)) continue;
|
||||
|
||||
// 静的アセットやエロタレストTOP、同一ページ自身を除外
|
||||
if (rawHref.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
|
||||
rawHref.EndsWith(".jpeg", StringComparison.OrdinalIgnoreCase) ||
|
||||
rawHref.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
|
||||
rawHref.EndsWith(".gif", StringComparison.OrdinalIgnoreCase) ||
|
||||
rawHref.EndsWith(".css", StringComparison.OrdinalIgnoreCase) ||
|
||||
rawHref.EndsWith(".js", StringComparison.OrdinalIgnoreCase) ||
|
||||
rawHref.Contains("eroterest.net/popular", StringComparison.OrdinalIgnoreCase) ||
|
||||
rawHref.Contains("eroterest.net/index/", StringComparison.OrdinalIgnoreCase) ||
|
||||
rawHref.Equals(url, StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
if (!seenLinks.Add(rawHref)) continue;
|
||||
|
||||
// 動画提供元サイトのリンクが見つかった場合は最優先で先頭に追加
|
||||
if (IsDirectVideoHostingUrl(rawHref))
|
||||
{
|
||||
result.NextCandidateUrls.Insert(0, rawHref);
|
||||
}
|
||||
else if (result.NextCandidateUrls.Count < 5)
|
||||
{
|
||||
result.NextCandidateUrls.Add(rawHref);
|
||||
}
|
||||
}
|
||||
|
||||
// 動画ホスト直リンクがある場合は即座に特定
|
||||
var firstVideoLink = result.NextCandidateUrls.FirstOrDefault(IsDirectVideoHostingUrl);
|
||||
if (!string.IsNullOrWhiteSpace(firstVideoLink))
|
||||
{
|
||||
var targetResolver = SiteResolverRegistry.GetResolver(firstVideoLink);
|
||||
var directResolve = await targetResolver.ResolveAsync(client, firstVideoLink, null, context, ct);
|
||||
if (directResolve.HasFinalVideo)
|
||||
{
|
||||
result.VideoPageUrl = directResolve.VideoPageUrl ?? firstVideoLink;
|
||||
result.VideoSiteName = directResolve.VideoSiteName;
|
||||
result.VideoSiteId = directResolve.VideoSiteId;
|
||||
result.StreamUrl = directResolve.StreamUrl;
|
||||
result.VideoUploadDate = directResolve.VideoUploadDate;
|
||||
}
|
||||
else
|
||||
{
|
||||
result.VideoPageUrl = firstVideoLink;
|
||||
}
|
||||
}
|
||||
|
||||
return result;
|
||||
}
|
||||
|
||||
private static bool IsDirectVideoHostingUrl(string url)
|
||||
{
|
||||
return url.Contains("inporn.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("bdsmx.tube", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("video.laxd.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("adult.contents.fc2.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("hclips.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("hdzog.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("vjav.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("spankbang.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("xvideos.com", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,156 @@
|
||||
using rss_generator.Class.Common;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Core;
|
||||
|
||||
/// <summary>
|
||||
/// 記事からリンクされた先のサイトを多階層(最大深度まで)自動追跡し、
|
||||
/// 実際の動画ストリームまたは動画ページを特定する探索エンジン
|
||||
/// </summary>
|
||||
internal static class EroterestCrawler
|
||||
{
|
||||
/// <summary>
|
||||
/// 開始URL(まとめブログ等)から多階層探索を開始し、動画またはストリームを探索します。
|
||||
/// </summary>
|
||||
public static async Task<SiteResolveResult> CrawlAsync(
|
||||
HttpClient client,
|
||||
string startUrl,
|
||||
DateTimeOffset? referenceTime = null,
|
||||
CancellationToken ct = default)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(startUrl))
|
||||
{
|
||||
return SiteResolveResult.Empty();
|
||||
}
|
||||
|
||||
var context = new SiteResolveContext
|
||||
{
|
||||
CurrentDepth = 1,
|
||||
ReferenceTime = referenceTime ?? DateTimeOffset.Now
|
||||
};
|
||||
|
||||
// 探索キュー: (URL, Depth)
|
||||
var queue = new Queue<(string Url, int Depth)>();
|
||||
queue.Enqueue((startUrl, 1));
|
||||
context.EnqueuedUrls.Add(startUrl);
|
||||
|
||||
SiteResolveResult? bestResult = null;
|
||||
|
||||
while (queue.Count > 0 && context.TotalVisitedPages < MovieEroterestConfig.MaxCrawledPagesPerArticle)
|
||||
{
|
||||
if (ct.IsCancellationRequested) break;
|
||||
|
||||
var (currentUrl, depth) = queue.Dequeue();
|
||||
context.CurrentDepth = depth;
|
||||
context.VisitedPageCount++;
|
||||
context.VisitedUrls.Add(currentUrl);
|
||||
context.TraversedRoute.Add(currentUrl);
|
||||
|
||||
using var timeoutCts = CancellationTokenSource.CreateLinkedTokenSource(ct);
|
||||
timeoutCts.CancelAfter(TimeSpan.FromSeconds(30)); // FlareSolverr 実行時も余裕を持たせるため30秒に設定
|
||||
|
||||
try
|
||||
{
|
||||
var resolver = SiteResolverRegistry.GetResolver(currentUrl);
|
||||
var result = await resolver.ResolveAsync(client, currentUrl, null, context, timeoutCts.Token);
|
||||
|
||||
// 記事公開日の補完
|
||||
if (bestResult == null || (!bestResult.ArticlePublishDate.HasValue && result.ArticlePublishDate.HasValue))
|
||||
{
|
||||
if (bestResult == null) bestResult = result;
|
||||
else bestResult.ArticlePublishDate = result.ArticlePublishDate;
|
||||
}
|
||||
|
||||
// 1. 直接再生可能なストリーム(m3u8, mp4等)が見つかった場合は即終了
|
||||
if (!string.IsNullOrWhiteSpace(result.StreamUrl))
|
||||
{
|
||||
result.TraversedRoute = context.TraversedRoute;
|
||||
return result;
|
||||
}
|
||||
|
||||
// 2. 確定した動画ページが見つかった場合
|
||||
if (result.HasFinalVideo)
|
||||
{
|
||||
bestResult = result;
|
||||
|
||||
// もしその動画ページ自体がストリームを解析できるサイト(例: do-ga.eroterest.net 等)であれば、さらに1回だけ追跡
|
||||
if (depth < MovieEroterestConfig.MaxCrawlDepth && !context.VisitedUrls.Contains(result.VideoPageUrl!))
|
||||
{
|
||||
var targetResolver = SiteResolverRegistry.GetResolver(result.VideoPageUrl!);
|
||||
if (targetResolver.SiteName == "doga")
|
||||
{
|
||||
context.VisitedUrls.Add(result.VideoPageUrl!);
|
||||
var deepVideoResult = await targetResolver.ResolveAsync(client, result.VideoPageUrl!, null, context, timeoutCts.Token);
|
||||
if (!string.IsNullOrWhiteSpace(deepVideoResult.StreamUrl))
|
||||
{
|
||||
deepVideoResult.TraversedRoute = context.TraversedRoute;
|
||||
return deepVideoResult;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// 最終動画ページとして十分な場合は終了
|
||||
bestResult.TraversedRoute = context.TraversedRoute;
|
||||
return bestResult;
|
||||
}
|
||||
|
||||
// 3. 動画が見つからず、次へ進む候補リンクがある場合
|
||||
if (depth < MovieEroterestConfig.MaxCrawlDepth)
|
||||
{
|
||||
int enqueuedCount = 0;
|
||||
foreach (var nextUrl in result.NextCandidateUrls)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(nextUrl)) continue;
|
||||
if (IsJunkArchiveUrl(nextUrl)) continue;
|
||||
|
||||
// 同一URLの重複探索防止
|
||||
if (context.EnqueuedUrls.Add(nextUrl))
|
||||
{
|
||||
queue.Enqueue((nextUrl, depth + 1));
|
||||
enqueuedCount++;
|
||||
if (enqueuedCount >= 3) break; // 1ページあたり最大3候補に制限
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (OperationCanceledException)
|
||||
{
|
||||
LogManager.AddLog($"[情報] [EroterestCrawler] URLタイムアウトスキップ ({currentUrl})");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [EroterestCrawler] URL探索失敗 ({currentUrl}, 階層 {depth}): {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
return bestResult ?? SiteResolveResult.Empty();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// クロール不要なアーカイブ・カテゴリ・トップページ等のジャンクURLを判定
|
||||
/// </summary>
|
||||
private static bool IsJunkArchiveUrl(string url)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(url)) return true;
|
||||
var u = url.ToLowerInvariant();
|
||||
return u.Contains("blog-date-") ||
|
||||
u.Contains("blog-category-") ||
|
||||
u.Contains("/category/") ||
|
||||
u.Contains("/tag/") ||
|
||||
u.Contains("/author/") ||
|
||||
u.Contains("/archive/") ||
|
||||
u.Contains("/date/") ||
|
||||
u.Contains("/archives/category/") ||
|
||||
u.Contains("/archives/tag/") ||
|
||||
u.EndsWith(".com/") ||
|
||||
u.EndsWith(".net/") ||
|
||||
u.EndsWith(".jp/") ||
|
||||
u.EndsWith(".site/") ||
|
||||
u.EndsWith(".xyz/") ||
|
||||
u.Contains("movie.eroterest.net");
|
||||
}
|
||||
}
|
||||
|
||||
@@ -0,0 +1,36 @@
|
||||
using AngleSharp.Dom;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Core;
|
||||
|
||||
/// <summary>
|
||||
/// 各サイト(動画配信元または中継ブログ)の解析・ストリーム抽出を行うリゾルバーのインターフェース
|
||||
/// </summary>
|
||||
internal interface IEroterestSiteResolver
|
||||
{
|
||||
/// <summary>
|
||||
/// サイトの識別名(例: "doga", "blogterest", "laxd", "fc2")
|
||||
/// </summary>
|
||||
string SiteName { get; }
|
||||
|
||||
/// <summary>
|
||||
/// リゾルバーのマッチング優先度(大きい値ほど優先的に評価)
|
||||
/// </summary>
|
||||
int Priority { get; }
|
||||
|
||||
/// <summary>
|
||||
/// 指定されたURL(または既存のIDocument)をこのリゾルバーで処理可能かどうかを判定します。
|
||||
/// </summary>
|
||||
bool CanHandle(string url, IDocument? doc = null);
|
||||
|
||||
/// <summary>
|
||||
/// 指定されたページを解析し、ストリームURL・元動画URL、または次に辿るべき候補リンクを抽出します。
|
||||
/// </summary>
|
||||
Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct);
|
||||
}
|
||||
@@ -0,0 +1,45 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Core;
|
||||
|
||||
/// <summary>
|
||||
/// 記事ごとの多階層動画探索コンテキスト
|
||||
/// </summary>
|
||||
internal class SiteResolveContext
|
||||
{
|
||||
/// <summary>
|
||||
/// 現在の階層深さ(1から開始)
|
||||
/// </summary>
|
||||
public int CurrentDepth { get; set; } = 1;
|
||||
|
||||
/// <summary>
|
||||
/// 探索基準日時
|
||||
/// </summary>
|
||||
public DateTimeOffset ReferenceTime { get; set; } = DateTimeOffset.Now;
|
||||
|
||||
/// <summary>
|
||||
/// キューに追加済みURLの集合(同一URLの二重キュー投入防止)
|
||||
/// </summary>
|
||||
public HashSet<string> EnqueuedUrls { get; set; } = new(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
/// <summary>
|
||||
/// 訪問済みURLの集合(同一URLの二重取得・無限ループ防止)
|
||||
/// </summary>
|
||||
public HashSet<string> VisitedUrls { get; set; } = new(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
/// <summary>
|
||||
/// 訪問したURLの経路履歴
|
||||
/// </summary>
|
||||
public List<string> TraversedRoute { get; set; } = new();
|
||||
|
||||
/// <summary>
|
||||
/// 実際にHTTPリクエストを行って訪問したページ数
|
||||
/// </summary>
|
||||
public int VisitedPageCount { get; set; } = 0;
|
||||
|
||||
/// <summary>
|
||||
/// 現在までに訪問した総ページ数
|
||||
/// </summary>
|
||||
public int TotalVisitedPages => VisitedPageCount;
|
||||
}
|
||||
@@ -0,0 +1,65 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Core;
|
||||
|
||||
/// <summary>
|
||||
/// サイト別リゾルバーによる解析結果
|
||||
/// </summary>
|
||||
internal class SiteResolveResult
|
||||
{
|
||||
/// <summary>
|
||||
/// 直接再生可能な動画ストリームURL(例: .m3u8, .mp4)
|
||||
/// </summary>
|
||||
public string? StreamUrl { get; set; }
|
||||
|
||||
/// <summary>
|
||||
/// 実際の動画提供元ページURL(例: https://video.laxd.com/content/...)
|
||||
/// </summary>
|
||||
public string? VideoPageUrl { get; set; }
|
||||
|
||||
/// <summary>
|
||||
/// 検出された動画サイト種別(例: "doga", "laxd", "fc2", "txxx", "upornia")
|
||||
/// </summary>
|
||||
public string? VideoSiteName { get; set; }
|
||||
|
||||
/// <summary>
|
||||
/// 動画の識別子・ID
|
||||
/// </summary>
|
||||
public string? VideoSiteId { get; set; }
|
||||
|
||||
/// <summary>
|
||||
/// 元の動画公開日(uploadDate 等)
|
||||
/// </summary>
|
||||
public DateTimeOffset? VideoUploadDate { get; set; }
|
||||
|
||||
/// <summary>
|
||||
/// 記事の公開日(まとめ記事等の投稿日時)
|
||||
/// </summary>
|
||||
public DateTimeOffset? ArticlePublishDate { get; set; }
|
||||
|
||||
/// <summary>
|
||||
/// 相対時間文字列(例: "4分前")
|
||||
/// </summary>
|
||||
public string? RelativeTimeText { get; set; }
|
||||
|
||||
/// <summary>
|
||||
/// 探索経路
|
||||
/// </summary>
|
||||
public List<string> TraversedRoute { get; set; } = new();
|
||||
|
||||
/// <summary>
|
||||
/// 中間記事やアンテナページの場合に、さらに奥へクロールする候補リンク一覧
|
||||
/// </summary>
|
||||
public List<string> NextCandidateUrls { get; set; } = new();
|
||||
|
||||
/// <summary>
|
||||
/// 動画またはストリームが最終的に見つかったかどうか
|
||||
/// </summary>
|
||||
public bool HasFinalVideo => !string.IsNullOrWhiteSpace(StreamUrl) || !string.IsNullOrWhiteSpace(VideoPageUrl);
|
||||
|
||||
/// <summary>
|
||||
/// 失敗またはスキップ用の空結果を生成
|
||||
/// </summary>
|
||||
public static SiteResolveResult Empty() => new();
|
||||
}
|
||||
@@ -0,0 +1,76 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Eroterest.Blog2nt;
|
||||
using rss_generator.Class.Eroterest.Blogterest;
|
||||
using rss_generator.Class.Eroterest.Doga;
|
||||
using rss_generator.Class.Eroterest.Fc2;
|
||||
using rss_generator.Class.Eroterest.GalgalDoga;
|
||||
using rss_generator.Class.Eroterest.Generic;
|
||||
using rss_generator.Class.Eroterest.Inporn;
|
||||
using rss_generator.Class.Eroterest.Laxd;
|
||||
using rss_generator.Class.Eroterest.Ltt;
|
||||
using rss_generator.Class.Eroterest.Senzuri;
|
||||
using rss_generator.Class.Eroterest.Txxx;
|
||||
using rss_generator.Class.Eroterest.Upornia;
|
||||
using rss_generator.Class.Eroterest.Vjav;
|
||||
using rss_generator.Class.Eroterest.WordPressBlog;
|
||||
using rss_generator.Class.Eroterest.YouJizz;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Core;
|
||||
|
||||
/// <summary>
|
||||
/// 各サイトのリゾルバーを一元管理し、最適なリゾルバーを解決するレジストリ
|
||||
/// </summary>
|
||||
internal static class SiteResolverRegistry
|
||||
{
|
||||
private static readonly List<IEroterestSiteResolver> _resolvers = new();
|
||||
private static readonly GenericSiteResolver _genericResolver = new();
|
||||
|
||||
static SiteResolverRegistry()
|
||||
{
|
||||
// 優先度順に自動ソートされるよう登録
|
||||
// 1. 動画配信元リゾルバー(高優先度: 即時ストリーム/動画判定)
|
||||
Register(new DogaSiteResolver());
|
||||
Register(new LaxdSiteResolver());
|
||||
Register(new Fc2SiteResolver());
|
||||
Register(new TxxxSiteResolver());
|
||||
Register(new UporniaSiteResolver());
|
||||
Register(new SenzuriSiteResolver());
|
||||
Register(new VjavSiteResolver());
|
||||
Register(new YouJizzSiteResolver());
|
||||
Register(new InpornSiteResolver());
|
||||
|
||||
// 2. 中間ブログ・アンテナリゾルバー
|
||||
Register(new GalgalDogaSiteResolver());
|
||||
Register(new LttSiteResolver());
|
||||
Register(new BlogterestSiteResolver());
|
||||
Register(new Blog2ntSiteResolver());
|
||||
Register(new WordPressBlogSiteResolver());
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 新しいリゾルバーを登録します。
|
||||
/// </summary>
|
||||
public static void Register(IEroterestSiteResolver resolver)
|
||||
{
|
||||
_resolvers.Add(resolver);
|
||||
_resolvers.Sort((a, b) => b.Priority.CompareTo(a.Priority));
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 指定されたURL(およびIDocument)に最も合致するリゾルバーを取得します。
|
||||
/// </summary>
|
||||
public static IEroterestSiteResolver GetResolver(string url, IDocument? doc = null)
|
||||
{
|
||||
foreach (var r in _resolvers)
|
||||
{
|
||||
if (r.CanHandle(url, doc))
|
||||
{
|
||||
return r;
|
||||
}
|
||||
}
|
||||
return _genericResolver;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,117 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Common;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Text.Json;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Doga;
|
||||
|
||||
/// <summary>
|
||||
/// エロタレドーガ (do-ga.eroterest.net) のページ解析リゾルバー
|
||||
/// application/ld+json から直接再生用 m3u8 ストリームと uploadDate を抽出します。
|
||||
/// </summary>
|
||||
internal class DogaSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "doga";
|
||||
public int Priority => 100; // 動画配信元として最優先
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
return !string.IsNullOrWhiteSpace(url) && url.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
public async Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult
|
||||
{
|
||||
VideoPageUrl = url,
|
||||
VideoSiteName = "doga"
|
||||
};
|
||||
|
||||
// 動画ID抽出 (例: /video/detail/23683/)
|
||||
var idMatch = Regex.Match(url, @"/video/(?:detail|play)/([0-9]+)");
|
||||
if (idMatch.Success)
|
||||
{
|
||||
result.VideoSiteId = idMatch.Groups[1].Value;
|
||||
}
|
||||
|
||||
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
|
||||
if (doc == null) return result;
|
||||
|
||||
// 1. application/ld+json から contentUrl (h264.m3u8) と uploadDate を取得
|
||||
var jsonLdScripts = doc.QuerySelectorAll("script[type='application/ld+json']");
|
||||
foreach (var script in jsonLdScripts)
|
||||
{
|
||||
var content = script.TextContent;
|
||||
if (string.IsNullOrWhiteSpace(content)) continue;
|
||||
|
||||
try
|
||||
{
|
||||
using var jsonDoc = JsonDocument.Parse(content);
|
||||
var root = jsonDoc.RootElement;
|
||||
|
||||
// contentUrl
|
||||
if (string.IsNullOrWhiteSpace(result.StreamUrl) && root.TryGetProperty("contentUrl", out var contentUrlProp))
|
||||
{
|
||||
var cUrl = contentUrlProp.GetString();
|
||||
if (!string.IsNullOrWhiteSpace(cUrl))
|
||||
{
|
||||
result.StreamUrl = cUrl.Trim();
|
||||
}
|
||||
}
|
||||
|
||||
// uploadDate
|
||||
if (!result.VideoUploadDate.HasValue && root.TryGetProperty("uploadDate", out var uploadDateProp))
|
||||
{
|
||||
var uDateStr = uploadDateProp.GetString();
|
||||
if (!string.IsNullOrWhiteSpace(uDateStr) && DateTimeOffset.TryParse(uDateStr, out var parsedDate))
|
||||
{
|
||||
result.VideoUploadDate = parsedDate;
|
||||
}
|
||||
}
|
||||
}
|
||||
catch
|
||||
{
|
||||
// 正規表現フォールバック
|
||||
if (string.IsNullOrWhiteSpace(result.StreamUrl))
|
||||
{
|
||||
var m = Regex.Match(content, @"""contentUrl""\s*:\s*""([^""]+)""");
|
||||
if (m.Success)
|
||||
{
|
||||
result.StreamUrl = m.Groups[1].Value.Trim();
|
||||
}
|
||||
}
|
||||
|
||||
if (!result.VideoUploadDate.HasValue)
|
||||
{
|
||||
var m = Regex.Match(content, @"""uploadDate""\s*:\s*""([^""]+)""");
|
||||
if (m.Success && DateTimeOffset.TryParse(m.Groups[1].Value, out var parsedDate))
|
||||
{
|
||||
result.VideoUploadDate = parsedDate;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// 2. video タグや source タグからのフォールバック抽出
|
||||
if (string.IsNullOrWhiteSpace(result.StreamUrl))
|
||||
{
|
||||
var sourceEl = doc.QuerySelector("video source, video[src]");
|
||||
var vSrc = sourceEl?.GetAttribute("src")?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(vSrc))
|
||||
{
|
||||
result.StreamUrl = vSrc;
|
||||
}
|
||||
}
|
||||
|
||||
return result;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,48 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Fc2;
|
||||
|
||||
/// <summary>
|
||||
/// FC2 (adult.contents.fc2.com 等) の動画解析リゾルバー
|
||||
/// アフィリエイトリンクや動画詳細ページから動画IDおよびプレイヤー情報を特定します。
|
||||
/// </summary>
|
||||
internal class Fc2SiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "fc2";
|
||||
public int Priority => 90;
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
return !string.IsNullOrWhiteSpace(url) &&
|
||||
(url.Contains("adult.contents.fc2.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("video.fc2.com", StringComparison.OrdinalIgnoreCase));
|
||||
}
|
||||
|
||||
public Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult
|
||||
{
|
||||
VideoPageUrl = url,
|
||||
VideoSiteName = "fc2"
|
||||
};
|
||||
|
||||
// 動画ID抽出 (例: /article/123456/ または aid=123456)
|
||||
var match = Regex.Match(url, @"(?:article/|aid=)([0-9]+)");
|
||||
if (match.Success)
|
||||
{
|
||||
result.VideoSiteId = match.Groups[1].Value;
|
||||
}
|
||||
|
||||
return Task.FromResult(result);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,112 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Common;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.GalgalDoga;
|
||||
|
||||
/// <summary>
|
||||
/// GalGalドーガ (galgaldoga.blogterest.net) 専用の解析リゾルバー
|
||||
/// 記事内の「動画の再生はこちらから」リンク(.movie-frame a等)を最優先で特定し、
|
||||
/// リンク先の実動画(inporn.com, bdsmx.tube等)を解決します。
|
||||
/// </summary>
|
||||
internal class GalgalDogaSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "galgaldoga";
|
||||
public int Priority => 85;
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(url)) return false;
|
||||
|
||||
return url.Contains("galgaldoga.blogterest.net", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
public async Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult();
|
||||
|
||||
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
|
||||
if (doc == null) return result;
|
||||
|
||||
// 1. 記事投稿日の抽出
|
||||
var dateEl = doc.QuerySelector(".entryDate, .post-date, time, .date");
|
||||
var dateText = dateEl?.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
|
||||
{
|
||||
result.ArticlePublishDate = parsedDate;
|
||||
}
|
||||
|
||||
// 2. 「動画の再生はこちらから」リンク(および .movie-frame a)の最優先探索
|
||||
string? targetVideoUrl = null;
|
||||
|
||||
// A. リンクテキストに「動画の再生はこちらから」が含まれる a タグ
|
||||
var playTextEl = doc.QuerySelectorAll("a[href]")
|
||||
.FirstOrDefault(a => (a.TextContent?.Contains("動画の再生はこちらから") == true) ||
|
||||
(a.TextContent?.Contains("動画の再生") == true));
|
||||
if (playTextEl != null)
|
||||
{
|
||||
targetVideoUrl = playTextEl.GetAttribute("href")?.Trim();
|
||||
}
|
||||
|
||||
// B. .movie-frame 配下の a タグ
|
||||
if (string.IsNullOrWhiteSpace(targetVideoUrl))
|
||||
{
|
||||
var movieFrameEl = doc.QuerySelector(".movie-frame a[href]");
|
||||
targetVideoUrl = movieFrameEl?.GetAttribute("href")?.Trim();
|
||||
}
|
||||
|
||||
// C. その他の動画リンク(entryParts 配下など)
|
||||
if (string.IsNullOrWhiteSpace(targetVideoUrl))
|
||||
{
|
||||
var entryPartsLinks = doc.QuerySelectorAll(".entryParts a[href], .entryImage a[href], .entryBody a[href]");
|
||||
foreach (var a in entryPartsLinks)
|
||||
{
|
||||
var href = a.GetAttribute("href")?.Trim();
|
||||
if (string.IsNullOrWhiteSpace(href)) continue;
|
||||
|
||||
if (href.Contains("inporn.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("bdsmx.tube", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
targetVideoUrl = href;
|
||||
break;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// 実動画リンクが特定できた場合、即座に対応リゾルバーで解決
|
||||
if (!string.IsNullOrWhiteSpace(targetVideoUrl))
|
||||
{
|
||||
result.NextCandidateUrls.Insert(0, targetVideoUrl);
|
||||
|
||||
var resolver = SiteResolverRegistry.GetResolver(targetVideoUrl);
|
||||
var directResolve = await resolver.ResolveAsync(client, targetVideoUrl, null, context, ct);
|
||||
if (directResolve.HasFinalVideo)
|
||||
{
|
||||
result.VideoPageUrl = directResolve.VideoPageUrl ?? targetVideoUrl;
|
||||
result.VideoSiteName = directResolve.VideoSiteName;
|
||||
result.VideoSiteId = directResolve.VideoSiteId;
|
||||
result.StreamUrl = directResolve.StreamUrl;
|
||||
result.VideoUploadDate = directResolve.VideoUploadDate;
|
||||
}
|
||||
else
|
||||
{
|
||||
result.VideoPageUrl = targetVideoUrl;
|
||||
}
|
||||
}
|
||||
|
||||
return result;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,94 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Common;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Generic;
|
||||
|
||||
/// <summary>
|
||||
/// 未知のサイトやフォールバック用の汎用リゾルバー
|
||||
/// ページ内のリンクや video タグ、ストリームURLを汎用的に探索します。
|
||||
/// </summary>
|
||||
internal class GenericSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "generic";
|
||||
public int Priority => 0; // 最低優先度(フォールバック)
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null) => true;
|
||||
|
||||
public async Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult();
|
||||
|
||||
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
|
||||
if (doc == null) return result;
|
||||
|
||||
// 1. 直接埋め込まれたストリーム (m3u8, mp4)
|
||||
var videoSources = doc.QuerySelectorAll("video source, video[src]");
|
||||
foreach (var s in videoSources)
|
||||
{
|
||||
var src = s.GetAttribute("src")?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(src))
|
||||
{
|
||||
if (src.Contains(".m3u8", StringComparison.OrdinalIgnoreCase) || src.Contains(".mp4", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
result.StreamUrl = src;
|
||||
result.VideoSiteName = "direct";
|
||||
return result;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// 2. ページ内のリンクから動画サイト候補を探索
|
||||
var links = doc.QuerySelectorAll("a[href]");
|
||||
var seen = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
foreach (var a in links)
|
||||
{
|
||||
var href = a.GetAttribute("href")?.Trim();
|
||||
if (string.IsNullOrWhiteSpace(href) || href.Equals(url, StringComparison.OrdinalIgnoreCase)) continue;
|
||||
|
||||
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".gif", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".css", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".js", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
if (!seen.Add(href)) continue;
|
||||
|
||||
if (href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("video.laxd.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("adult.contents.fc2.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("hclips.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("hdzog.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("vjav.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("spankbang.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("xvideos.com", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
result.NextCandidateUrls.Insert(0, href);
|
||||
}
|
||||
else
|
||||
{
|
||||
result.NextCandidateUrls.Add(href);
|
||||
}
|
||||
}
|
||||
|
||||
return result;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,52 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Common;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Inporn;
|
||||
|
||||
/// <summary>
|
||||
/// InPorn (inporn.com) および同系統KVSサイト (bdsmx.tube 等) の動画ページ解析リゾルバー
|
||||
/// URLから動画IDを抽出し、公式埋め込みプレイヤー等の動画情報を確定します。
|
||||
/// </summary>
|
||||
internal class InpornSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "inporn";
|
||||
public int Priority => 90;
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(url)) return false;
|
||||
|
||||
return url.Contains("inporn.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("bdsmx.tube", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
public Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult
|
||||
{
|
||||
VideoPageUrl = url
|
||||
};
|
||||
|
||||
bool isBdsmx = url.Contains("bdsmx.tube", StringComparison.OrdinalIgnoreCase);
|
||||
result.VideoSiteName = isBdsmx ? "bdsmx" : "inporn";
|
||||
|
||||
var match = Regex.Match(url, @"/video/([0-9]+)");
|
||||
if (match.Success)
|
||||
{
|
||||
var videoId = match.Groups[1].Value;
|
||||
result.VideoSiteId = videoId;
|
||||
}
|
||||
|
||||
return Task.FromResult(result);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,46 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Laxd;
|
||||
|
||||
/// <summary>
|
||||
/// LAXD (video.laxd.com) の動画解析リゾルバー
|
||||
/// 動画ページから動画IDおよびプレイヤー情報を特定します。
|
||||
/// </summary>
|
||||
internal class LaxdSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "laxd";
|
||||
public int Priority => 90;
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
return !string.IsNullOrWhiteSpace(url) && url.Contains("laxd.com", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
public Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult
|
||||
{
|
||||
VideoPageUrl = url,
|
||||
VideoSiteName = "laxd"
|
||||
};
|
||||
|
||||
// 動画ID抽出 (例: /content/123456/ または ?id=123456)
|
||||
var match = Regex.Match(url, @"laxd\.com/(?:content/|embed/)?([0-9a-zA-Z_\-]+)");
|
||||
if (match.Success)
|
||||
{
|
||||
result.VideoSiteId = match.Groups[1].Value;
|
||||
}
|
||||
|
||||
return Task.FromResult(result);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,66 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Common;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Ltt;
|
||||
|
||||
/// <summary>
|
||||
/// ドーガの王国 (do-ga.ltt.jp) のページ解析リゾルバー
|
||||
/// 記事からエロタレドーガ (do-ga.eroterest.net) へのリンクおよび記事公開日を抽出します。
|
||||
/// </summary>
|
||||
internal class LttSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "ltt";
|
||||
public int Priority => 80;
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
return !string.IsNullOrWhiteSpace(url) && url.Contains("do-ga.ltt.jp", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
public async Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult();
|
||||
|
||||
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
|
||||
if (doc == null) return result;
|
||||
|
||||
// 記事公開日の抽出 (例: <time> や .date, YYYY/MM/DD)
|
||||
var timeEl = doc.QuerySelector("time, .entryDate, .post-date");
|
||||
var dateText = timeEl?.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
|
||||
{
|
||||
result.ArticlePublishDate = parsedDate;
|
||||
}
|
||||
|
||||
// リンクの走査
|
||||
var links = doc.QuerySelectorAll("a[href]");
|
||||
foreach (var a in links)
|
||||
{
|
||||
var href = a.GetAttribute("href")?.Trim();
|
||||
if (string.IsNullOrWhiteSpace(href)) continue;
|
||||
|
||||
// エロタレドーガの個別ページを優先
|
||||
if (href.Contains("do-ga.eroterest.net/video/detail/", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("do-ga.eroterest.net/video/play/", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
result.NextCandidateUrls.Insert(0, href);
|
||||
}
|
||||
else if (href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
result.NextCandidateUrls.Add(href);
|
||||
}
|
||||
}
|
||||
|
||||
return result;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,83 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
|
||||
namespace rss_generator.Class.Eroterest;
|
||||
|
||||
/// <summary>
|
||||
/// movie.eroterest.net の RSS 生成設定
|
||||
/// </summary>
|
||||
internal static class MovieEroterestConfig
|
||||
{
|
||||
/// <summary>
|
||||
/// 出力サブディレクトリ(要求仕様: https://movie.eroterest.net/ に基づき movie.eroterest.net)
|
||||
/// </summary>
|
||||
public const string OutputSubDir = "movie.eroterest.net";
|
||||
|
||||
/// <summary>
|
||||
/// サイトのベースURL
|
||||
/// </summary>
|
||||
public const string BaseUrl = "https://movie.eroterest.net";
|
||||
|
||||
/// <summary>
|
||||
/// 新着動画ページURL
|
||||
/// </summary>
|
||||
public const string NewVideosUrl = "https://movie.eroterest.net/";
|
||||
|
||||
/// <summary>
|
||||
/// 今日の人気動画ページURL
|
||||
/// </summary>
|
||||
public const string PopularVideosUrl = "https://movie.eroterest.net/popular/?days=0";
|
||||
|
||||
/// <summary>
|
||||
/// WebImageViewer のベースURL
|
||||
/// </summary>
|
||||
public const string WebImageViewerBaseUrl = "https://udukipc-web.armonica-vps.work";
|
||||
|
||||
/// <summary>
|
||||
/// 出力対象の主要カテゴリ一覧 (カテゴリ名, URL)
|
||||
/// </summary>
|
||||
public static readonly Dictionary<string, string> Categories = new(StringComparer.OrdinalIgnoreCase)
|
||||
{
|
||||
{ "素人", "https://movie.eroterest.net/?c=%E7%B4%A0%E4%BA%BA" },
|
||||
{ "人妻", "https://movie.eroterest.net/?c=%E4%BA%BA%E5%A6%BB" },
|
||||
{ "中出し", "https://movie.eroterest.net/?c=%E4%B8%AD%E5%87%BA%E3%81%97" },
|
||||
{ "マジックミラー号", "https://movie.eroterest.net/?c=%E3%83%9E%E3%82%B8%E3%83%83%E3%82%AF%E3%83%9F%E3%83%A9%E3%83%BC%E5%8F%B7" },
|
||||
{ "熟女", "https://movie.eroterest.net/?c=%E7%86%9F%E5%A5%B3" },
|
||||
{ "巨乳", "https://movie.eroterest.net/?c=%E5%B7%A8%E4%B9%B3" }
|
||||
};
|
||||
|
||||
/// <summary>
|
||||
/// カテゴリ(タグ)別RSSの出力サブディレクトリ名
|
||||
/// </summary>
|
||||
public const string CategorySubDir = "categories";
|
||||
|
||||
/// <summary>
|
||||
/// 各カテゴリ(タグ)別フィードで保持・出力する最大記事数
|
||||
/// </summary>
|
||||
public const int MaxArticlesPerCategoryFeed = 50;
|
||||
|
||||
/// <summary>
|
||||
/// 各フィードで取得する最大記事数
|
||||
/// </summary>
|
||||
public const int MaxArticlesPerFeed = 20;
|
||||
|
||||
/// <summary>
|
||||
/// 記事詳細およびブログ取得時の並列度
|
||||
/// </summary>
|
||||
public const int MaxParallelTasks = 3;
|
||||
|
||||
/// <summary>
|
||||
/// RSS の pubDate に元動画の公開日を優先するかどうか(false の場合は記事の実際の公開日を優先し、元動画公開日は本文に記載)
|
||||
/// </summary>
|
||||
public const bool PreferOriginalVideoDateOverArticleDate = false;
|
||||
|
||||
/// <summary>
|
||||
/// 1記事あたりの動画探索における最大リンク階層深度(10階層まで深掘り)
|
||||
/// </summary>
|
||||
public const int MaxCrawlDepth = 10;
|
||||
|
||||
/// <summary>
|
||||
/// 1記事あたりの動画探索で訪問する最大ページ数(過剰クロール防止)
|
||||
/// </summary>
|
||||
public const int MaxCrawledPagesPerArticle = 30;
|
||||
}
|
||||
@@ -0,0 +1,452 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Common;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Diagnostics;
|
||||
using System.IO;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
|
||||
namespace rss_generator.Class.Eroterest;
|
||||
|
||||
/// <summary>
|
||||
/// movie.eroterest.net の RSS フィード生成・管理を行うクラス
|
||||
/// 出力先: output/movie.eroterest.net/ (all.xml, popular.xml, categories/{タグ名}.xml)
|
||||
/// </summary>
|
||||
internal static class MovieEroterestFeedManager
|
||||
{
|
||||
/// <summary>
|
||||
/// movie.eroterest.net の全フィード(新着、人気、各記事タグ別フィード)を生成します。
|
||||
/// </summary>
|
||||
public static async Task CreateAllRSSAsync(HttpClient client)
|
||||
{
|
||||
LogManager.AddLog("[情報] 【movie.eroterest.net】 フィード生成処理を開始します");
|
||||
var sw = Stopwatch.StartNew();
|
||||
|
||||
try
|
||||
{
|
||||
// 全記事キャッシュ(URL をキーとして新着・人気から取得した全記事情報を集約)
|
||||
var allArticles = new Dictionary<string, (SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info)>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
// 1. 新着動画フィード (all.xml)
|
||||
try
|
||||
{
|
||||
var newVideos = await GenerateFeedFromPageAsync(
|
||||
client,
|
||||
MovieEroterestConfig.NewVideosUrl,
|
||||
"all.xml",
|
||||
"動画エロタレスト - 新着エロ動画",
|
||||
"動画エロタレストの最新新着エロ動画一覧(WebImageViewer対応)",
|
||||
subDir: MovieEroterestConfig.OutputSubDir);
|
||||
|
||||
foreach (var entry in newVideos)
|
||||
{
|
||||
var key = entry.Info.ArticlePageUrl;
|
||||
if (!string.IsNullOrWhiteSpace(key))
|
||||
{
|
||||
allArticles[key] = (entry.Item, entry.Info);
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [movie.eroterest.net] 新着フィード生成失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// 2. 人気動画フィード (popular.xml)
|
||||
try
|
||||
{
|
||||
var popularVideos = await GenerateFeedFromPageAsync(
|
||||
client,
|
||||
MovieEroterestConfig.PopularVideosUrl,
|
||||
"popular.xml",
|
||||
"動画エロタレスト - 今日の人気動画",
|
||||
"動画エロタレストの今日人気ランキング動画一覧(WebImageViewer対応)",
|
||||
subDir: MovieEroterestConfig.OutputSubDir);
|
||||
|
||||
foreach (var entry in popularVideos)
|
||||
{
|
||||
var key = entry.Info.ArticlePageUrl;
|
||||
if (!string.IsNullOrWhiteSpace(key) && !allArticles.ContainsKey(key))
|
||||
{
|
||||
allArticles[key] = (entry.Item, entry.Info);
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [movie.eroterest.net] 人気フィード生成失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// 3. 記事から取得した全タグに基づくカテゴリ別フィード (categories/{タグ名}.xml)
|
||||
await GenerateTagFeedsAsync(client, allArticles.Values);
|
||||
|
||||
sw.Stop();
|
||||
LogManager.AddLog($"[情報] 【movie.eroterest.net】 全フィード出力完了 ({sw.Elapsed.TotalSeconds:0.##}秒)");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [movie.eroterest.net] 全体処理エラー: {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 取得した全記事のタグを網羅的に抽出し、各タグについての RSS フィード (categories/{タグ名}.xml) を生成・蓄積します。
|
||||
/// </summary>
|
||||
private static async Task GenerateTagFeedsAsync(
|
||||
HttpClient client,
|
||||
IEnumerable<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info)> articleEntries)
|
||||
{
|
||||
var articlesList = articleEntries.ToList();
|
||||
if (articlesList.Count == 0)
|
||||
{
|
||||
LogManager.AddLog("[警告] [movie.eroterest.net] タグ別フィード生成対象の記事が存在しません");
|
||||
return;
|
||||
}
|
||||
|
||||
// 全記事からタグを収集(重複除外)
|
||||
var allTags = articlesList
|
||||
.SelectMany(a => a.Info.Tags)
|
||||
.Where(t => !string.IsNullOrWhiteSpace(t))
|
||||
.Select(t => t.Trim())
|
||||
.Distinct(StringComparer.OrdinalIgnoreCase)
|
||||
.OrderBy(t => t)
|
||||
.ToList();
|
||||
|
||||
LogManager.AddLog($"[情報] 【movie.eroterest.net】 記事から抽出されたユニークなタグ数: {allTags.Count} 件");
|
||||
|
||||
var categorySubDir = Path.Combine(MovieEroterestConfig.OutputSubDir, MovieEroterestConfig.CategorySubDir);
|
||||
int successCount = 0;
|
||||
|
||||
foreach (var tag in allTags)
|
||||
{
|
||||
var safeTagName = SanitizeFileName(tag);
|
||||
if (string.IsNullOrWhiteSpace(safeTagName)) continue;
|
||||
|
||||
var fileName = $"{safeTagName}.xml";
|
||||
|
||||
// 今回取得した記事の中でそのタグを持つアイテム
|
||||
var matchingItems = articlesList
|
||||
.Where(a => a.Info.Tags.Any(t => string.Equals(t.Trim(), tag, StringComparison.OrdinalIgnoreCase)))
|
||||
.Select(a => a.Item)
|
||||
.ToList();
|
||||
|
||||
if (matchingItems.Count == 0) continue;
|
||||
|
||||
try
|
||||
{
|
||||
// 既存の XML ファイルがあれば読み込み、新着アイテムとマージして蓄積
|
||||
var existingItems = LoadExistingFeedItems(fileName, categorySubDir);
|
||||
var mergedItems = MergeFeedItems(matchingItems, existingItems, MovieEroterestConfig.MaxArticlesPerCategoryFeed);
|
||||
|
||||
var feed = new SyndicationFeed(
|
||||
$"動画エロタレスト - {tag}",
|
||||
$"動画エロタレストの「{tag}」タグ動画一覧(WebImageViewer対応)",
|
||||
new Uri($"https://movie.eroterest.net/?word={Uri.EscapeDataString(tag)}")
|
||||
)
|
||||
{
|
||||
Items = mergedItems
|
||||
};
|
||||
|
||||
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, addDir: categorySubDir, embedBase64: false, filter24Hours: false);
|
||||
successCount++;
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [movie.eroterest.net] タグ別フィード生成失敗 ({tag}): {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
LogManager.AddLog($"[情報] 【movie.eroterest.net】 カテゴリ(タグ)別フィード出力完了: {successCount}/{allTags.Count} 件成功");
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 指定されたページURLから記事一覧を取得・探索し、RSSフィードを出力します。また、解析された記事一覧を返します。
|
||||
/// </summary>
|
||||
private static async Task<List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>> GenerateFeedFromPageAsync(
|
||||
HttpClient client,
|
||||
string pageUrl,
|
||||
string outputFileName,
|
||||
string feedTitle,
|
||||
string feedDescription,
|
||||
string subDir)
|
||||
{
|
||||
var resultList = new List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>();
|
||||
|
||||
var doc = await CmnUtil.GetDocument(client, pageUrl);
|
||||
if (doc == null)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [movie.eroterest.net] ページ取得失敗: {pageUrl}");
|
||||
return resultList;
|
||||
}
|
||||
|
||||
// 記事カード一覧の抽出
|
||||
var itemElements = doc.QuerySelectorAll(".itemWrapper, .imageListContent .item");
|
||||
if (itemElements.Length == 0)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [movie.eroterest.net] 記事要素が見つかりませんでした: {pageUrl}");
|
||||
return resultList;
|
||||
}
|
||||
|
||||
var feed = new SyndicationFeed(
|
||||
feedTitle,
|
||||
feedDescription,
|
||||
new Uri(pageUrl)
|
||||
);
|
||||
|
||||
var preliminaryItems = new List<(string ArticleUrl, string Title, string? Thumbnail, string? Duration, string? Provider, string? SiteName, string? ItemTime, int Order)>();
|
||||
var seenUrls = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
int orderIndex = 0;
|
||||
|
||||
foreach (var itemEl in itemElements)
|
||||
{
|
||||
// 記事詳細URL (例: /page/44918986/)
|
||||
var linkEl = itemEl.QuerySelector("a[href*='/page/']");
|
||||
var rawHref = linkEl?.GetAttribute("href")?.Trim();
|
||||
if (string.IsNullOrWhiteSpace(rawHref)) continue;
|
||||
|
||||
var fullUrl = rawHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
|
||||
? rawHref
|
||||
: $"{MovieEroterestConfig.BaseUrl.TrimEnd('/')}/{rawHref.TrimStart('/')}";
|
||||
|
||||
if (!seenUrls.Add(fullUrl)) continue;
|
||||
|
||||
// タイトル
|
||||
var title = itemEl.QuerySelector(".itemTitle a")?.GetAttribute("title")?.Trim()
|
||||
?? itemEl.QuerySelector(".itemTitle a")?.TextContent?.Trim()
|
||||
?? "動画エロタレスト";
|
||||
|
||||
// サムネイル画像(picture source[srcset] の webp を最優先)
|
||||
var sourceEl = itemEl.QuerySelector(".itemImage picture source[srcset]");
|
||||
var thumbSrc = sourceEl?.GetAttribute("srcset");
|
||||
if (string.IsNullOrWhiteSpace(thumbSrc))
|
||||
{
|
||||
var imgEl = itemEl.QuerySelector(".itemImage img");
|
||||
thumbSrc = imgEl?.GetAttribute("src");
|
||||
}
|
||||
var normalizedThumb = MovieEroterestVideoParser.NormalizeThumbnailUrl(thumbSrc, pageUrl);
|
||||
|
||||
// 再生時間
|
||||
var duration = itemEl.QuerySelector(".movieTime, .duration")?.TextContent?.Trim();
|
||||
|
||||
// プロバイダ名
|
||||
var provider = itemEl.QuerySelector(".proName")?.TextContent?.Trim();
|
||||
|
||||
// まとめブログ名
|
||||
var siteName = itemEl.QuerySelector(".itemSiteName")?.TextContent?.Trim();
|
||||
|
||||
// 記事公開時間(相対時間表記: 例 "4分前", "1時間前")
|
||||
var itemTime = itemEl.QuerySelector(".itemTime")?.TextContent?.Trim();
|
||||
|
||||
preliminaryItems.Add((fullUrl, title, normalizedThumb, duration, provider, siteName, itemTime, orderIndex++));
|
||||
|
||||
if (preliminaryItems.Count >= MovieEroterestConfig.MaxArticlesPerFeed)
|
||||
{
|
||||
break;
|
||||
}
|
||||
}
|
||||
|
||||
// 基準時刻
|
||||
var baseTime = DateTimeOffset.Now;
|
||||
|
||||
// 同時並行数を制御して各記事の詳細と動画探索を実行
|
||||
using var semaphore = new SemaphoreSlim(MovieEroterestConfig.MaxParallelTasks);
|
||||
var syndicationEntries = new List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>();
|
||||
|
||||
var tasks = preliminaryItems.Select(async item =>
|
||||
{
|
||||
await semaphore.WaitAsync();
|
||||
try
|
||||
{
|
||||
var articleInfo = await MovieEroterestVideoParser.ParseArticleWithDeepSearchAsync(
|
||||
client,
|
||||
item.ArticleUrl,
|
||||
item.Title,
|
||||
item.Thumbnail,
|
||||
item.Duration,
|
||||
item.Provider,
|
||||
item.SiteName,
|
||||
item.ItemTime,
|
||||
baseTime);
|
||||
|
||||
if (articleInfo != null)
|
||||
{
|
||||
var synItem = MovieEroterestVideoParser.CreateSyndicationItem(articleInfo);
|
||||
lock (syndicationEntries)
|
||||
{
|
||||
syndicationEntries.Add((synItem, articleInfo, item.Order));
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [movie.eroterest.net] 記事解析失敗 ({item.ArticleUrl}): {ex.Message}");
|
||||
}
|
||||
finally
|
||||
{
|
||||
semaphore.Release();
|
||||
}
|
||||
});
|
||||
|
||||
await Task.WhenAll(tasks);
|
||||
|
||||
// 公開日時順(同日時の場合は一覧の掲載順を維持)にソート
|
||||
var sortedEntries = syndicationEntries
|
||||
.OrderByDescending(e => e.Item.PublishDate)
|
||||
.ThenBy(e => e.Order)
|
||||
.ToList();
|
||||
|
||||
feed.Items = sortedEntries.Select(e => e.Item).ToList();
|
||||
|
||||
// XML ファイルへ出力 (filter24Hours: false で直近取得分を確実に出力)
|
||||
await CmnUtil.ExportXMLFileAsync(outputFileName, feed, client, addDir: subDir, embedBase64: false, filter24Hours: false);
|
||||
|
||||
return sortedEntries;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// ファイル名として使用できない不正な文字をサニタイズします。
|
||||
/// </summary>
|
||||
private static string SanitizeFileName(string name)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(name)) return string.Empty;
|
||||
var invalidChars = Path.GetInvalidFileNameChars();
|
||||
var clean = string.Concat(name.Select(c => invalidChars.Contains(c) ? '_' : c));
|
||||
return clean.Trim();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 既存のXMLファイルから SyndicationItem を読み込みます。
|
||||
/// </summary>
|
||||
private static List<SyndicationItem> LoadExistingFeedItems(string fileName, string subDir)
|
||||
{
|
||||
var items = new List<SyndicationItem>();
|
||||
var filePath = CmnUtil.GetExportXmlPath(fileName, subDir);
|
||||
if (!File.Exists(filePath)) return items;
|
||||
|
||||
try
|
||||
{
|
||||
using var reader = XmlReader.Create(filePath);
|
||||
var feed = SyndicationFeed.Load(reader);
|
||||
if (feed?.Items != null)
|
||||
{
|
||||
foreach (var originalItem in feed.Items)
|
||||
{
|
||||
items.Add(CloneSyndicationItem(originalItem));
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [movie.eroterest.net] 既存フィード読み込み失敗 ({fileName}): {ex.Message}");
|
||||
}
|
||||
return items;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 新着アイテムと既存アイテムをマージし、重複を排除して公開日時順にソートします。
|
||||
/// 既存アイテムが存在する場合は前回のPublishDateおよびSummaryHtmlを最優先で維持し、
|
||||
/// FreshRSSで更新されていない記事が未読化するのを防ぎます。
|
||||
/// </summary>
|
||||
private static List<SyndicationItem> MergeFeedItems(
|
||||
IEnumerable<SyndicationItem> newItems,
|
||||
IEnumerable<SyndicationItem> existingItems,
|
||||
int maxCount)
|
||||
{
|
||||
var merged = new Dictionary<string, SyndicationItem>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
// 1. 既存アイテムを追加
|
||||
foreach (var item in existingItems)
|
||||
{
|
||||
var key = GetItemKey(item);
|
||||
if (!string.IsNullOrWhiteSpace(key))
|
||||
{
|
||||
merged[key] = item;
|
||||
}
|
||||
}
|
||||
|
||||
// 2. 新着アイテムを追加(既存アイテムが存在する場合は公開日時および本文HTMLを固定)
|
||||
foreach (var item in newItems)
|
||||
{
|
||||
var key = GetItemKey(item);
|
||||
if (!string.IsNullOrWhiteSpace(key))
|
||||
{
|
||||
if (merged.TryGetValue(key, out var existing))
|
||||
{
|
||||
if (existing.PublishDate != DateTimeOffset.MinValue)
|
||||
{
|
||||
item.PublishDate = existing.PublishDate;
|
||||
}
|
||||
if (existing.LastUpdatedTime != DateTimeOffset.MinValue)
|
||||
{
|
||||
item.LastUpdatedTime = existing.LastUpdatedTime;
|
||||
}
|
||||
if (existing.Summary != null && !string.IsNullOrWhiteSpace(existing.Summary.Text))
|
||||
{
|
||||
item.Summary = new TextSyndicationContent(existing.Summary.Text, TextSyndicationContentKind.Html);
|
||||
}
|
||||
}
|
||||
merged[key] = item;
|
||||
}
|
||||
}
|
||||
|
||||
// 3. 公開日降順でソート
|
||||
return merged.Values
|
||||
.OrderByDescending(i => i.PublishDate != DateTimeOffset.MinValue ? i.PublishDate : i.LastUpdatedTime)
|
||||
.Take(maxCount)
|
||||
.ToList();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// SyndicationItem の一意キーを取得します(GUID またはリンクURL)。
|
||||
/// </summary>
|
||||
private static string GetItemKey(SyndicationItem item)
|
||||
{
|
||||
if (!string.IsNullOrWhiteSpace(item.Id))
|
||||
{
|
||||
return item.Id;
|
||||
}
|
||||
var link = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||
if (!string.IsNullOrWhiteSpace(link))
|
||||
{
|
||||
return link;
|
||||
}
|
||||
return item.Title?.Text ?? Guid.NewGuid().ToString();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 既存の SyndicationItem から不要な名前空間や競合属性を除去したクローンを作成します。
|
||||
/// </summary>
|
||||
private static SyndicationItem CloneSyndicationItem(SyndicationItem original)
|
||||
{
|
||||
var link = original.Links.FirstOrDefault()?.Uri;
|
||||
var clone = new SyndicationItem(
|
||||
original.Title?.Text ?? string.Empty,
|
||||
string.Empty,
|
||||
link,
|
||||
original.Id ?? (link?.ToString() ?? Guid.NewGuid().ToString()),
|
||||
original.PublishDate != DateTimeOffset.MinValue ? original.PublishDate : original.LastUpdatedTime
|
||||
)
|
||||
{
|
||||
PublishDate = original.PublishDate != DateTimeOffset.MinValue ? original.PublishDate : original.LastUpdatedTime,
|
||||
LastUpdatedTime = original.LastUpdatedTime != DateTimeOffset.MinValue ? original.LastUpdatedTime : original.PublishDate,
|
||||
Summary = original.Summary
|
||||
};
|
||||
|
||||
foreach (var category in original.Categories)
|
||||
{
|
||||
if (!string.IsNullOrWhiteSpace(category.Name))
|
||||
{
|
||||
clone.Categories.Add(new SyndicationCategory(category.Name.Trim()));
|
||||
}
|
||||
}
|
||||
|
||||
return clone;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,565 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Common;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.Json;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest;
|
||||
|
||||
/// <summary>
|
||||
/// movie.eroterest.net の記事詳細およびリンク先まとめブログ・実動画ページを探索・解析するクラス
|
||||
/// </summary>
|
||||
internal static class MovieEroterestVideoParser
|
||||
{
|
||||
/// <summary>
|
||||
/// movie.eroterest.net の記事情報モデル
|
||||
/// </summary>
|
||||
public class EroterestArticleInfo
|
||||
{
|
||||
public string ArticleId { get; set; } = string.Empty;
|
||||
public string Title { get; set; } = string.Empty;
|
||||
public string ArticlePageUrl { get; set; } = string.Empty;
|
||||
public string? ThumbnailUrl { get; set; }
|
||||
public string? Duration { get; set; }
|
||||
public string? Provider { get; set; }
|
||||
public string? ClickCount { get; set; }
|
||||
public List<string> Tags { get; set; } = new();
|
||||
public List<string> Words { get; set; } = new();
|
||||
public List<string> Actresses { get; set; } = new();
|
||||
public DateTimeOffset PublishDate { get; set; } = DateTimeOffset.Now;
|
||||
|
||||
// 日付・公開日情報
|
||||
public string? RelativeTimeText { get; set; }
|
||||
public DateTimeOffset? ArticlePublishDate { get; set; }
|
||||
public DateTimeOffset? VideoPublishDate { get; set; }
|
||||
|
||||
// 探索結果
|
||||
public string? DestinationBlogUrl { get; set; }
|
||||
public string? DestinationBlogSiteName { get; set; }
|
||||
public string? ActualVideoUrl { get; set; }
|
||||
public string? VideoSiteName { get; set; }
|
||||
public string? VideoSiteId { get; set; }
|
||||
public string? StreamUrl { get; set; }
|
||||
public string? ViewerUrl { get; set; }
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 記事詳細ページおよびその内部リンク先(まとめブログ→実動画)を探索・解析して記事情報モデルを取得します。
|
||||
/// </summary>
|
||||
public static async Task<EroterestArticleInfo?> ParseArticleWithDeepSearchAsync(
|
||||
HttpClient client,
|
||||
string articleUrl,
|
||||
string? preliminaryTitle = null,
|
||||
string? preliminaryThumbnail = null,
|
||||
string? preliminaryDuration = null,
|
||||
string? preliminaryProvider = null,
|
||||
string? preliminarySiteName = null,
|
||||
string? preliminaryItemTime = null,
|
||||
DateTimeOffset? referenceTime = null,
|
||||
CancellationToken ct = default)
|
||||
{
|
||||
var info = new EroterestArticleInfo
|
||||
{
|
||||
ArticlePageUrl = articleUrl,
|
||||
Title = preliminaryTitle ?? string.Empty,
|
||||
ThumbnailUrl = NormalizeThumbnailUrl(preliminaryThumbnail),
|
||||
Duration = preliminaryDuration,
|
||||
Provider = preliminaryProvider,
|
||||
DestinationBlogSiteName = preliminarySiteName,
|
||||
RelativeTimeText = preliminaryItemTime
|
||||
};
|
||||
|
||||
// 一覧から渡された相対時間(例: "4分前")から記事公開日を算出
|
||||
if (!string.IsNullOrWhiteSpace(preliminaryItemTime))
|
||||
{
|
||||
info.ArticlePublishDate = ParseRelativeOrAbsoluteDate(preliminaryItemTime, referenceTime);
|
||||
}
|
||||
|
||||
// 記事IDの抽出 (例: /page/44918986/)
|
||||
var idMatch = Regex.Match(articleUrl, @"/page/([0-9]+)");
|
||||
if (idMatch.Success)
|
||||
{
|
||||
info.ArticleId = idMatch.Groups[1].Value;
|
||||
}
|
||||
|
||||
try
|
||||
{
|
||||
// 1. movie.eroterest.net 記事詳細ページの取得
|
||||
var articleDoc = await CmnUtil.GetDocument(client, articleUrl, cancellationToken: ct);
|
||||
if (articleDoc != null)
|
||||
{
|
||||
// タイトル取得
|
||||
var h3Title = articleDoc.QuerySelector("h3")?.TextContent?.Trim();
|
||||
var plainTitle = articleDoc.QuerySelector(".plainTitle")?.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(plainTitle))
|
||||
{
|
||||
info.Title = plainTitle;
|
||||
}
|
||||
else if (!string.IsNullOrWhiteSpace(h3Title))
|
||||
{
|
||||
info.Title = h3Title;
|
||||
}
|
||||
|
||||
// サムネイル画像(picture source[srcset] の webp を最優先)
|
||||
var sourceEl = articleDoc.QuerySelector(".itemImage picture source[srcset]");
|
||||
var thumbSrc = sourceEl?.GetAttribute("srcset");
|
||||
if (string.IsNullOrWhiteSpace(thumbSrc))
|
||||
{
|
||||
var imgEl = articleDoc.QuerySelector(".itemImage img");
|
||||
thumbSrc = imgEl?.GetAttribute("src");
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(thumbSrc) && !thumbSrc.StartsWith("data:"))
|
||||
{
|
||||
var normalizedThumb = NormalizeThumbnailUrl(thumbSrc, articleUrl);
|
||||
if (!string.IsNullOrWhiteSpace(normalizedThumb))
|
||||
{
|
||||
info.ThumbnailUrl = normalizedThumb;
|
||||
}
|
||||
}
|
||||
|
||||
// 再生時間
|
||||
var movieTime = articleDoc.QuerySelector(".movieTime")?.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(movieTime))
|
||||
{
|
||||
info.Duration = movieTime;
|
||||
}
|
||||
|
||||
// プロバイダ名
|
||||
var proName = articleDoc.QuerySelector(".proName")?.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(proName))
|
||||
{
|
||||
info.Provider = proName;
|
||||
}
|
||||
|
||||
// クリック数
|
||||
var clickEl = articleDoc.QuerySelector(".clickCnt")?.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(clickEl))
|
||||
{
|
||||
info.ClickCount = clickEl;
|
||||
}
|
||||
|
||||
// 記事公開時間(詳細ページからフォールバック取得)
|
||||
if (!info.ArticlePublishDate.HasValue)
|
||||
{
|
||||
var detailTime = articleDoc.QuerySelector(".itemFoot .itemTime, .itemTime")?.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(detailTime))
|
||||
{
|
||||
info.RelativeTimeText ??= detailTime;
|
||||
info.ArticlePublishDate = ParseRelativeOrAbsoluteDate(detailTime, referenceTime);
|
||||
}
|
||||
}
|
||||
|
||||
// タグ
|
||||
var tagElements = articleDoc.QuerySelectorAll(".itemTag a");
|
||||
foreach (var t in tagElements)
|
||||
{
|
||||
var tagText = t.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(tagText) && !info.Tags.Contains(tagText))
|
||||
{
|
||||
info.Tags.Add(tagText);
|
||||
}
|
||||
}
|
||||
|
||||
// キーワード
|
||||
var wordElements = articleDoc.QuerySelectorAll(".itemWords a");
|
||||
foreach (var w in wordElements)
|
||||
{
|
||||
var wordText = w.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(wordText) && !info.Words.Contains(wordText) && !info.Tags.Contains(wordText))
|
||||
{
|
||||
info.Words.Add(wordText);
|
||||
}
|
||||
}
|
||||
|
||||
// 出演女優
|
||||
var actressElements = articleDoc.QuerySelectorAll(".actressWrapper .itemTitle a");
|
||||
foreach (var a in actressElements)
|
||||
{
|
||||
var actName = a.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(actName) && !info.Actresses.Contains(actName))
|
||||
{
|
||||
info.Actresses.Add(actName);
|
||||
}
|
||||
}
|
||||
|
||||
// まとめブログURLの特定
|
||||
var blogLinkEl = articleDoc.QuerySelector(".gotoBlog a, a[onclick*='cntup'], .itemBody > a[href*='blogterest.net'], .itemBody > a[href*='page']");
|
||||
var rawBlogHref = blogLinkEl?.GetAttribute("href")?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(rawBlogHref))
|
||||
{
|
||||
info.DestinationBlogUrl = NormalizeUrl(rawBlogHref, articleUrl);
|
||||
}
|
||||
|
||||
// まとめブログ名
|
||||
var siteNameEl = articleDoc.QuerySelector(".itemSiteName a, .itemSiteName");
|
||||
var siteName = siteNameEl?.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(siteName))
|
||||
{
|
||||
info.DestinationBlogSiteName = siteName;
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [EroterestParser] 記事詳細取得失敗 ({articleUrl}): {ex.Message}");
|
||||
}
|
||||
|
||||
// 2. 内部リンクされているまとめブログ(*.blogterest.net/page/...等)から多階層で実動画を探索
|
||||
var crawlStartUrl = !string.IsNullOrWhiteSpace(info.DestinationBlogUrl)
|
||||
? info.DestinationBlogUrl
|
||||
: info.ArticlePageUrl;
|
||||
|
||||
try
|
||||
{
|
||||
var crawlResult = await EroterestCrawler.CrawlAsync(client, crawlStartUrl, referenceTime, ct);
|
||||
|
||||
if (crawlResult.HasFinalVideo || !string.IsNullOrWhiteSpace(crawlResult.StreamUrl))
|
||||
{
|
||||
info.ActualVideoUrl = crawlResult.VideoPageUrl ?? crawlResult.StreamUrl;
|
||||
info.VideoSiteName = crawlResult.VideoSiteName;
|
||||
info.VideoSiteId = crawlResult.VideoSiteId;
|
||||
info.StreamUrl = crawlResult.StreamUrl;
|
||||
|
||||
if (crawlResult.VideoUploadDate.HasValue)
|
||||
{
|
||||
info.VideoPublishDate = crawlResult.VideoUploadDate;
|
||||
}
|
||||
if (!info.ArticlePublishDate.HasValue && crawlResult.ArticlePublishDate.HasValue)
|
||||
{
|
||||
info.ArticlePublishDate = crawlResult.ArticlePublishDate;
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [EroterestParser] クロール探索失敗 ({crawlStartUrl}): {ex.Message}");
|
||||
}
|
||||
|
||||
// 3. WebImageViewer の再生URLを決定
|
||||
BuildViewerUrl(info);
|
||||
|
||||
// 4. RSS アイテムの日付を決定(設定・優先順位に基づく)
|
||||
ResolvePublishDate(info);
|
||||
|
||||
return info;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// WebImageViewer の再生リンクを統一URL方式(https://udukipc-web.armonica-vps.work/?url=[ページURL])で生成します。
|
||||
/// </summary>
|
||||
private static void BuildViewerUrl(EroterestArticleInfo info)
|
||||
{
|
||||
string baseViewer = MovieEroterestConfig.WebImageViewerBaseUrl.TrimEnd('/');
|
||||
|
||||
// 統一URLパターン: https://udukipc-web.armonica-vps.work/?url=[各ページURL]
|
||||
// 優先度: 実動画URL > エロタレスト記事URL > 中継ブログURL
|
||||
string targetUrl = !string.IsNullOrWhiteSpace(info.ActualVideoUrl)
|
||||
? info.ActualVideoUrl
|
||||
: (!string.IsNullOrWhiteSpace(info.ArticlePageUrl)
|
||||
? info.ArticlePageUrl
|
||||
: (!string.IsNullOrWhiteSpace(info.DestinationBlogUrl)
|
||||
? info.DestinationBlogUrl
|
||||
: $"https://movie.eroterest.net/page/{info.ArticleId}/"));
|
||||
|
||||
info.ViewerUrl = $"{baseViewer}/?url={Uri.EscapeDataString(targetUrl)}";
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// RSS の各アイテムの本文 HTML (Summary) を構築します。
|
||||
/// </summary>
|
||||
public static string BuildSummaryHtml(EroterestArticleInfo info)
|
||||
{
|
||||
var sb = new StringBuilder();
|
||||
|
||||
// 1. 最上部: WebImageViewer で動画を再生するボタンスタイルのバナー
|
||||
sb.Append("<div style=\"margin-bottom: 14px; padding: 12px 16px; background: rgba(225, 29, 72, 0.08); border-radius: 8px; border-left: 5px solid #e11d48;\">");
|
||||
sb.Append($"<p style=\"margin: 0 0 6px 0;\"><a href=\"{info.ViewerUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" style=\"font-weight: bold; font-size: 1.15em; color: #e11d48; text-decoration: none;\">▶ WebImageViewerで動画を再生する</a></p>");
|
||||
|
||||
// 実動画提供元・ブログ・エロタレストへの外部リンクリンク集
|
||||
sb.Append("<div style=\"font-size: 0.88em; color: #64748b; display: flex; gap: 10px; flex-wrap: wrap;\">");
|
||||
if (!string.IsNullOrWhiteSpace(info.ActualVideoUrl))
|
||||
{
|
||||
var siteLabel = !string.IsNullOrWhiteSpace(info.VideoSiteName) ? info.VideoSiteName.ToUpperInvariant() : "配信元";
|
||||
sb.Append($"<a href=\"{info.ActualVideoUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"color: #475569;\">🔗 {siteLabel} 公式ページ</a>");
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(info.DestinationBlogUrl))
|
||||
{
|
||||
var blogName = !string.IsNullOrWhiteSpace(info.DestinationBlogSiteName) ? info.DestinationBlogSiteName : "元まとめ記事";
|
||||
sb.Append($"<a href=\"{info.DestinationBlogUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"color: #475569;\">📝 {blogName}</a>");
|
||||
}
|
||||
sb.Append($"<a href=\"{info.ArticlePageUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"color: #475569;\">🎬 エロタレスト記事</a>");
|
||||
sb.Append("</div>");
|
||||
sb.Append("</div>");
|
||||
|
||||
// 2. タイトルリンク
|
||||
sb.Append($"<div style=\"margin-bottom: 10px;\"><a href=\"{info.ViewerUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" style=\"font-size: 1.15em; font-weight: bold; color: #1e293b; text-decoration: none;\">{WebUtility.HtmlEncode(info.Title)}</a></div>");
|
||||
|
||||
// 3. 動画プレイヤー / サムネイル画像
|
||||
if (!string.IsNullOrWhiteSpace(info.StreamUrl))
|
||||
{
|
||||
// HLS / MP4 ストリーム動画プレビュー
|
||||
sb.Append("<div style=\"margin-bottom: 12px;\">");
|
||||
sb.Append($"<video controls preload=\"metadata\" poster=\"{info.ThumbnailUrl}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto; border-radius: 8px; box-shadow: 0 4px 12px rgba(0,0,0,0.15);\">");
|
||||
sb.Append($"<source src=\"{info.StreamUrl}\" type=\"application/x-mpegURL\">");
|
||||
sb.Append($"<p><a href=\"{info.ViewerUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">WebImageViewerで再生する</a></p>");
|
||||
sb.Append("</video>");
|
||||
sb.Append("</div>");
|
||||
}
|
||||
else if (!string.IsNullOrWhiteSpace(info.ThumbnailUrl))
|
||||
{
|
||||
// サムネイル画像
|
||||
sb.Append("<div style=\"margin-bottom: 12px;\">");
|
||||
sb.Append($"<a href=\"{info.ViewerUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">");
|
||||
sb.Append($"<img src=\"{info.ThumbnailUrl}\" referrerpolicy=\"no-referrer\" alt=\"{WebUtility.HtmlEncode(info.Title)}\" style=\"max-width: 100%; height: auto; border-radius: 8px; box-shadow: 0 4px 12px rgba(0,0,0,0.1);\">");
|
||||
sb.Append("</a>");
|
||||
sb.Append("</div>");
|
||||
}
|
||||
|
||||
// 4. メタ情報リスト(相対時間文字列や閲覧クリック数などの変動要素はハッシュ安定のため除外)
|
||||
sb.Append("<ul style=\"font-size: 0.9em; color: #475569; list-style-type: none; padding-left: 0; margin: 8px 0; line-height: 1.6;\">");
|
||||
if (info.ArticlePublishDate.HasValue)
|
||||
{
|
||||
sb.Append($"<li>📅 <strong>記事公開日:</strong> {info.ArticlePublishDate.Value:yyyy/MM/dd HH:mm}</li>");
|
||||
}
|
||||
if (info.VideoPublishDate.HasValue)
|
||||
{
|
||||
sb.Append($"<li>🎬 <strong>元動画公開日:</strong> {info.VideoPublishDate.Value:yyyy/MM/dd HH:mm}</li>");
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(info.Provider))
|
||||
{
|
||||
sb.Append($"<li>🏷 <strong>配信元・プロバイダ:</strong> {WebUtility.HtmlEncode(info.Provider)}</li>");
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(info.Duration))
|
||||
{
|
||||
sb.Append($"<li>⏱ <strong>再生時間:</strong> {WebUtility.HtmlEncode(info.Duration)}</li>");
|
||||
}
|
||||
if (info.Actresses.Count > 0)
|
||||
{
|
||||
var actressLinks = string.Join(" / ", info.Actresses.Select(a => $"<a href=\"https://movie.eroterest.net/?word={Uri.EscapeDataString(a)}\" target=\"_blank\" rel=\"noopener noreferrer\">{WebUtility.HtmlEncode(a)}</a>"));
|
||||
sb.Append($"<li>❤️ <strong>出演女優:</strong> {actressLinks}</li>");
|
||||
}
|
||||
if (info.Tags.Count > 0)
|
||||
{
|
||||
var tagLinks = string.Join(" | ", info.Tags.Select(t => $"<a href=\"https://movie.eroterest.net/?word={Uri.EscapeDataString(t)}\" target=\"_blank\" rel=\"noopener noreferrer\">{WebUtility.HtmlEncode(t)}</a>"));
|
||||
sb.Append($"<li>🏷 <strong>タグ:</strong> {tagLinks}</li>");
|
||||
}
|
||||
if (info.Words.Count > 0)
|
||||
{
|
||||
var wordLinks = string.Join(" ", info.Words.Take(15).Select(w => $"#{WebUtility.HtmlEncode(w)}"));
|
||||
sb.Append($"<li>🔍 <strong>キーワード:</strong> <span style=\"color: #64748b;\">{wordLinks}</span></li>");
|
||||
}
|
||||
sb.Append("</ul>");
|
||||
|
||||
// 5. 下部リンクバー
|
||||
sb.Append("<div style=\"margin-top: 12px; padding-top: 8px; border-top: 1px solid #e2e8f0; font-size: 0.95em;\">");
|
||||
sb.Append($"<a href=\"{info.ViewerUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" style=\"font-weight: bold; color: #e11d48; text-decoration: none;\">▶ WebImageViewerで全画面再生</a>");
|
||||
if (!string.IsNullOrWhiteSpace(info.ActualVideoUrl))
|
||||
{
|
||||
sb.Append($" | <a href=\"{info.ActualVideoUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"color: #64748b;\">公式配信先で視聴</a>");
|
||||
}
|
||||
sb.Append("</div>");
|
||||
|
||||
return sb.ToString();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// EroterestArticleInfo から SyndicationItem を生成します。
|
||||
/// </summary>
|
||||
public static SyndicationItem CreateSyndicationItem(EroterestArticleInfo info)
|
||||
{
|
||||
var itemUri = new Uri(info.ViewerUrl ?? info.ArticlePageUrl);
|
||||
var item = new SyndicationItem(
|
||||
info.Title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
CmnUtil.CreateGuid(info.ArticlePageUrl),
|
||||
info.PublishDate
|
||||
)
|
||||
{
|
||||
PublishDate = info.PublishDate,
|
||||
LastUpdatedTime = info.PublishDate
|
||||
};
|
||||
|
||||
// カテゴリの追加(重複排除し、キーワードも漏れなく追加)
|
||||
var seenCategories = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
void AddCategory(string? name)
|
||||
{
|
||||
var trimmed = name?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(trimmed) && seenCategories.Add(trimmed))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(trimmed));
|
||||
}
|
||||
}
|
||||
|
||||
// 配信元プロバイダ
|
||||
AddCategory(info.Provider);
|
||||
|
||||
// タグ
|
||||
foreach (var tag in info.Tags)
|
||||
{
|
||||
AddCategory(tag);
|
||||
}
|
||||
|
||||
// 出演女優
|
||||
foreach (var actress in info.Actresses)
|
||||
{
|
||||
AddCategory(actress);
|
||||
}
|
||||
|
||||
// キーワード(重複しないように追加)
|
||||
foreach (var word in info.Words)
|
||||
{
|
||||
AddCategory(word);
|
||||
}
|
||||
|
||||
// Summary HTML の設定
|
||||
var summaryHtml = BuildSummaryHtml(info);
|
||||
item.Summary = new TextSyndicationContent(summaryHtml, TextSyndicationContentKind.Html);
|
||||
|
||||
return item;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 相対URLを絶対URLに正規化します。
|
||||
/// </summary>
|
||||
private static string NormalizeUrl(string url, string baseUrl)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(url)) return string.Empty;
|
||||
if (url.StartsWith("//"))
|
||||
{
|
||||
return "https:" + url;
|
||||
}
|
||||
if (url.StartsWith("http://", StringComparison.OrdinalIgnoreCase) || url.StartsWith("https://", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
return url;
|
||||
}
|
||||
if (Uri.TryCreate(new Uri(baseUrl), url, out var combinedUri))
|
||||
{
|
||||
return combinedUri.ToString();
|
||||
}
|
||||
return url;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 設定および優先順位に基づいて RSS アイテムの公開日 (PublishDate) を決定します。
|
||||
/// </summary>
|
||||
public static void ResolvePublishDate(EroterestArticleInfo info)
|
||||
{
|
||||
if (MovieEroterestConfig.PreferOriginalVideoDateOverArticleDate && info.VideoPublishDate.HasValue)
|
||||
{
|
||||
info.PublishDate = info.VideoPublishDate.Value;
|
||||
}
|
||||
else if (info.ArticlePublishDate.HasValue)
|
||||
{
|
||||
info.PublishDate = info.ArticlePublishDate.Value;
|
||||
}
|
||||
else if (info.VideoPublishDate.HasValue)
|
||||
{
|
||||
info.PublishDate = info.VideoPublishDate.Value;
|
||||
}
|
||||
// フォールバック: 初期値 (DateTimeOffset.Now)
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 相対時間表記(例: "4秒前", "4分前", "11時間前", "1日前", "2か月前", "1年前")または絶対日付文字列から DateTimeOffset を算出します。
|
||||
/// </summary>
|
||||
public static DateTimeOffset? ParseRelativeOrAbsoluteDate(string? dateText, DateTimeOffset? referenceTime = null)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(dateText)) return null;
|
||||
|
||||
var text = dateText.Trim();
|
||||
var now = referenceTime ?? DateTimeOffset.Now;
|
||||
|
||||
// 1. 秒前
|
||||
var secMatch = Regex.Match(text, @"^(\d+)\s*秒前");
|
||||
if (secMatch.Success && int.TryParse(secMatch.Groups[1].Value, out int sec))
|
||||
{
|
||||
return now.AddSeconds(-sec);
|
||||
}
|
||||
|
||||
// 2. 分前
|
||||
var minMatch = Regex.Match(text, @"^(\d+)\s*分前");
|
||||
if (minMatch.Success && int.TryParse(minMatch.Groups[1].Value, out int min))
|
||||
{
|
||||
return now.AddMinutes(-min);
|
||||
}
|
||||
|
||||
// 3. 時間前
|
||||
var hourMatch = Regex.Match(text, @"^(\d+)\s*時間前");
|
||||
if (hourMatch.Success && int.TryParse(hourMatch.Groups[1].Value, out int hour))
|
||||
{
|
||||
return now.AddHours(-hour);
|
||||
}
|
||||
|
||||
// 4. 日前
|
||||
var dayMatch = Regex.Match(text, @"^(\d+)\s*日前");
|
||||
if (dayMatch.Success && int.TryParse(dayMatch.Groups[1].Value, out int day))
|
||||
{
|
||||
return now.AddDays(-day);
|
||||
}
|
||||
|
||||
// 5. か月前 / ヶ月前 / カ月前
|
||||
var monthMatch = Regex.Match(text, @"^(\d+)\s*(?:か月|ヶ月|カ月)前");
|
||||
if (monthMatch.Success && int.TryParse(monthMatch.Groups[1].Value, out int month))
|
||||
{
|
||||
return now.AddMonths(-month);
|
||||
}
|
||||
|
||||
// 6. 年前
|
||||
var yearMatch = Regex.Match(text, @"^(\d+)\s*年前");
|
||||
if (yearMatch.Success && int.TryParse(yearMatch.Groups[1].Value, out int year))
|
||||
{
|
||||
return now.AddYears(-year);
|
||||
}
|
||||
|
||||
// 7. 昨日・一昨日
|
||||
if (text.StartsWith("昨日"))
|
||||
{
|
||||
return now.AddDays(-1);
|
||||
}
|
||||
if (text.StartsWith("一昨日"))
|
||||
{
|
||||
return now.AddDays(-2);
|
||||
}
|
||||
|
||||
// 8. ISO 8601 または標準日時形式 (YYYY-MM-DD, YYYY/MM/DD 等)
|
||||
if (DateTimeOffset.TryParse(text, out var parsedDto))
|
||||
{
|
||||
return parsedDto;
|
||||
}
|
||||
|
||||
return null;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// サムネイル画像URLを正規化します。
|
||||
/// 特に eroimg.net は jpeg への外部アクセスが 403 で遮断され webp のみが許可されているため、
|
||||
/// /images/get/ -> /webp/get/ および .jpeg / .jpg -> .webp へ自動変換します。
|
||||
/// </summary>
|
||||
public static string? NormalizeThumbnailUrl(string? rawUrl, string? baseUrl = null)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(rawUrl)) return null;
|
||||
|
||||
var url = NormalizeUrl(rawUrl, baseUrl ?? MovieEroterestConfig.BaseUrl);
|
||||
if (string.IsNullOrWhiteSpace(url)) return null;
|
||||
|
||||
if (url.Contains("eroimg.net", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
// /images/get/ -> /webp/get/
|
||||
url = Regex.Replace(url, @"/images/get/", "/webp/get/", RegexOptions.IgnoreCase);
|
||||
// .jpeg / .jpg -> .webp
|
||||
url = Regex.Replace(url, @"\.(?:jpeg|jpg)$", ".webp", RegexOptions.IgnoreCase);
|
||||
}
|
||||
|
||||
return url;
|
||||
}
|
||||
}
|
||||
|
||||
@@ -0,0 +1,45 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Senzuri;
|
||||
|
||||
/// <summary>
|
||||
/// Senzuri (senzuri.tube) の動画解析リゾルバー
|
||||
/// </summary>
|
||||
internal class SenzuriSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "senzuri";
|
||||
public int Priority => 90;
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
return !string.IsNullOrWhiteSpace(url) && url.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
public Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult
|
||||
{
|
||||
VideoPageUrl = url,
|
||||
VideoSiteName = "senzuri"
|
||||
};
|
||||
|
||||
// 動画ID抽出 (例: /videos/10663687/...)
|
||||
var match = Regex.Match(url, @"/videos/([0-9]+)");
|
||||
if (match.Success)
|
||||
{
|
||||
result.VideoSiteId = match.Groups[1].Value;
|
||||
}
|
||||
|
||||
return Task.FromResult(result);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,48 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Txxx;
|
||||
|
||||
/// <summary>
|
||||
/// TXXX グループ (txxx.com, hclips.com, hdzog.com) の動画解析リゾルバー
|
||||
/// </summary>
|
||||
internal class TxxxSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "txxx";
|
||||
public int Priority => 90;
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
return !string.IsNullOrWhiteSpace(url) &&
|
||||
(url.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("hclips.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("hdzog.com", StringComparison.OrdinalIgnoreCase));
|
||||
}
|
||||
|
||||
public Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult
|
||||
{
|
||||
VideoPageUrl = url,
|
||||
VideoSiteName = "txxx"
|
||||
};
|
||||
|
||||
// 動画ID抽出 (例: /videos/21779209/...)
|
||||
var match = Regex.Match(url, @"/videos/([0-9]+)");
|
||||
if (match.Success)
|
||||
{
|
||||
result.VideoSiteId = match.Groups[1].Value;
|
||||
}
|
||||
|
||||
return Task.FromResult(result);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,45 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Upornia;
|
||||
|
||||
/// <summary>
|
||||
/// Upornia (upornia.com) の動画解析リゾルバー
|
||||
/// </summary>
|
||||
internal class UporniaSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "upornia";
|
||||
public int Priority => 90;
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
return !string.IsNullOrWhiteSpace(url) && url.Contains("upornia.com", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
public Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult
|
||||
{
|
||||
VideoPageUrl = url,
|
||||
VideoSiteName = "upornia"
|
||||
};
|
||||
|
||||
// 動画ID抽出 (例: /videos/6167135/...)
|
||||
var match = Regex.Match(url, @"/videos/([0-9]+)");
|
||||
if (match.Success)
|
||||
{
|
||||
result.VideoSiteId = match.Groups[1].Value;
|
||||
}
|
||||
|
||||
return Task.FromResult(result);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,45 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.Vjav;
|
||||
|
||||
/// <summary>
|
||||
/// VJAV (vjav.com) の動画解析リゾルバー
|
||||
/// </summary>
|
||||
internal class VjavSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "vjav";
|
||||
public int Priority => 90;
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
return !string.IsNullOrWhiteSpace(url) && url.Contains("vjav.com", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
public Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult
|
||||
{
|
||||
VideoPageUrl = url,
|
||||
VideoSiteName = "vjav"
|
||||
};
|
||||
|
||||
// 動画ID抽出 (例: /videos/123456/...)
|
||||
var match = Regex.Match(url, @"/videos/([0-9]+)");
|
||||
if (match.Success)
|
||||
{
|
||||
result.VideoSiteId = match.Groups[1].Value;
|
||||
}
|
||||
|
||||
return Task.FromResult(result);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,148 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Common;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.WordPressBlog;
|
||||
|
||||
/// <summary>
|
||||
/// 独立系・WordPress系まとめブログ (mirinend-world, sakusaku-mikumiku, piran-nha, etc.) の解析リゾルバー
|
||||
/// 記事本文から動画提供元リンクや別アンテナへのリンク、記事公開日を抽出します。
|
||||
/// </summary>
|
||||
internal class WordPressBlogSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "wordpress_blog";
|
||||
public int Priority => 60;
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(url)) return false;
|
||||
|
||||
// 主要な既知独立系まとめブログドメイン
|
||||
return url.Contains("mirinend-world.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("sakusaku-mikumiku.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("iroharuka.net", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("piran-nha.site", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("mimozaa.tokyo", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("erogin.xyz", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("dokiwakuch.site", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("free-adufull.click", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("gorilla-sene.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("erostudio.net", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("bakunyu-eroland.net", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("erodouga-onaking.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("fetishavinfo.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("adgjmptwsh228.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("shico.xyz", StringComparison.OrdinalIgnoreCase) ||
|
||||
url.Contains("happy-oppai.xyz", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
public async Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult();
|
||||
|
||||
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
|
||||
if (doc == null) return result;
|
||||
|
||||
// 1. 投稿日の抽出
|
||||
var dateEl = doc.QuerySelector(".entry-date, .post-date, time, .posted-on, .date");
|
||||
var dateText = dateEl?.TextContent?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
|
||||
{
|
||||
result.ArticlePublishDate = parsedDate;
|
||||
}
|
||||
|
||||
// 2. 本文および周辺リンクの走査
|
||||
// 特に主要な動画枠(#kabuse #douga, .entry-content, article)を優先
|
||||
var contentLinks = doc.QuerySelectorAll("#kabuse a, a#douga, .entry-content a, .post-content a, article a, main a");
|
||||
var allLinks = contentLinks.Length > 0 ? contentLinks : doc.QuerySelectorAll("a[href]");
|
||||
var seen = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
string? foundDirectVideoUrl = null;
|
||||
|
||||
foreach (var a in allLinks)
|
||||
{
|
||||
var href = a.GetAttribute("href")?.Trim();
|
||||
if (string.IsNullOrWhiteSpace(href) || href.Equals(url, StringComparison.OrdinalIgnoreCase)) continue;
|
||||
|
||||
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".jpeg", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".gif", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".webp", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".css", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".js", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("/tag/", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("/category/", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("/author/", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("movie.eroterest.net", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
if (!seen.Add(href)) continue;
|
||||
|
||||
// 動画リンクかどうかの判定
|
||||
bool isVideoUrl = href.Contains("inporn.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("bdsmx.tube", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("hclips.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("hdzog.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("video.laxd.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("adult.contents.fc2.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("vjav.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("spankbang.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("xvideos.com", StringComparison.OrdinalIgnoreCase);
|
||||
|
||||
if (isVideoUrl)
|
||||
{
|
||||
if (foundDirectVideoUrl == null)
|
||||
{
|
||||
foundDirectVideoUrl = href;
|
||||
}
|
||||
result.NextCandidateUrls.Insert(0, href);
|
||||
}
|
||||
else if (result.NextCandidateUrls.Count < 5) // 不要な大量リンクのエンキューを抑制
|
||||
{
|
||||
// 別アンテナ・まとめブログへのリンク候補
|
||||
if (href.Contains("archives/") || href.Contains("/entry/") || href.Contains(".html") || href.Contains("/page/"))
|
||||
{
|
||||
result.NextCandidateUrls.Add(href);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// 動画リンクが発見された場合は即座にリゾルバーで動画情報を解決
|
||||
if (!string.IsNullOrWhiteSpace(foundDirectVideoUrl))
|
||||
{
|
||||
var targetResolver = SiteResolverRegistry.GetResolver(foundDirectVideoUrl);
|
||||
var directResolve = await targetResolver.ResolveAsync(client, foundDirectVideoUrl, null, context, ct);
|
||||
if (directResolve.HasFinalVideo)
|
||||
{
|
||||
result.VideoPageUrl = directResolve.VideoPageUrl ?? foundDirectVideoUrl;
|
||||
result.VideoSiteName = directResolve.VideoSiteName;
|
||||
result.VideoSiteId = directResolve.VideoSiteId;
|
||||
result.StreamUrl = directResolve.StreamUrl;
|
||||
result.VideoUploadDate = directResolve.VideoUploadDate;
|
||||
}
|
||||
else
|
||||
{
|
||||
result.VideoPageUrl = foundDirectVideoUrl;
|
||||
}
|
||||
}
|
||||
|
||||
return result;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,45 @@
|
||||
using AngleSharp.Dom;
|
||||
using rss_generator.Class.Eroterest.Core;
|
||||
using System;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.Eroterest.YouJizz;
|
||||
|
||||
/// <summary>
|
||||
/// YouJizz (youjizz.com) の動画解析リゾルバー
|
||||
/// </summary>
|
||||
internal class YouJizzSiteResolver : IEroterestSiteResolver
|
||||
{
|
||||
public string SiteName => "youjizz";
|
||||
public int Priority => 90;
|
||||
|
||||
public bool CanHandle(string url, IDocument? doc = null)
|
||||
{
|
||||
return !string.IsNullOrWhiteSpace(url) && url.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
public Task<SiteResolveResult> ResolveAsync(
|
||||
HttpClient client,
|
||||
string url,
|
||||
IDocument? preloadedDoc,
|
||||
SiteResolveContext context,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var result = new SiteResolveResult
|
||||
{
|
||||
VideoPageUrl = url,
|
||||
VideoSiteName = "youjizz"
|
||||
};
|
||||
|
||||
// 動画ID抽出 (例: /videos/-74135932.html)
|
||||
var match = Regex.Match(url, @"/videos/(?:-)?([0-9]+)");
|
||||
if (match.Success)
|
||||
{
|
||||
result.VideoSiteId = match.Groups[1].Value;
|
||||
}
|
||||
|
||||
return Task.FromResult(result);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,523 @@
|
||||
using AngleSharp.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.IO;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.HentaiPaw;
|
||||
|
||||
/// <summary>
|
||||
/// ja.hentaipaw.com(エロモフ)の最新同人誌・漫画一覧を取得し、
|
||||
/// 公式ビュワーリンクやメタ情報を含む RSS フィード (hentaipaw.xml) を生成します。
|
||||
/// </summary>
|
||||
internal static class hentaipaw
|
||||
{
|
||||
private const string BaseUrl = "https://ja.hentaipaw.com";
|
||||
private const string TargetUrl = "https://ja.hentaipaw.com/";
|
||||
|
||||
/// <summary>
|
||||
/// 既存フィード記事の比較・キャッシュ用データ保持クラス
|
||||
/// </summary>
|
||||
private class ExistingFeedEntry
|
||||
{
|
||||
public string Title { get; set; } = string.Empty;
|
||||
public string SummaryHtml { get; set; } = string.Empty;
|
||||
public DateTimeOffset PublishDate { get; set; }
|
||||
public List<string> Categories { get; set; } = new();
|
||||
public List<string> Authors { get; set; } = new();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// ja.hentaipaw.com の最新同人誌・漫画 RSS を生成します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
/// <param name="sessionId">FlareSolverr セッションID(省略時は自動生成・自動破棄)</param>
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
var feed = new SyndicationFeed(
|
||||
"エロモフ - 最新エロ漫画・エロ同人",
|
||||
"ja.hentaipaw.com 最新エロ漫画・エロ同人誌",
|
||||
new Uri(TargetUrl)
|
||||
);
|
||||
var items = new List<SyndicationItem>();
|
||||
|
||||
try
|
||||
{
|
||||
// 既存の hentaipaw.xml から各記事(タイトル・本文・日時・カテゴリ)を読み込んでキャッシュ化
|
||||
var existingEntries = LoadExistingEntries("hentaipaw.xml");
|
||||
|
||||
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
|
||||
var document = await CmnUtil.GetDocumentFlareSolverr(client, TargetUrl, session: sessionId);
|
||||
if (document == null)
|
||||
{
|
||||
LogManager.AddLog("[警告] 【hentaipaw】 トップページの取得に失敗しました。");
|
||||
return;
|
||||
}
|
||||
|
||||
// 新着セクションのカード(Grid 2)から各作品カードリンクを取得
|
||||
var articleCards = document.QuerySelectorAll("a[href^='/articles/']")
|
||||
.Where(a => !string.Equals(a.GetAttribute("href"), "/articles/rank", StringComparison.OrdinalIgnoreCase))
|
||||
.ToList();
|
||||
|
||||
// カードに掲載されているカバー画像 URL を収集し、Last-Modified(公開・更新日時)を一括並列取得
|
||||
var coverImageUrls = articleCards
|
||||
.Select(card => card.QuerySelector("img")?.GetAttribute("src")?.Trim()
|
||||
?? card.QuerySelector("img")?.GetAttribute("data-src")?.Trim()
|
||||
?? string.Empty)
|
||||
.Where(src => !string.IsNullOrEmpty(src));
|
||||
var imageLastModifiedMap = await FetchImagesLastModifiedAsync(client, coverImageUrls);
|
||||
|
||||
var linkList = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
int itemIndex = 0;
|
||||
|
||||
foreach (var card in articleCards)
|
||||
{
|
||||
var relHref = card.GetAttribute("href")?.Trim() ?? string.Empty;
|
||||
if (string.IsNullOrEmpty(relHref))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var fullUrl = relHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
|
||||
? relHref
|
||||
: $"{BaseUrl.TrimEnd('/')}/{relHref.TrimStart('/')}";
|
||||
|
||||
// 重複URLのスキップ
|
||||
if (!linkList.Add(fullUrl))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
// タイトルを取得
|
||||
var titleDiv = card.QuerySelector("div[title]");
|
||||
var title = titleDiv?.GetAttribute("title")?.Trim()
|
||||
?? card.QuerySelector("img")?.GetAttribute("alt")?.Split(',').FirstOrDefault()?.Trim()
|
||||
?? card.TextContent?.Trim()
|
||||
?? "タイトルなし";
|
||||
|
||||
// サムネイル画像URLを取得
|
||||
var img = card.QuerySelector("img");
|
||||
var imgSrc = img?.GetAttribute("src")?.Trim() ?? img?.GetAttribute("data-src")?.Trim() ?? string.Empty;
|
||||
|
||||
// 記事IDの抽出
|
||||
var matchId = Regex.Match(relHref, @"/articles/(\d+)");
|
||||
string articleId = matchId.Success ? matchId.Groups[1].Value : relHref.TrimEnd('/').Split('/').Last();
|
||||
|
||||
string guid = CmnUtil.CreateGuid(fullUrl);
|
||||
var itemUri = new Uri(fullUrl);
|
||||
|
||||
// 既存キャッシュ判定(URL または GUID で検索)
|
||||
ExistingFeedEntry? prevEntry = null;
|
||||
if (existingEntries.TryGetValue(fullUrl, out var byUrl))
|
||||
{
|
||||
prevEntry = byUrl;
|
||||
}
|
||||
else if (existingEntries.TryGetValue(guid, out var byGuid))
|
||||
{
|
||||
prevEntry = byGuid;
|
||||
}
|
||||
|
||||
DateTimeOffset itemPubDate;
|
||||
string summaryHtml;
|
||||
var categories = new List<string>();
|
||||
var authors = new List<string>();
|
||||
|
||||
// カバー画像の Last-Modified から正確な個別公開日時を取得
|
||||
DateTimeOffset? detectedDate = null;
|
||||
if (!string.IsNullOrEmpty(imgSrc) && imageLastModifiedMap.TryGetValue(imgSrc, out var imgDate))
|
||||
{
|
||||
detectedDate = imgDate;
|
||||
}
|
||||
|
||||
if (prevEntry != null && !string.IsNullOrEmpty(prevEntry.SummaryHtml))
|
||||
{
|
||||
// 既に取得済みの記事はキャッシュを活用(FlareSolverrへのアクセスを削減)
|
||||
summaryHtml = prevEntry.SummaryHtml;
|
||||
|
||||
// 既存キャッシュに WebImageViewer のリンクが含まれていない場合はリンクを自動補完
|
||||
if (!summaryHtml.Contains("udukipc-web.armonica-vps.work/?url="))
|
||||
{
|
||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString($"https://ja.hentaipaw.com/articles/{articleId}")}";
|
||||
string viewerUrl = $"https://ja.hentaipaw.com/viewer?articleId={Uri.EscapeDataString(articleId)}&page=1";
|
||||
|
||||
// 上部案内ブロックに WebImageViewer リンクを挿入
|
||||
if (summaryHtml.Contains("📖 公式ビュワーで読む"))
|
||||
{
|
||||
summaryHtml = summaryHtml.Replace(
|
||||
@"<p style=""margin: 0 0 6px 0;""><a href=""" + viewerUrl,
|
||||
$@"<p style=""margin: 0 0 6px 0;""><a href=""{galleryUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: bold; font-size: 1.1em; color: #2563eb; text-decoration: none;"">🖼️ WebImageViewerで読む</a></p><p style=""margin: 0 0 6px 0;""><a href=""" + viewerUrl);
|
||||
}
|
||||
else
|
||||
{
|
||||
summaryHtml = $@"<div><a href=""{galleryUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">[Gallery]</a></div>" + summaryHtml;
|
||||
}
|
||||
|
||||
// [Gallery] リンクがなければ追加
|
||||
if (!summaryHtml.Contains("[Gallery]"))
|
||||
{
|
||||
if (summaryHtml.Contains(@"</div><div style=""margin-bottom: 8px;"">"))
|
||||
{
|
||||
summaryHtml = summaryHtml.Replace(
|
||||
@"</div><div style=""margin-bottom: 8px;"">",
|
||||
$@"</div><div><a href=""{galleryUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">[Gallery]</a></div><div style=""margin-bottom: 8px;"">");
|
||||
}
|
||||
}
|
||||
|
||||
// カバー画像のリンク先を galleryUrl に差し替え
|
||||
if (summaryHtml.Contains($@"<a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer""><img"))
|
||||
{
|
||||
summaryHtml = summaryHtml.Replace(
|
||||
$@"<a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer""><img",
|
||||
$@"<a href=""{galleryUrl}"" target=""_blank"" rel=""noopener noreferrer""><img");
|
||||
}
|
||||
|
||||
// 下部リンクに WebImageViewer を追加
|
||||
if (summaryHtml.Contains($@"<a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: bold; color: #2563eb;"">📖 公式ビュワーで読む</a>"))
|
||||
{
|
||||
summaryHtml = summaryHtml.Replace(
|
||||
$@"<a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: bold; color: #2563eb;"">📖 公式ビュワーで読む</a>",
|
||||
$@"<a href=""{galleryUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: bold; color: #2563eb;"">🖼️ WebImageViewerで読む</a> | <a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""color: #3b82f6;"">📖 公式ビュワーで読む</a>");
|
||||
}
|
||||
}
|
||||
|
||||
categories.AddRange(prevEntry.Categories);
|
||||
authors.AddRange(prevEntry.Authors);
|
||||
|
||||
// キャッシュされた日時は、カバー画像の日時が取得できればそちらに更新(過去の生成日時キャッシュを修復)
|
||||
itemPubDate = detectedDate ?? (prevEntry.PublishDate != DateTimeOffset.MinValue
|
||||
? prevEntry.PublishDate
|
||||
: new DateTimeOffset(DateTime.Now.AddSeconds(-itemIndex)));
|
||||
}
|
||||
else
|
||||
{
|
||||
// 新規記事の場合、個別ページから詳細メタ情報を取得
|
||||
string? author = null;
|
||||
string? circle = null;
|
||||
string? parody = null;
|
||||
var characters = new List<string>();
|
||||
var tags = new List<string>();
|
||||
string? language = null;
|
||||
string? category = null;
|
||||
|
||||
try
|
||||
{
|
||||
var detailDoc = await CmnUtil.GetDocumentFlareSolverr(client, fullUrl, session: sessionId);
|
||||
if (detailDoc != null)
|
||||
{
|
||||
// タイトルの更新
|
||||
var h1Title = detailDoc.QuerySelector("h1")?.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(h1Title))
|
||||
{
|
||||
title = h1Title;
|
||||
}
|
||||
|
||||
// カバー画像の更新
|
||||
var detailImg = detailDoc.QuerySelector("img[src*='imagedeliveries.com']") ?? detailDoc.QuerySelector("div#article-details img");
|
||||
var detailImgSrc = detailImg?.GetAttribute("src")?.Trim();
|
||||
if (!string.IsNullOrEmpty(detailImgSrc))
|
||||
{
|
||||
imgSrc = detailImgSrc;
|
||||
}
|
||||
|
||||
// メタ情報タグ群 (#article-tag-information)
|
||||
var rows = detailDoc.QuerySelectorAll("#article-tag-information .flex.flex-wrap");
|
||||
foreach (var row in rows)
|
||||
{
|
||||
var label = row.QuerySelector("h3")?.TextContent?.Trim()?.Replace(":", "")?.Replace("<!-- -->", "")?.Trim() ?? string.Empty;
|
||||
var values = row.QuerySelectorAll("a div, a, p")
|
||||
.Select(e => e.TextContent.Trim())
|
||||
.Where(v => !string.IsNullOrEmpty(v) && !string.Equals(v, "N/A", StringComparison.OrdinalIgnoreCase))
|
||||
.Distinct()
|
||||
.ToList();
|
||||
|
||||
if (values.Count == 0)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
if (label.Contains("作者") || label.Contains("作家"))
|
||||
{
|
||||
author = values[0];
|
||||
authors.AddRange(values);
|
||||
categories.AddRange(values);
|
||||
}
|
||||
else if (label.Contains("サークル"))
|
||||
{
|
||||
circle = values[0];
|
||||
categories.AddRange(values);
|
||||
}
|
||||
else if (label.Contains("原作"))
|
||||
{
|
||||
parody = values[0];
|
||||
categories.AddRange(values);
|
||||
}
|
||||
else if (label.Contains("キャラクター"))
|
||||
{
|
||||
characters.AddRange(values);
|
||||
categories.AddRange(values);
|
||||
}
|
||||
else if (label.Contains("タグ"))
|
||||
{
|
||||
tags.AddRange(values);
|
||||
categories.AddRange(values);
|
||||
}
|
||||
else if (label.Contains("言語"))
|
||||
{
|
||||
language = values[0];
|
||||
categories.AddRange(values);
|
||||
}
|
||||
else if (label.Contains("カテゴリー"))
|
||||
{
|
||||
category = values[0];
|
||||
categories.AddRange(values);
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] hentaipaw 詳細ページ取得失敗 ({fullUrl}): {ex.Message}");
|
||||
}
|
||||
|
||||
// カバー画像の日時を最終決定(詳細ページで imgSrc が変更された場合のフォールバック含む)
|
||||
if (!string.IsNullOrEmpty(imgSrc))
|
||||
{
|
||||
if (imageLastModifiedMap.TryGetValue(imgSrc, out var updatedDate))
|
||||
{
|
||||
detectedDate = updatedDate;
|
||||
}
|
||||
else if (!detectedDate.HasValue)
|
||||
{
|
||||
detectedDate = await GetImageLastModifiedAsync(client, imgSrc);
|
||||
if (detectedDate.HasValue)
|
||||
{
|
||||
imageLastModifiedMap[imgSrc] = detectedDate.Value;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
itemPubDate = detectedDate ?? new DateTimeOffset(DateTime.Now.AddSeconds(-itemIndex));
|
||||
|
||||
// 本文 HTML (Summary) の生成
|
||||
var body = new StringBuilder();
|
||||
string viewerUrl = $"https://ja.hentaipaw.com/viewer?articleId={Uri.EscapeDataString(articleId)}&page=1";
|
||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString($"https://ja.hentaipaw.com/articles/{articleId}")}";
|
||||
|
||||
// 1. WebImageViewer リンク & 公式ビュワーリンク & 外部リンク
|
||||
body.Append($@"<div style=""margin-bottom: 12px; padding: 10px 14px; background: rgba(59, 130, 246, 0.08); border-radius: 8px; border-left: 4px solid #3b82f6;"">");
|
||||
body.Append($@"<p style=""margin: 0 0 6px 0;""><a href=""{galleryUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: bold; font-size: 1.1em; color: #2563eb; text-decoration: none;"">🖼️ WebImageViewerで読む</a></p>");
|
||||
body.Append($@"<p style=""margin: 0 0 6px 0;""><a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: 500; font-size: 0.95em; color: #3b82f6; text-decoration: none;"">📖 公式ビュワーで読む</a></p>");
|
||||
body.Append($@"<p style=""margin: 0; font-size: 0.9em; color: #64748b;""><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">エロモフ公式ページで開く</a></p>");
|
||||
body.Append($@"</div>");
|
||||
|
||||
// 2. [Gallery] リンク(他サイトとの統一)
|
||||
body.Append($@"<div><a href=""{galleryUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">[Gallery]</a></div>");
|
||||
|
||||
// 3. タイトルリンク
|
||||
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"" style=""font-size: 1.1em; font-weight: bold; text-decoration: none;"">{WebUtility.HtmlEncode(title)}</a></div>");
|
||||
|
||||
// 4. カバー画像(リンク先を WebImageViewer に設定)
|
||||
if (!string.IsNullOrEmpty(imgSrc))
|
||||
{
|
||||
body.Append($@"<div style=""margin-bottom: 10px;"">");
|
||||
body.Append($@"<a href=""{galleryUrl}"" target=""_blank"" rel=""noopener noreferrer"">");
|
||||
body.Append($@"<img src=""{imgSrc}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; border-radius: 6px;"" />");
|
||||
body.Append($@"</a>");
|
||||
body.Append($@"</div>");
|
||||
}
|
||||
|
||||
// 5. メタ情報一覧
|
||||
body.Append(@"<ul style=""font-size: 0.9em; color: #555; list-style-type: none; padding-left: 0; margin: 6px 0;"">");
|
||||
if (!string.IsNullOrEmpty(author))
|
||||
{
|
||||
body.Append($@"<li>✍ <strong>作者:</strong> {WebUtility.HtmlEncode(author)}</li>");
|
||||
}
|
||||
if (!string.IsNullOrEmpty(circle))
|
||||
{
|
||||
body.Append($@"<li>🏢 <strong>サークル:</strong> {WebUtility.HtmlEncode(circle)}</li>");
|
||||
}
|
||||
if (!string.IsNullOrEmpty(parody))
|
||||
{
|
||||
body.Append($@"<li>📚 <strong>原作:</strong> {WebUtility.HtmlEncode(parody)}</li>");
|
||||
}
|
||||
if (characters.Count > 0)
|
||||
{
|
||||
body.Append($@"<li>👤 <strong>キャラクター:</strong> {WebUtility.HtmlEncode(string.Join(", ", characters))}</li>");
|
||||
}
|
||||
if (!string.IsNullOrEmpty(category))
|
||||
{
|
||||
body.Append($@"<li>📂 <strong>カテゴリー:</strong> {WebUtility.HtmlEncode(category)}</li>");
|
||||
}
|
||||
if (tags.Count > 0)
|
||||
{
|
||||
body.Append($@"<li>🏷 <strong>タグ:</strong> {WebUtility.HtmlEncode(string.Join(", ", tags))}</li>");
|
||||
}
|
||||
if (!string.IsNullOrEmpty(language))
|
||||
{
|
||||
body.Append($@"<li>🌐 <strong>言語:</strong> {WebUtility.HtmlEncode(language)}</li>");
|
||||
}
|
||||
body.Append(@"</ul>");
|
||||
|
||||
// 下部リンク
|
||||
body.Append($@"<p style=""margin-top: 10px;""><a href=""{galleryUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: bold; color: #2563eb;"">🖼️ WebImageViewerで読む</a> | <a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""color: #3b82f6;"">📖 公式ビュワーで読む</a> | <a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">エロモフ公式で作品を見る</a></p>");
|
||||
|
||||
summaryHtml = body.ToString();
|
||||
}
|
||||
|
||||
itemIndex++;
|
||||
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
guid,
|
||||
itemPubDate
|
||||
)
|
||||
{
|
||||
PublishDate = itemPubDate,
|
||||
LastUpdatedTime = itemPubDate,
|
||||
Summary = new TextSyndicationContent(summaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
foreach (var c in categories.Distinct())
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(c));
|
||||
}
|
||||
foreach (var a in authors.Distinct())
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = a });
|
||||
}
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
|
||||
feed.Items = items;
|
||||
await CmnUtil.ExportXMLFileAsync("hentaipaw.xml", feed, client, filter24Hours: false);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【hentaipaw】 {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 既存の hentaipaw.xml から各記事のエントリ情報を読み込み、キャッシュディクショナリを構築します。
|
||||
/// </summary>
|
||||
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||||
{
|
||||
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
try
|
||||
{
|
||||
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
|
||||
if (!File.Exists(xmlPath))
|
||||
{
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
using var reader = XmlReader.Create(xmlPath);
|
||||
var existingFeed = SyndicationFeed.Load(reader);
|
||||
if (existingFeed?.Items != null)
|
||||
{
|
||||
foreach (var item in existingFeed.Items)
|
||||
{
|
||||
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||
var guid = item.Id;
|
||||
var date = item.PublishDate != DateTimeOffset.MinValue
|
||||
? item.PublishDate
|
||||
: item.LastUpdatedTime;
|
||||
|
||||
var entry = new ExistingFeedEntry
|
||||
{
|
||||
Title = item.Title?.Text?.Trim() ?? string.Empty,
|
||||
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
|
||||
PublishDate = date,
|
||||
Categories = item.Categories.Select(c => c.Name).ToList(),
|
||||
Authors = item.Authors.Select(a => a.Name).ToList()
|
||||
};
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
|
||||
{
|
||||
existingEntries[linkUrl] = entry;
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
|
||||
{
|
||||
existingEntries[guid] = entry;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[情報] hentaipaw 既存エントリの読み込みスキップ: {ex.Message}");
|
||||
}
|
||||
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// カバー画像 URL 群の Last-Modified ヘッダーを一括並列取得し、URL と公開・更新日時(JST)のマッピングを返します。
|
||||
/// </summary>
|
||||
private static async Task<Dictionary<string, DateTimeOffset>> FetchImagesLastModifiedAsync(HttpClient client, IEnumerable<string> imageUrls)
|
||||
{
|
||||
var dict = new Dictionary<string, DateTimeOffset>(StringComparer.OrdinalIgnoreCase);
|
||||
var distinctUrls = imageUrls.Where(u => !string.IsNullOrEmpty(u)).Distinct(StringComparer.OrdinalIgnoreCase).ToList();
|
||||
if (distinctUrls.Count == 0)
|
||||
{
|
||||
return dict;
|
||||
}
|
||||
|
||||
var tasks = distinctUrls.Select(async url =>
|
||||
{
|
||||
var date = await GetImageLastModifiedAsync(client, url);
|
||||
return (Url: url, Date: date);
|
||||
});
|
||||
|
||||
var results = await Task.WhenAll(tasks);
|
||||
foreach (var r in results)
|
||||
{
|
||||
if (r.Date.HasValue)
|
||||
{
|
||||
dict[r.Url] = r.Date.Value;
|
||||
}
|
||||
}
|
||||
|
||||
return dict;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 単一のカバー画像 URL に対して HTTP HEAD リクエストを送信し、Last-Modified ヘッダーから公開・更新日時(JST)を取得します。
|
||||
/// </summary>
|
||||
private static async Task<DateTimeOffset?> GetImageLastModifiedAsync(HttpClient client, string imageUrl)
|
||||
{
|
||||
if (string.IsNullOrEmpty(imageUrl))
|
||||
{
|
||||
return null;
|
||||
}
|
||||
|
||||
try
|
||||
{
|
||||
using var req = new HttpRequestMessage(HttpMethod.Head, imageUrl);
|
||||
using var resp = await client.SendAsync(req, HttpCompletionOption.ResponseHeadersRead);
|
||||
if (resp.IsSuccessStatusCode && resp.Content.Headers.LastModified.HasValue)
|
||||
{
|
||||
// JST (+09:00) に変換
|
||||
return resp.Content.Headers.LastModified.Value.ToOffset(TimeSpan.FromHours(9));
|
||||
}
|
||||
}
|
||||
catch
|
||||
{
|
||||
// 取得失敗時は null を返す
|
||||
}
|
||||
|
||||
return null;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,332 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using AngleSharp.Html.Parser;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net.Http;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.HitomiLa;
|
||||
|
||||
internal class index_japanese
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
var baseURL = "https://hitomi.la/index-japanese.html";
|
||||
|
||||
var feed = new SyndicationFeed("hitomi.la", "", new Uri(baseURL));
|
||||
var items = new List<SyndicationItem>();
|
||||
|
||||
try
|
||||
{
|
||||
// 外部からセッションが渡されなかった場合は自前で作成
|
||||
bool ownSession = sessionId == null;
|
||||
if (ownSession)
|
||||
{
|
||||
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
|
||||
}
|
||||
try
|
||||
{
|
||||
var cutoff = DateTimeOffset.Now.AddHours(-24);
|
||||
for (int pageId = 1; pageId <= 5; pageId++)
|
||||
{
|
||||
var pageURL = pageId == 1 ? baseURL : $"{baseURL}?page={pageId}";
|
||||
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
|
||||
if (document == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var newItems = ParseGalleryItems(document, cutoff, out int totalCards);
|
||||
items.AddRange(newItems);
|
||||
|
||||
// ページ内に記事カードが存在したにもかかわらず24時間以内の記事が0件だった場合、
|
||||
// 新着順のためこれ以降のページもすべて24時間以上前と判断して取得を終了
|
||||
if (totalCards > 0 && newItems.Count == 0)
|
||||
{
|
||||
break;
|
||||
}
|
||||
}
|
||||
}
|
||||
finally
|
||||
{
|
||||
if (ownSession && sessionId != null)
|
||||
{
|
||||
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
|
||||
}
|
||||
}
|
||||
|
||||
// 既存フィードを読み込み、過去の公開日時・更新日時・本文HTMLを引き継ぐ
|
||||
var existingEntries = LoadExistingEntries("hitomi-japanese.xml");
|
||||
|
||||
// 既存エントリの引き継ぎとマージ
|
||||
var mergedDict = new Dictionary<string, SyndicationItem>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
// まず既存フィードの全アイテムを登録
|
||||
foreach (var kvp in existingEntries)
|
||||
{
|
||||
var entry = kvp.Value;
|
||||
if (!mergedDict.ContainsKey(entry.Guid))
|
||||
{
|
||||
var synItem = new SyndicationItem(
|
||||
entry.Title,
|
||||
(string?)null,
|
||||
!string.IsNullOrEmpty(entry.Link) ? new Uri(entry.Link) : null,
|
||||
entry.Guid,
|
||||
entry.PublishDate != DateTimeOffset.MinValue ? entry.PublishDate : entry.LastUpdatedTime
|
||||
)
|
||||
{
|
||||
PublishDate = entry.PublishDate != DateTimeOffset.MinValue ? entry.PublishDate : entry.LastUpdatedTime,
|
||||
LastUpdatedTime = entry.LastUpdatedTime != DateTimeOffset.MinValue ? entry.LastUpdatedTime : entry.PublishDate,
|
||||
Summary = new TextSyndicationContent(entry.SummaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
foreach (var author in entry.Authors)
|
||||
{
|
||||
synItem.Authors.Add(new SyndicationPerson { Name = author });
|
||||
}
|
||||
foreach (var category in entry.Categories)
|
||||
{
|
||||
synItem.Categories.Add(new SyndicationCategory(category));
|
||||
}
|
||||
mergedDict[entry.Guid] = synItem;
|
||||
}
|
||||
}
|
||||
|
||||
// 今回取得したアイテムを反映(既存がある場合は前回の公開日時・本文HTMLを最優先で維持)
|
||||
foreach (var newItem in items)
|
||||
{
|
||||
if (!string.IsNullOrEmpty(newItem.Id))
|
||||
{
|
||||
if (existingEntries.TryGetValue(newItem.Id, out var existing))
|
||||
{
|
||||
newItem.PublishDate = existing.PublishDate != DateTimeOffset.MinValue ? existing.PublishDate : newItem.PublishDate;
|
||||
newItem.LastUpdatedTime = existing.LastUpdatedTime != DateTimeOffset.MinValue ? existing.LastUpdatedTime : newItem.LastUpdatedTime;
|
||||
if (!string.IsNullOrWhiteSpace(existing.SummaryHtml))
|
||||
{
|
||||
newItem.Summary = new TextSyndicationContent(existing.SummaryHtml, TextSyndicationContentKind.Html);
|
||||
}
|
||||
}
|
||||
mergedDict[newItem.Id] = newItem;
|
||||
}
|
||||
}
|
||||
|
||||
// 重複除外とソート(新しい順)
|
||||
var finalItems = mergedDict.Values
|
||||
.OrderByDescending(x => x.PublishDate != DateTimeOffset.MinValue ? x.PublishDate : x.LastUpdatedTime)
|
||||
.Take(100)
|
||||
.ToList();
|
||||
|
||||
feed.Items = finalItems;
|
||||
|
||||
await CmnUtil.ExportXMLFileAsync("hitomi-japanese.xml", feed, client, filter24Hours: false);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] hitomi-japanese:{ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
|
||||
private static List<SyndicationItem> ParseGalleryItems(IDocument document, DateTimeOffset cutoff, out int totalCards)
|
||||
{
|
||||
var result = new List<SyndicationItem>();
|
||||
var cards = document.QuerySelectorAll(".gallery-content > div");
|
||||
totalCards = cards.Length;
|
||||
|
||||
foreach (var card in cards)
|
||||
{
|
||||
var titleElem = card.QuerySelector("h1.lillie a, h1 a");
|
||||
if (titleElem == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var title = titleElem.TextContent?.Trim() ?? "No Title";
|
||||
var relLink = titleElem.GetAttribute("href") ?? string.Empty;
|
||||
var linkHref = !string.IsNullOrEmpty(relLink)
|
||||
? (relLink.StartsWith("http") ? relLink : $"https://hitomi.la{(relLink.StartsWith("/") ? "" : "/")}{relLink}")
|
||||
: string.Empty;
|
||||
|
||||
if (string.IsNullOrEmpty(linkHref))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
// 作品IDの抽出
|
||||
string galleryId = "";
|
||||
var matchId = Regex.Match(linkHref, @"(\d+)\.html", RegexOptions.IgnoreCase);
|
||||
if (!matchId.Success)
|
||||
{
|
||||
matchId = Regex.Match(linkHref, @"(\d{5,})");
|
||||
}
|
||||
if (matchId.Success)
|
||||
{
|
||||
galleryId = matchId.Groups[1].Value;
|
||||
}
|
||||
|
||||
var item = new SyndicationItem
|
||||
{
|
||||
Title = new TextSyndicationContent(title),
|
||||
Id = CmnUtil.CreateGuid(linkHref)
|
||||
};
|
||||
|
||||
item.Links.Add(new SyndicationLink(new Uri(linkHref)));
|
||||
|
||||
// 投稿日時の取得
|
||||
var dateElem = card.QuerySelector(".date");
|
||||
var dateStr = dateElem?.GetAttribute("data-posted") ?? dateElem?.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(dateStr) && DateTimeOffset.TryParse(dateStr, out var parsedOffset))
|
||||
{
|
||||
var jstDate = parsedOffset.ToOffset(TimeSpan.FromHours(9)).DateTime;
|
||||
item.PublishDate = jstDate;
|
||||
item.LastUpdatedTime = jstDate;
|
||||
}
|
||||
else
|
||||
{
|
||||
item.PublishDate = DateTime.Now;
|
||||
item.LastUpdatedTime = DateTime.Now;
|
||||
}
|
||||
|
||||
// 24時間判定(カットオフより古い記事は取得対象外とする)
|
||||
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
// 作家の取得
|
||||
var artistElems = card.QuerySelectorAll(".artist-list li a");
|
||||
foreach (var artistElem in artistElems)
|
||||
{
|
||||
var artist = artistElem.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(artist) && !string.Equals(artist, "N/A", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = artist });
|
||||
item.Categories.Add(new SyndicationCategory(artist));
|
||||
}
|
||||
}
|
||||
|
||||
// シリーズの取得
|
||||
var seriesElems = card.QuerySelectorAll(".series-list li a");
|
||||
foreach (var seriesElem in seriesElems)
|
||||
{
|
||||
var series = seriesElem.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(series) && !string.Equals(series, "N/A", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(series));
|
||||
}
|
||||
}
|
||||
|
||||
// タイプの取得
|
||||
var typeElem = card.QuerySelector(".dj-desc a[href*='/type/']");
|
||||
if (typeElem != null)
|
||||
{
|
||||
var typeName = typeElem.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(typeName) && !string.Equals(typeName, "N/A", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(typeName));
|
||||
}
|
||||
}
|
||||
|
||||
// タグの取得
|
||||
var tagElems = card.QuerySelectorAll(".relatedtags li a");
|
||||
foreach (var tagElem in tagElems)
|
||||
{
|
||||
var tag = tagElem.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(tag))
|
||||
{
|
||||
// 記号(♀ ♂ など)をトリム
|
||||
tag = Regex.Replace(tag, @"[\s♀♂]+$", "").Trim();
|
||||
if (!string.IsNullOrEmpty(tag))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(tag));
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// サムネイル画像の取得
|
||||
var imgElem = card.QuerySelector("img");
|
||||
var imgSrc = imgElem?.GetAttribute("data-src") ?? imgElem?.GetAttribute("src") ?? string.Empty;
|
||||
if (!string.IsNullOrEmpty(imgSrc) && imgSrc.StartsWith("//"))
|
||||
{
|
||||
imgSrc = $"https:{imgSrc}";
|
||||
}
|
||||
|
||||
// HTML構築
|
||||
var body = new StringBuilder();
|
||||
if (!string.IsNullOrEmpty(linkHref))
|
||||
{
|
||||
// WebImageViewer統一リンク (https://udukipc-web.armonica-vps.work/?url=[ページURL])
|
||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(linkHref)}";
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
|
||||
body.Append($"</div>");
|
||||
}
|
||||
if (!string.IsNullOrEmpty(imgSrc))
|
||||
{
|
||||
// hitomi.laの画像サーバー(gold-usergeneratedcontent.net等)はRefererヘッダーが必須のため、
|
||||
// 自前の画像プロキシ(udukipc-web)を経由してReferer: https://hitomi.la/ を付与して取得させる
|
||||
string proxiedImgSrc = $"https://udukipc-web.armonica-vps.work/api/proxy-image?url={Uri.EscapeDataString(imgSrc)}&referer={Uri.EscapeDataString("https://hitomi.la/")}";
|
||||
|
||||
body.Append($"<div>");
|
||||
body.Append($"<img src=\"{proxiedImgSrc}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
|
||||
body.Append($"</div>");
|
||||
}
|
||||
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
result.Add(item);
|
||||
}
|
||||
|
||||
return result;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 既存の hitomi-japanese.xml を読み込み、GUIDおよびURLをキーとするキャッシュ辞書を返します。
|
||||
/// </summary>
|
||||
private static Dictionary<string, (string Guid, string Link, string Title, string SummaryHtml, DateTimeOffset PublishDate, DateTimeOffset LastUpdatedTime, List<string> Authors, List<string> Categories)> LoadExistingEntries(string fileName)
|
||||
{
|
||||
var dict = new Dictionary<string, (string Guid, string Link, string Title, string SummaryHtml, DateTimeOffset PublishDate, DateTimeOffset LastUpdatedTime, List<string> Authors, List<string> Categories)>(StringComparer.OrdinalIgnoreCase);
|
||||
var filePath = CmnUtil.GetExportXmlPath(fileName);
|
||||
if (!System.IO.File.Exists(filePath)) return dict;
|
||||
|
||||
try
|
||||
{
|
||||
using var reader = System.Xml.XmlReader.Create(filePath);
|
||||
var feed = SyndicationFeed.Load(reader);
|
||||
if (feed?.Items != null)
|
||||
{
|
||||
foreach (var item in feed.Items)
|
||||
{
|
||||
string guid = item.Id ?? string.Empty;
|
||||
string link = item.Links.FirstOrDefault()?.Uri?.ToString() ?? string.Empty;
|
||||
string title = item.Title?.Text ?? string.Empty;
|
||||
string summary = item.Summary?.Text ?? string.Empty;
|
||||
DateTimeOffset pubDate = item.PublishDate;
|
||||
DateTimeOffset lastUpdated = item.LastUpdatedTime;
|
||||
var authors = item.Authors.Select(a => a.Name).Where(n => !string.IsNullOrEmpty(n)).ToList();
|
||||
var categories = item.Categories.Select(c => c.Name).Where(n => !string.IsNullOrEmpty(n)).ToList();
|
||||
|
||||
var entry = (guid, link, title, summary, pubDate, lastUpdated, authors, categories);
|
||||
|
||||
if (!string.IsNullOrEmpty(guid) && !dict.ContainsKey(guid))
|
||||
{
|
||||
dict[guid] = entry;
|
||||
}
|
||||
if (!string.IsNullOrEmpty(link) && !dict.ContainsKey(link))
|
||||
{
|
||||
dict[link] = entry;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 【hitomi-japanese】 既存フィード読み込み失敗 ({fileName}): {ex.Message}");
|
||||
}
|
||||
return dict;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,547 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.IO;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.Net.Http;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.Json;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.JapaneseAvi;
|
||||
|
||||
/// <summary>
|
||||
/// japaneseavi.blogspot.com から記事情報を収集し、RSS フィード (japaneseavi.xml) を生成するクラスです。
|
||||
/// </summary>
|
||||
internal class japaneseavi
|
||||
{
|
||||
#region □定数(Private)
|
||||
|
||||
/// <summary>
|
||||
/// プロジェクト固有規則に基づく出力先ドメインディレクトリ名です。
|
||||
/// </summary>
|
||||
private const string DomainDir = "japaneseavi.blogspot.com";
|
||||
|
||||
/// <summary>
|
||||
/// キャッシュ判定用の最新フォーマット識別子です。
|
||||
/// </summary>
|
||||
private const string CacheFormatTag = "avi-format-v1";
|
||||
|
||||
#endregion
|
||||
|
||||
#region □クラス(Private)
|
||||
|
||||
/// <summary>
|
||||
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
|
||||
/// </summary>
|
||||
private sealed class ExistingFeedEntry
|
||||
{
|
||||
/// <summary>記事のタイトルを取得または設定します。</summary>
|
||||
public string Title { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>記事の本文 HTML (Summary) を取得または設定します。</summary>
|
||||
public string SummaryHtml { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>記事の初回公開日時を取得または設定します。</summary>
|
||||
public DateTimeOffset PublishDate { get; set; }
|
||||
|
||||
/// <summary>記事の最終更新日時を取得または設定します。</summary>
|
||||
public DateTimeOffset LastUpdatedTime { get; set; }
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// ダウンロードリンクの情報を保持する内部クラスです。
|
||||
/// </summary>
|
||||
private sealed class DownloadItem
|
||||
{
|
||||
/// <summary>プロバイダー名を取得または設定します。</summary>
|
||||
public string ProviderName { get; set; } = "Mediafire";
|
||||
|
||||
/// <summary>ダウンロード先 URL を取得または設定します。</summary>
|
||||
public string DownloadUrl { get; set; } = string.Empty;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 解析された記事詳細情報を保持する内部クラスです。
|
||||
/// </summary>
|
||||
private sealed class ArticleDetailInfo
|
||||
{
|
||||
/// <summary>品番(例: SOE-798, MXGS-422 等)を取得または設定します。</summary>
|
||||
public string ProductId { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>整形されたタイトル文字列を取得または設定します。</summary>
|
||||
public string CleanTitle { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>メディア形式(例: DVD, WMV 等)を取得または設定します。</summary>
|
||||
public string MediaFormat { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>メインカバー画像の URL を取得または設定します。</summary>
|
||||
public string ImageUrl { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>ダウンロードリンク一覧を取得または設定します。</summary>
|
||||
public List<DownloadItem> Downloads { get; set; } = new();
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Public)
|
||||
|
||||
/// <summary>
|
||||
/// japaneseavi.blogspot.com から記事情報を収集し、RSS フィード (japaneseavi.xml) を生成・出力します。
|
||||
/// プロジェクト固有規則に基づき、ドメイン別ディレクトリ output/japaneseavi.blogspot.com/ に出力します。
|
||||
/// </summary>
|
||||
/// <param name="client">HTTP 通信用 HttpClient</param>
|
||||
/// <returns>非同期タスク</returns>
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var feedUrl = "https://japaneseavi.blogspot.com/feeds/posts/default?alt=json&max-results=50";
|
||||
var fileName = "japaneseavi.xml";
|
||||
|
||||
var feed = new SyndicationFeed("Japanese Porn Movie XXX Mediafire", "japaneseavi.blogspot.com RSS Feed", new Uri("https://japaneseavi.blogspot.com/"));
|
||||
var items = new List<SyndicationItem>();
|
||||
|
||||
try
|
||||
{
|
||||
// 既存フィードの読み込み(ドメイン別サブディレクトリ)
|
||||
var existingEntries = LoadExistingEntries(fileName);
|
||||
|
||||
// Blogger JSON フィードを取得
|
||||
string jsonString = await client.GetStringAsync(feedUrl);
|
||||
using var jsonDoc = JsonDocument.Parse(jsonString);
|
||||
|
||||
if (!jsonDoc.RootElement.TryGetProperty("feed", out var feedElem) ||
|
||||
!feedElem.TryGetProperty("entry", out var entriesElem) ||
|
||||
entriesElem.ValueKind != JsonValueKind.Array)
|
||||
{
|
||||
LogManager.AddLog("[情報] 【japaneseavi】 エントリが見つかりませんでした。");
|
||||
return;
|
||||
}
|
||||
|
||||
foreach (var entry in entriesElem.EnumerateArray())
|
||||
{
|
||||
// タイトル取得
|
||||
string rawTitle = string.Empty;
|
||||
if (entry.TryGetProperty("title", out var titleElem) &&
|
||||
titleElem.TryGetProperty("$t", out var titleTextElem))
|
||||
{
|
||||
rawTitle = titleTextElem.GetString() ?? string.Empty;
|
||||
}
|
||||
|
||||
// 記事リンクの取得
|
||||
string articleUrl = string.Empty;
|
||||
if (entry.TryGetProperty("link", out var linkArrayElem) && linkArrayElem.ValueKind == JsonValueKind.Array)
|
||||
{
|
||||
foreach (var linkElem in linkArrayElem.EnumerateArray())
|
||||
{
|
||||
if (linkElem.TryGetProperty("rel", out var relElem) && relElem.GetString() == "alternate" &&
|
||||
linkElem.TryGetProperty("href", out var hrefElem))
|
||||
{
|
||||
articleUrl = hrefElem.GetString() ?? string.Empty;
|
||||
break;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
if (string.IsNullOrWhiteSpace(articleUrl))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var itemUri = new Uri(articleUrl);
|
||||
var guid = CmnUtil.CreateGuid(articleUrl);
|
||||
|
||||
// 公開日時・更新日時の取得
|
||||
DateTimeOffset publishDate = DateTimeOffset.Now;
|
||||
DateTimeOffset updatedDate = DateTimeOffset.Now;
|
||||
if (entry.TryGetProperty("published", out var pubElem) && pubElem.TryGetProperty("$t", out var pubTextElem))
|
||||
{
|
||||
if (DateTimeOffset.TryParse(pubTextElem.GetString(), out var dt))
|
||||
{
|
||||
publishDate = dt;
|
||||
}
|
||||
}
|
||||
if (entry.TryGetProperty("updated", out var updElem) && updElem.TryGetProperty("$t", out var updTextElem))
|
||||
{
|
||||
if (DateTimeOffset.TryParse(updTextElem.GetString(), out var dt))
|
||||
{
|
||||
updatedDate = dt;
|
||||
}
|
||||
}
|
||||
|
||||
// 本文 HTML (content) の取得
|
||||
string rawContent = string.Empty;
|
||||
if (entry.TryGetProperty("content", out var contentElem) &&
|
||||
contentElem.TryGetProperty("$t", out var contentTextElem))
|
||||
{
|
||||
rawContent = contentTextElem.GetString() ?? string.Empty;
|
||||
}
|
||||
|
||||
existingEntries.TryGetValue(articleUrl, out var prevEntry);
|
||||
if (prevEntry == null && !string.IsNullOrEmpty(guid))
|
||||
{
|
||||
existingEntries.TryGetValue(guid, out prevEntry);
|
||||
}
|
||||
|
||||
// 最新フォーマット識別子 avi-format-v1 が含まれているキャッシュのみ再利用
|
||||
bool isLatestFormat = prevEntry != null &&
|
||||
prevEntry.SummaryHtml.Contains("avi-dl-section") &&
|
||||
prevEntry.SummaryHtml.Contains(CacheFormatTag);
|
||||
|
||||
SyndicationItem item;
|
||||
if (isLatestFormat && prevEntry != null)
|
||||
{
|
||||
// 【キャッシュヒット(未更新記事)】
|
||||
item = new SyndicationItem(
|
||||
prevEntry.Title,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
prevEntry.LastUpdatedTime
|
||||
)
|
||||
{
|
||||
PublishDate = prevEntry.PublishDate,
|
||||
LastUpdatedTime = prevEntry.LastUpdatedTime,
|
||||
Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
}
|
||||
else
|
||||
{
|
||||
// 【新規記事またはフォーマット更新記事】
|
||||
var detailInfo = ParseArticleContent(rawTitle, rawContent);
|
||||
|
||||
// フォルダ名用タイトルの構築: [品番] タイトル [メディア形式]
|
||||
string folderTitle = BuildFolderTitle(detailInfo, rawTitle);
|
||||
|
||||
// 本文 HTML の構築(フォルダ名コピー枠、タイトル表示、直下ダウンロードグリッド、高画質カバー画像)
|
||||
string summaryHtml = BuildSummaryHtml(detailInfo, folderTitle, itemUri);
|
||||
|
||||
item = new SyndicationItem(
|
||||
folderTitle,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
updatedDate
|
||||
)
|
||||
{
|
||||
PublishDate = publishDate,
|
||||
LastUpdatedTime = updatedDate,
|
||||
Summary = new TextSyndicationContent(summaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
}
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
|
||||
feed.Items = items;
|
||||
|
||||
// プロジェクト固有規則に従い、ドメイン名サブディレクトリ (output/japaneseavi.blogspot.com/japaneseavi.xml) に出力
|
||||
await CmnUtil.ExportXMLFileAsync(
|
||||
fileName,
|
||||
feed,
|
||||
client,
|
||||
addDir: DomainDir,
|
||||
embedBase64: false,
|
||||
filter24Hours: false);
|
||||
|
||||
LogManager.AddLog($"[情報] 【japaneseavi】 出力完了 - 記事数: {items.Count}");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【japaneseavi】 {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Private)
|
||||
|
||||
/// <summary>
|
||||
/// タイトルおよび本文 HTML から各種情報(品番、クリーンタイトル、メディア形式、画像、ダウンロードリンク)を抽出・解析します。
|
||||
/// </summary>
|
||||
private static ArticleDetailInfo ParseArticleContent(string rawTitle, string rawContent)
|
||||
{
|
||||
var info = new ArticleDetailInfo();
|
||||
|
||||
// 1. 品番(Product ID)の抽出(例: SOE-798, MXGS-422, ONSD-643, XV-1077, WDI-028, ONED-448 等)
|
||||
var pidMatch = Regex.Match(rawTitle, @"\b([A-Z0-9]{2,5}-\d{3,4})\b", RegexOptions.IgnoreCase);
|
||||
if (pidMatch.Success)
|
||||
{
|
||||
info.ProductId = pidMatch.Groups[1].Value.ToUpperInvariant();
|
||||
}
|
||||
|
||||
// 2. メディア形式(DVD, WMV 等)の抽出
|
||||
var formatMatch = Regex.Match(rawTitle, @"\[(DVD|WMV|MP4|AVI|HD|FHD)\]|\b(DVD|WMV|MP4|AVI)\b", RegexOptions.IgnoreCase);
|
||||
if (formatMatch.Success)
|
||||
{
|
||||
string fmt = !string.IsNullOrWhiteSpace(formatMatch.Groups[1].Value)
|
||||
? formatMatch.Groups[1].Value
|
||||
: formatMatch.Groups[2].Value;
|
||||
info.MediaFormat = fmt.ToUpperInvariant();
|
||||
}
|
||||
|
||||
// 3. タイトル文字列のクリーンアップ([CEN], [DVD], 品番などを整理)
|
||||
string clean = rawTitle;
|
||||
clean = Regex.Replace(clean, @"\[?CEN\]?", "", RegexOptions.IgnoreCase);
|
||||
clean = Regex.Replace(clean, @"\[(DVD|WMV|MP4|AVI|HD|FHD)\]", "", RegexOptions.IgnoreCase);
|
||||
if (!string.IsNullOrWhiteSpace(info.ProductId))
|
||||
{
|
||||
clean = Regex.Replace(clean, @"[\[\(\{]?" + Regex.Escape(info.ProductId) + @"[\]\)\}]?", "", RegexOptions.IgnoreCase);
|
||||
}
|
||||
|
||||
// 前後の記号や空白を整形
|
||||
clean = clean.Trim(' ', '-', '–', '—', ':', '・', '[', ']', '(', ')');
|
||||
clean = Regex.Replace(clean, @"\s{2,}", " ").Trim();
|
||||
info.CleanTitle = clean;
|
||||
|
||||
// 4. 高解像度メイン画像の抽出
|
||||
var imgMatch = Regex.Match(rawContent, @"<a[^>]+href=""([^""]+\.(?:jpg|jpeg|png|webp))""[^>]*>[\s\S]*?<img", RegexOptions.IgnoreCase);
|
||||
if (imgMatch.Success)
|
||||
{
|
||||
info.ImageUrl = imgMatch.Groups[1].Value;
|
||||
}
|
||||
else
|
||||
{
|
||||
var directImg = Regex.Match(rawContent, @"<img[^>]+src=""([^""]+)""", RegexOptions.IgnoreCase);
|
||||
if (directImg.Success)
|
||||
{
|
||||
info.ImageUrl = directImg.Groups[1].Value;
|
||||
}
|
||||
}
|
||||
|
||||
// 5. ダウンロードリンクの抽出
|
||||
var aMatches = Regex.Matches(rawContent, @"<a\s+[^>]*href=""([^""]+)""[^>]*>([\s\S]*?)</a>", RegexOptions.IgnoreCase);
|
||||
foreach (Match a in aMatches)
|
||||
{
|
||||
string href = a.Groups[1].Value;
|
||||
string text = Regex.Replace(a.Groups[2].Value, @"<[^>]+>", "").Trim();
|
||||
|
||||
// 画像リンクそのものは除外
|
||||
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".webp", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
if (href.Contains("adf.ly", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.Contains("mediafire.com", StringComparison.OrdinalIgnoreCase) ||
|
||||
text.Contains("download", StringComparison.OrdinalIgnoreCase) ||
|
||||
text.Contains("mediafire", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
string provider = "Mediafire";
|
||||
if (text.Contains("Mediafire", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
provider = "Mediafire";
|
||||
}
|
||||
|
||||
info.Downloads.Add(new DownloadItem
|
||||
{
|
||||
ProviderName = provider,
|
||||
DownloadUrl = href
|
||||
});
|
||||
}
|
||||
}
|
||||
|
||||
return info;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 解析情報から Windows のフォルダ名としてコピー可能なタイトル文字列を生成します。
|
||||
/// </summary>
|
||||
private static string BuildFolderTitle(ArticleDetailInfo info, string fallbackRawTitle)
|
||||
{
|
||||
var sb = new StringBuilder();
|
||||
|
||||
// 1. 品番を先頭に配置
|
||||
if (!string.IsNullOrWhiteSpace(info.ProductId))
|
||||
{
|
||||
sb.Append($"[{info.ProductId}] ");
|
||||
}
|
||||
|
||||
// 2. クリーンタイトル
|
||||
if (!string.IsNullOrWhiteSpace(info.CleanTitle))
|
||||
{
|
||||
sb.Append(info.CleanTitle);
|
||||
}
|
||||
else
|
||||
{
|
||||
sb.Append(fallbackRawTitle);
|
||||
}
|
||||
|
||||
// 3. メディア形式(末尾に付加)
|
||||
if (!string.IsNullOrWhiteSpace(info.MediaFormat) &&
|
||||
!sb.ToString().Contains(info.MediaFormat, StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
sb.Append($" [{info.MediaFormat}]");
|
||||
}
|
||||
|
||||
return SanitizeWindowsPath(sb.ToString().Trim());
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 整形された本文 HTML を生成します。
|
||||
/// フォルダ名コピー枠、タイトル表示、直下ダウンロードグリッド、高画質カバー画像を配置します。
|
||||
/// </summary>
|
||||
private static string BuildSummaryHtml(ArticleDetailInfo info, string folderTitle, Uri articleUri)
|
||||
{
|
||||
var sb = new StringBuilder();
|
||||
|
||||
// 1. バッジ
|
||||
sb.Append("<div style=\"margin-bottom: 12px;\">");
|
||||
sb.Append("<span style=\"display: inline-block; background-color: #c2185b; color: #ffffff; padding: 4px 10px; border-radius: 4px; font-weight: bold; font-size: 13px;\">🎬 JAV (Japanese Adult Video)</span>");
|
||||
if (!string.IsNullOrWhiteSpace(info.ProductId))
|
||||
{
|
||||
sb.Append($"<span style=\"display: inline-block; background-color: #374151; color: #ffffff; padding: 4px 8px; border-radius: 4px; font-size: 13px; font-weight: bold; margin-left: 8px;\">🏷️ {WebUtility.HtmlEncode(info.ProductId)}</span>");
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(info.MediaFormat))
|
||||
{
|
||||
sb.Append($"<span style=\"display: inline-block; background-color: #1976d2; color: #ffffff; padding: 4px 8px; border-radius: 4px; font-size: 13px; font-weight: bold; margin-left: 8px;\">💿 {WebUtility.HtmlEncode(info.MediaFormat)}</span>");
|
||||
}
|
||||
sb.Append("</div>");
|
||||
|
||||
// 2. フォルダ名用タイトルコピー枠(ワンクリック全選択コピー可能)
|
||||
sb.Append($"<div class=\"avi-folder-title {CacheFormatTag}\" style=\"background-color: #f3f4f6; border-left: 4px solid #374151; padding: 10px 14px; margin-bottom: 12px; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Helvetica, Arial, sans-serif; border-radius: 0 4px 4px 0;\">");
|
||||
sb.Append("<div style=\"font-size: 11px; font-weight: bold; color: #4b5563; margin-bottom: 4px;\">📁 フォルダ名用タイトル (コピー用):</div>");
|
||||
sb.Append($"<div style=\"font-size: 15px; font-weight: bold; color: #111827; user-select: all; -webkit-user-select: all;\">{WebUtility.HtmlEncode(folderTitle)}</div>");
|
||||
sb.Append("</div>");
|
||||
|
||||
// 3. タイトル・詳細情報ブロック
|
||||
sb.Append("<div class=\"avi-info-block\" style=\"background-color: #f8fafc; border-left: 4px solid #0284c7; padding: 8px 12px; margin-bottom: 12px; font-size: 14px; border-radius: 0 4px 4px 0;\">");
|
||||
if (!string.IsNullOrWhiteSpace(info.ProductId))
|
||||
{
|
||||
sb.Append($"<div style=\"margin-bottom: 4px;\"><strong style=\"color: #0369a1;\">品番 (Product ID):</strong> <span>{WebUtility.HtmlEncode(info.ProductId)}</span></div>");
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(info.CleanTitle))
|
||||
{
|
||||
sb.Append($"<div><strong style=\"color: #0369a1;\">作品名 (Title):</strong> <span>{WebUtility.HtmlEncode(info.CleanTitle)}</span></div>");
|
||||
}
|
||||
sb.Append("</div>");
|
||||
|
||||
// 4. ダウンロードセクション (avi-dl-section) - タイトル直下に整然としたグリッドレイアウトで配置
|
||||
if (info.Downloads.Any())
|
||||
{
|
||||
sb.Append("<div class=\"avi-dl-section\" style=\"background-color: #f7f9fa; border: 1px solid #cfd8dc; border-radius: 6px; padding: 14px; margin-top: 10px; margin-bottom: 14px; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Helvetica, Arial, sans-serif;\">");
|
||||
sb.Append("<h4 style=\"margin: 0 0 10px 0; font-size: 16px; border-bottom: 2px solid #e53935; padding-bottom: 6px; color: #c62828;\">");
|
||||
sb.Append("📥 ダウンロード (DOWNLOAD)");
|
||||
sb.Append("</h4>");
|
||||
|
||||
sb.Append("<div style=\"display: grid; grid-template-columns: repeat(auto-fill, minmax(200px, 1fr)); gap: 8px; margin-bottom: 6px;\">");
|
||||
|
||||
foreach (var dl in info.Downloads)
|
||||
{
|
||||
if (!string.IsNullOrWhiteSpace(dl.DownloadUrl))
|
||||
{
|
||||
sb.Append($"<a href=\"{dl.DownloadUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"display: flex; align-items: center; justify-content: center; gap: 6px; text-align: center; background-color: #1976d2; color: #ffffff; padding: 10px 14px; border-radius: 4px; text-decoration: none; font-weight: bold; font-size: 13px; box-shadow: 0 1px 3px rgba(0,0,0,0.12);\">");
|
||||
sb.Append($"<span>⬇️</span> <span>{WebUtility.HtmlEncode(dl.ProviderName)} Download</span>");
|
||||
sb.Append("</a>");
|
||||
}
|
||||
}
|
||||
|
||||
sb.Append("</div>");
|
||||
sb.Append("</div>");
|
||||
}
|
||||
|
||||
// 5. メインカバー画像(高画質表示)
|
||||
if (!string.IsNullOrWhiteSpace(info.ImageUrl))
|
||||
{
|
||||
sb.Append("<div style=\"margin-bottom: 14px; text-align: center;\">");
|
||||
sb.Append($"<img src=\"{info.ImageUrl}\" referrerpolicy=\"no-referrer\" alt=\"{WebUtility.HtmlEncode(folderTitle)}\" style=\"max-width: 100%; height: auto; border-radius: 4px; box-shadow: 0 2px 4px rgba(0,0,0,0.15);\" />");
|
||||
sb.Append("</div>");
|
||||
}
|
||||
|
||||
// 6. 記事ページへのリンク
|
||||
sb.Append("<div style=\"margin-top: 16px; padding-top: 10px; border-top: 1px solid #e0e0e0; font-size: 13px;\">");
|
||||
sb.Append($"<a href=\"{articleUri}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"color: #1976d2; text-decoration: none;\">🔗 japaneseavi.blogspot.com 記事ページを開く</a>");
|
||||
sb.Append("</div>");
|
||||
|
||||
return sb.ToString();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Windows のフォルダ名に使用できない記号文字を全角文字に置換します。
|
||||
/// </summary>
|
||||
private static string SanitizeWindowsPath(string name)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(name))
|
||||
{
|
||||
return string.Empty;
|
||||
}
|
||||
|
||||
return name
|
||||
.Replace('\\', '¥')
|
||||
.Replace('/', '/')
|
||||
.Replace(':', ':')
|
||||
.Replace('*', '*')
|
||||
.Replace('?', '?')
|
||||
.Replace('"', '”')
|
||||
.Replace('<', '<')
|
||||
.Replace('>', '>')
|
||||
.Replace('|', '|')
|
||||
.Trim();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。
|
||||
/// プロジェクト固有規則に基づき、ドメイン別サブディレクトリ(output/japaneseavi.blogspot.com/)内のファイルを読み込みます。
|
||||
/// </summary>
|
||||
/// <param name="fileName">XML ファイル名</param>
|
||||
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
|
||||
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||||
{
|
||||
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||||
try
|
||||
{
|
||||
string xmlPath = CmnUtil.GetExportXmlPath(fileName, addDir: DomainDir);
|
||||
if (!File.Exists(xmlPath))
|
||||
{
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
using var reader = XmlReader.Create(xmlPath);
|
||||
var existingFeed = SyndicationFeed.Load(reader);
|
||||
if (existingFeed?.Items != null)
|
||||
{
|
||||
foreach (var item in existingFeed.Items)
|
||||
{
|
||||
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||
var guid = item.Id;
|
||||
|
||||
var entry = new ExistingFeedEntry
|
||||
{
|
||||
Title = item.Title?.Text?.Trim() ?? string.Empty,
|
||||
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
|
||||
PublishDate = item.PublishDate != DateTimeOffset.MinValue
|
||||
? item.PublishDate
|
||||
: (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now),
|
||||
LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue
|
||||
? item.LastUpdatedTime
|
||||
: (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now)
|
||||
};
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
|
||||
{
|
||||
existingEntries[linkUrl] = entry;
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
|
||||
{
|
||||
existingEntries[guid] = entry;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[情報] japaneseavi 既存エントリ読み込みスキップ: {ex.Message}");
|
||||
}
|
||||
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
#endregion
|
||||
}
|
||||
@@ -4,8 +4,10 @@ using System;
|
||||
using System.Collections.Generic;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
namespace rss_generator.Class.Javtwi;
|
||||
|
||||
internal class javtwi
|
||||
{
|
||||
@@ -62,12 +64,35 @@ internal class javtwi
|
||||
|
||||
var title = CmnUtil.GetLastPathPart(linkHref);
|
||||
|
||||
var body = new StringBuilder();
|
||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
||||
// Twitter Snowflake ID から正確な投稿日時(JST)を逆算
|
||||
DateTime publishedDate = DateTime.Now;
|
||||
var match = Regex.Match(linkHref, @"/(\d{17,20})/");
|
||||
if (!match.Success && !string.IsNullOrEmpty(imageSrc))
|
||||
{
|
||||
match = Regex.Match(imageSrc, @"/(\d{17,20})/");
|
||||
}
|
||||
|
||||
body.Append($@"<video controls poster=""{imageUri}"" preload=""metadata"" style=""max-width: 100%; height: auto;"">");
|
||||
if (match.Success && long.TryParse(match.Groups[1].Value, out long snowflakeId))
|
||||
{
|
||||
try
|
||||
{
|
||||
// Twitter Snowflake ID (エポック: 1288834974657 ms = 2010-11-04 01:42:54.657 UTC)
|
||||
long unixMs = (snowflakeId >> 22) + 1288834974657L;
|
||||
var offset = DateTimeOffset.FromUnixTimeMilliseconds(unixMs).ToOffset(TimeSpan.FromHours(9));
|
||||
publishedDate = offset.DateTime;
|
||||
}
|
||||
catch
|
||||
{
|
||||
publishedDate = DateTime.Now;
|
||||
}
|
||||
}
|
||||
|
||||
var body = new StringBuilder();
|
||||
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
|
||||
|
||||
body.Append($@"<video controls poster=""{imageUri}"" preload=""metadata"" referrerpolicy=""no-referrer"" style=""max-width: 100%; height: auto;"">");
|
||||
body.Append($@"<source src=""{itemUri}"" type=""video/mp4"">");
|
||||
body.Append($@"<p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"">動画を開く (.mp4)</a></p>");
|
||||
body.Append($@"<p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">動画を開く (.mp4)</a></p>");
|
||||
body.Append($@"</video>");
|
||||
|
||||
var item = new SyndicationItem(
|
||||
@@ -75,8 +100,12 @@ internal class javtwi
|
||||
string.Empty,
|
||||
itemUri,
|
||||
CmnUtil.CreateGuid(linkHref),
|
||||
DateTime.Now // 取得できた公開日時があればそれをセット
|
||||
);
|
||||
publishedDate
|
||||
)
|
||||
{
|
||||
PublishDate = publishedDate,
|
||||
LastUpdatedTime = publishedDate
|
||||
};
|
||||
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
||||
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
||||
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
||||
@@ -87,11 +116,11 @@ internal class javtwi
|
||||
|
||||
feed.Items = items;
|
||||
|
||||
CmnUtil.ExportXMLFile("javtwi.xml", feed);
|
||||
await CmnUtil.ExportXMLFileAsync("javtwi.xml", feed, client);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] javtwi:{ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【javtwi】 {ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,651 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.IO;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.Net.Http;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.Json;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.Jpfiles;
|
||||
|
||||
/// <summary>
|
||||
/// jpfiles.net から最新記事を収集し、RSS フィード (jpfiles.xml) を生成・出力するクラスです。
|
||||
/// </summary>
|
||||
internal class jpfiles
|
||||
{
|
||||
#region □定数(Private)
|
||||
|
||||
/// <summary>
|
||||
/// プロジェクト固有規則に基づく出力先ドメインディレクトリ名です。
|
||||
/// </summary>
|
||||
private const string DomainDir = "jpfiles.net";
|
||||
|
||||
/// <summary>
|
||||
/// キャッシュ判定用の最新フォーマット識別子です。
|
||||
/// </summary>
|
||||
private const string CacheFormatTag = "jpfiles-format-v2";
|
||||
|
||||
#endregion
|
||||
|
||||
#region □クラス(Private)
|
||||
|
||||
/// <summary>
|
||||
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
|
||||
/// </summary>
|
||||
private sealed class ExistingFeedEntry
|
||||
{
|
||||
/// <summary>記事のタイトルを取得または設定します。</summary>
|
||||
public string Title { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>記事の本文 HTML (Summary) を取得または設定します。</summary>
|
||||
public string SummaryHtml { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>記事の初回公開日時を取得または設定します。</summary>
|
||||
public DateTimeOffset PublishDate { get; set; }
|
||||
|
||||
/// <summary>記事の最終更新日時を取得または設定します。</summary>
|
||||
public DateTimeOffset LastUpdatedTime { get; set; }
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 各種アップローダーのダウンロードリンク情報を保持する内部クラスです。
|
||||
/// </summary>
|
||||
private sealed class DownloadItem
|
||||
{
|
||||
/// <summary>プロバイダー名(Rapidgator, Katfile, Nitroflare 等)を取得または設定します。</summary>
|
||||
public string ProviderName { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>ダウンロード用 URL を取得または設定します。</summary>
|
||||
public string Url { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>パート名またはファイル名表示(例: Part 1, Part 2, Full)を取得または設定します。</summary>
|
||||
public string PartLabel { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>ボタンスタイルの背景色カラーコードを取得または設定します。</summary>
|
||||
public string BgColor { get; set; } = "#1976d2";
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 解析された記事詳細情報を保持する内部クラスです。
|
||||
/// </summary>
|
||||
private sealed class ArticleInfo
|
||||
{
|
||||
/// <summary>記事 ID を取得または設定します。</summary>
|
||||
public long Id { get; set; }
|
||||
|
||||
/// <summary>記事の URL を取得または設定します。</summary>
|
||||
public string Url { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>元記事の生のタイトルを取得または設定します。</summary>
|
||||
public string RawTitle { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>Windows フォルダ名用に整形されたタイトルを取得または設定します。</summary>
|
||||
public string CleanTitle { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>カテゴリ・品番タグ(例: [BDRIP], [DVDRIP], [Onlyfans] 等)を取得または設定します。</summary>
|
||||
public string CategoryTag { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>記事の公開日時を取得または設定します。</summary>
|
||||
public DateTimeOffset PublishDate { get; set; }
|
||||
|
||||
/// <summary>カバー画像の URL を取得または設定します。</summary>
|
||||
public string CoverImageUrl { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>カバー画像の原寸リンク URL を取得または設定します。</summary>
|
||||
public string CoverOriginalUrl { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>ダウンロードリンク一覧を取得または設定します。</summary>
|
||||
public List<DownloadItem> Downloads { get; set; } = new();
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Public)
|
||||
|
||||
/// <summary>
|
||||
/// jpfiles.net から記事情報を収集し、RSS フィード (jpfiles.xml) を生成・出力します。
|
||||
/// プロジェクト固有規則に基づき、ドメイン別ディレクトリ output/jpfiles.net/ に出力します。
|
||||
/// </summary>
|
||||
/// <param name="client">HTTP 通信用 HttpClient</param>
|
||||
/// <returns>非同期タスク</returns>
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var feedUrl = "https://jpfiles.net/wp-json/wp/v2/posts?per_page=50";
|
||||
var fileName = "jpfiles.xml";
|
||||
|
||||
var feed = new SyndicationFeed(
|
||||
"jpfiles.net 最新ダウンロード",
|
||||
"jpfiles.net の最新記事およびダイレクトダウンロードリンク一覧",
|
||||
new Uri("https://jpfiles.net/"));
|
||||
|
||||
var items = new List<SyndicationItem>();
|
||||
|
||||
try
|
||||
{
|
||||
// 既存フィードの読み込み(ドメイン別サブディレクトリ output/jpfiles.net/jpfiles.xml)
|
||||
var existingEntries = LoadExistingEntries(fileName);
|
||||
|
||||
// WordPress REST API から JSON データを取得
|
||||
using var request = new HttpRequestMessage(HttpMethod.Get, feedUrl);
|
||||
request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
|
||||
|
||||
var response = await client.SendAsync(request);
|
||||
response.EnsureSuccessStatusCode();
|
||||
|
||||
var jsonString = await response.Content.ReadAsStringAsync();
|
||||
using var jsonDoc = JsonDocument.Parse(jsonString);
|
||||
|
||||
if (jsonDoc.RootElement.ValueKind != JsonValueKind.Array)
|
||||
{
|
||||
LogManager.AddLog("[情報] 【jpfiles】 記事データが配列形式ではありませんでした。");
|
||||
return;
|
||||
}
|
||||
|
||||
foreach (var postElem in jsonDoc.RootElement.EnumerateArray())
|
||||
{
|
||||
var id = postElem.TryGetProperty("id", out var idElem) ? idElem.GetInt64() : 0;
|
||||
var articleUrl = postElem.TryGetProperty("link", out var linkElem) ? linkElem.GetString() ?? string.Empty : string.Empty;
|
||||
|
||||
var rawTitle = string.Empty;
|
||||
if (postElem.TryGetProperty("title", out var titleElem) &&
|
||||
titleElem.TryGetProperty("rendered", out var titleTextElem))
|
||||
{
|
||||
rawTitle = titleTextElem.GetString() ?? string.Empty;
|
||||
}
|
||||
|
||||
var contentHtml = string.Empty;
|
||||
if (postElem.TryGetProperty("content", out var contentElem) &&
|
||||
contentElem.TryGetProperty("rendered", out var contentTextElem))
|
||||
{
|
||||
contentHtml = contentTextElem.GetString() ?? string.Empty;
|
||||
}
|
||||
|
||||
// 公開日時 (date または date_gmt) を日本時間 (JST = UTC+9) として厳密に解釈
|
||||
var pubDate = DateTimeOffset.Now;
|
||||
if (postElem.TryGetProperty("date", out var dateElem) &&
|
||||
DateTime.TryParse(dateElem.GetString(), out var parsedLocal))
|
||||
{
|
||||
// date はサイト現地時刻(日本時間相当の文字列)のため JST (+09:00) として解釈
|
||||
pubDate = new DateTimeOffset(parsedLocal, TimeSpan.FromHours(9));
|
||||
}
|
||||
else if (postElem.TryGetProperty("date_gmt", out var dateGmtElem) &&
|
||||
DateTime.TryParse(dateGmtElem.GetString(), out var parsedGmt))
|
||||
{
|
||||
// date_gmt は GMT/UTC のため UTC として設定後に JST (+09:00) へ変換
|
||||
var utcDate = DateTime.SpecifyKind(parsedGmt, DateTimeKind.Utc);
|
||||
pubDate = new DateTimeOffset(utcDate).ToOffset(TimeSpan.FromHours(9));
|
||||
}
|
||||
|
||||
if (string.IsNullOrWhiteSpace(articleUrl) || string.IsNullOrWhiteSpace(rawTitle))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
// プロジェクト共通仕様に基づく一意な GUID (SHA512ハッシュ) の生成
|
||||
var guid = CmnUtil.CreateGuid(articleUrl);
|
||||
|
||||
// 既存キャッシュの確認
|
||||
if (existingEntries.TryGetValue(articleUrl, out var cached) &&
|
||||
!string.IsNullOrWhiteSpace(cached.SummaryHtml) &&
|
||||
cached.SummaryHtml.Contains(CacheFormatTag))
|
||||
{
|
||||
var item = new SyndicationItem(
|
||||
cached.Title,
|
||||
cached.SummaryHtml,
|
||||
new Uri(articleUrl),
|
||||
guid,
|
||||
cached.LastUpdatedTime)
|
||||
{
|
||||
PublishDate = cached.PublishDate
|
||||
};
|
||||
items.Add(item);
|
||||
continue;
|
||||
}
|
||||
|
||||
// 記事の解析
|
||||
var article = ParseArticle(id, rawTitle, contentHtml, articleUrl, pubDate);
|
||||
|
||||
// 本文 HTML の生成
|
||||
var summaryHtml = GenerateSummaryHtml(article);
|
||||
|
||||
var newItem = new SyndicationItem(
|
||||
article.CleanTitle,
|
||||
summaryHtml,
|
||||
new Uri(article.Url),
|
||||
guid,
|
||||
article.PublishDate)
|
||||
{
|
||||
PublishDate = article.PublishDate
|
||||
};
|
||||
|
||||
items.Add(newItem);
|
||||
}
|
||||
|
||||
// 既存フィードのうち API に含まれなかった未重複記事をマージ(最大100件まで保持)
|
||||
foreach (var kvp in existingEntries)
|
||||
{
|
||||
var oldGuid = CmnUtil.CreateGuid(kvp.Key);
|
||||
if (items.Any(i => i.Id == oldGuid || i.Links.Any(l => l.Uri.ToString().Equals(kvp.Key, StringComparison.OrdinalIgnoreCase))))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var oldItem = new SyndicationItem(
|
||||
kvp.Value.Title,
|
||||
kvp.Value.SummaryHtml,
|
||||
new Uri(kvp.Key),
|
||||
oldGuid,
|
||||
kvp.Value.LastUpdatedTime)
|
||||
{
|
||||
PublishDate = kvp.Value.PublishDate
|
||||
};
|
||||
items.Add(oldItem);
|
||||
|
||||
if (items.Count >= 100)
|
||||
{
|
||||
break;
|
||||
}
|
||||
}
|
||||
|
||||
feed.Items = items;
|
||||
|
||||
// ドメイン別ディレクトリ output/jpfiles.net/jpfiles.xml に出力
|
||||
await CmnUtil.ExportXMLFileAsync(
|
||||
fileName,
|
||||
feed,
|
||||
client,
|
||||
addDir: DomainDir,
|
||||
embedBase64: false,
|
||||
filter24Hours: false);
|
||||
|
||||
LogManager.AddLog($"[情報] 【jpfiles】 出力完了: {items.Count} 件 (フォルダ: {DomainDir})");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【jpfiles】 RSS生成処理中にエラーが発生しました: {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Private)
|
||||
|
||||
/// <summary>
|
||||
/// 既存の RSS フィードファイルから記事情報を読み込み、URL をキーとする辞書として取得します。
|
||||
/// </summary>
|
||||
/// <param name="fileName">読み込む XML ファイル名</param>
|
||||
/// <returns>既存記事辞書</returns>
|
||||
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||||
{
|
||||
var result = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||||
var filePath = CmnUtil.GetExportXmlPath(fileName, DomainDir);
|
||||
|
||||
if (!File.Exists(filePath))
|
||||
{
|
||||
return result;
|
||||
}
|
||||
|
||||
try
|
||||
{
|
||||
using var reader = XmlReader.Create(filePath);
|
||||
var feed = SyndicationFeed.Load(reader);
|
||||
|
||||
if (feed?.Items == null)
|
||||
{
|
||||
return result;
|
||||
}
|
||||
|
||||
foreach (var item in feed.Items)
|
||||
{
|
||||
var link = item.Links.FirstOrDefault()?.Uri?.ToString() ?? item.Id;
|
||||
if (string.IsNullOrWhiteSpace(link) || result.ContainsKey(link))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var title = item.Title?.Text ?? string.Empty;
|
||||
var summary = item.Summary?.Text ?? string.Empty;
|
||||
|
||||
result[link] = new ExistingFeedEntry
|
||||
{
|
||||
Title = title,
|
||||
SummaryHtml = summary,
|
||||
PublishDate = item.PublishDate,
|
||||
LastUpdatedTime = item.LastUpdatedTime
|
||||
};
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 【jpfiles】 既存フィード読み込み中にエラーが発生しました: {ex.Message}");
|
||||
}
|
||||
|
||||
return result;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 生のタイトルおよび本文 HTML から記事詳細情報(タイトル整形、画像、ダウンロードリンク)を解析します。
|
||||
/// </summary>
|
||||
/// <param name="id">記事 ID</param>
|
||||
/// <param name="rawTitle">生のタイトル文字列</param>
|
||||
/// <param name="contentHtml">本文 HTML</param>
|
||||
/// <param name="articleUrl">記事の URL</param>
|
||||
/// <param name="pubDate">公開日時</param>
|
||||
/// <returns>解析された記事詳細情報</returns>
|
||||
private static ArticleInfo ParseArticle(long id, string rawTitle, string contentHtml, string articleUrl, DateTimeOffset pubDate)
|
||||
{
|
||||
var decodedTitle = WebUtility.HtmlDecode(rawTitle).Trim();
|
||||
|
||||
// カテゴリタグの抽出(例: [BDRIP], [DVDRIP], [Onlyfans], [Minisuka] 等)
|
||||
var categoryTag = string.Empty;
|
||||
var tagMatch = Regex.Match(decodedTitle, @"^\s*(\[[^\]]+\])");
|
||||
if (tagMatch.Success)
|
||||
{
|
||||
categoryTag = tagMatch.Groups[1].Value.Trim();
|
||||
}
|
||||
|
||||
// Windows フォルダ名禁止文字の全角置換
|
||||
var cleanTitle = SanitizeForWindows(decodedTitle);
|
||||
|
||||
var article = new ArticleInfo
|
||||
{
|
||||
Id = id,
|
||||
Url = articleUrl,
|
||||
RawTitle = decodedTitle,
|
||||
CleanTitle = cleanTitle,
|
||||
CategoryTag = categoryTag,
|
||||
PublishDate = pubDate
|
||||
};
|
||||
|
||||
// 画像の抽出(Pixhost または TurboImageHost 等)
|
||||
ExtractImages(contentHtml, article);
|
||||
|
||||
// ダウンロードリンクの抽出(Rapidgator, Katfile, Nitroflare, Frdl 等)
|
||||
article.Downloads = ExtractDownloads(contentHtml);
|
||||
|
||||
return article;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 本文 HTML からサムネイル画像および原寸表示用 URL を抽出して記事情報に設定します。
|
||||
/// </summary>
|
||||
/// <param name="contentHtml">本文 HTML</param>
|
||||
/// <param name="article">記事詳細情報オブジェクト</param>
|
||||
private static void ExtractImages(string contentHtml, ArticleInfo article)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(contentHtml))
|
||||
{
|
||||
return;
|
||||
}
|
||||
|
||||
// 1. サムネイル画像 <img src="..."> の抽出
|
||||
var imgMatches = Regex.Matches(contentHtml, @"<img[^>]+src=[""']([^""']+)[""']", RegexOptions.IgnoreCase);
|
||||
foreach (Match match in imgMatches)
|
||||
{
|
||||
var src = match.Groups[1].Value.Trim();
|
||||
if (string.IsNullOrWhiteSpace(src))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
// Pixhost サムネイル等の画像を採用
|
||||
if (src.Contains("pixhost.cc") || src.Contains("turboimagehost.com") || src.Contains(".jpg") || src.Contains(".png") || src.Contains(".webp"))
|
||||
{
|
||||
article.CoverImageUrl = src;
|
||||
break;
|
||||
}
|
||||
}
|
||||
|
||||
// 2. 原寸表示リンク <a href="https://pixhost.cc/show/..."> の抽出
|
||||
var aMatches = Regex.Matches(contentHtml, @"<a[^>]+href=[""']([^""']+)[""']", RegexOptions.IgnoreCase);
|
||||
foreach (Match match in aMatches)
|
||||
{
|
||||
var href = match.Groups[1].Value.Trim();
|
||||
if (href.Contains("pixhost.cc/show/") || href.Contains("turboimagehost.com/p/"))
|
||||
{
|
||||
article.CoverOriginalUrl = href;
|
||||
break;
|
||||
}
|
||||
}
|
||||
|
||||
// 原寸リンクが見つからず画像のみある場合は画像URLを代用
|
||||
if (string.IsNullOrWhiteSpace(article.CoverOriginalUrl) && !string.IsNullOrWhiteSpace(article.CoverImageUrl))
|
||||
{
|
||||
article.CoverOriginalUrl = article.CoverImageUrl;
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 本文 HTML から主要アップローダーのダウンロードリンクを抽出してリストとして取得します。
|
||||
/// </summary>
|
||||
/// <param name="contentHtml">本文 HTML</param>
|
||||
/// <returns>ダウンロードリンク一覧</returns>
|
||||
private static List<DownloadItem> ExtractDownloads(string contentHtml)
|
||||
{
|
||||
var downloads = new List<DownloadItem>();
|
||||
if (string.IsNullOrWhiteSpace(contentHtml))
|
||||
{
|
||||
return downloads;
|
||||
}
|
||||
|
||||
// 本文内のすべての <a href="..."> タグを探索
|
||||
var matches = Regex.Matches(contentHtml, @"<a[^>]+href=[""']([^""']+)[""'][^>]*>(.*?)</a>", RegexOptions.IgnoreCase | RegexOptions.Singleline);
|
||||
var seenUrls = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
foreach (Match match in matches)
|
||||
{
|
||||
var url = match.Groups[1].Value.Trim();
|
||||
if (string.IsNullOrWhiteSpace(url) || seenUrls.Contains(url))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
if (!Uri.TryCreate(url, UriKind.Absolute, out var uri))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var host = uri.Host.ToLowerInvariant();
|
||||
|
||||
// アップローダー判定とメタデータ付与
|
||||
string providerName;
|
||||
string bgColor;
|
||||
|
||||
if (host.Contains("rapidgator.net"))
|
||||
{
|
||||
providerName = "Rapidgator";
|
||||
bgColor = "#1976d2"; // ブルー
|
||||
}
|
||||
else if (host.Contains("katfile."))
|
||||
{
|
||||
providerName = "Katfile";
|
||||
bgColor = "#f57c00"; // オレンジ
|
||||
}
|
||||
else if (host.Contains("nitroflare.com"))
|
||||
{
|
||||
providerName = "Nitroflare";
|
||||
bgColor = "#d32f2f"; // レッド
|
||||
}
|
||||
else if (host.Contains("frdl.io"))
|
||||
{
|
||||
providerName = "Frdl";
|
||||
bgColor = "#388e3c"; // グリーン
|
||||
}
|
||||
else if (host.Contains("uploady.io"))
|
||||
{
|
||||
providerName = "Uploady";
|
||||
bgColor = "#7b1fa2"; // パープル
|
||||
}
|
||||
else if (host.Contains("mexashare.com") || host.Contains("rosefile.net") || host.Contains("alfafile.net") || host.Contains("ddownload.com"))
|
||||
{
|
||||
providerName = host;
|
||||
bgColor = "#455a64"; // ダークスレート
|
||||
}
|
||||
else
|
||||
{
|
||||
// Pixhost や jpfiles 内部リンクなどは除外
|
||||
continue;
|
||||
}
|
||||
|
||||
seenUrls.Add(url);
|
||||
|
||||
// パート情報またはファイル名ラベルの判定(URL 末尾から判定)
|
||||
var partLabel = DeterminePartLabel(url);
|
||||
|
||||
downloads.Add(new DownloadItem
|
||||
{
|
||||
ProviderName = providerName,
|
||||
Url = url,
|
||||
PartLabel = partLabel,
|
||||
BgColor = bgColor
|
||||
});
|
||||
}
|
||||
|
||||
return downloads;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// URL からパート情報(Part 1, Part 2 等)またはファイル名ラベルを判定します。
|
||||
/// </summary>
|
||||
/// <param name="url">ダウンロード URL</param>
|
||||
/// <returns>パート表示ラベル</returns>
|
||||
private static string DeterminePartLabel(string url)
|
||||
{
|
||||
var fileName = Path.GetFileName(new Uri(url).AbsolutePath);
|
||||
|
||||
// .part1.rar, .part2.rar などのパート表記を検出
|
||||
var partMatch = Regex.Match(fileName, @"\.part(\d+)\.", RegexOptions.IgnoreCase);
|
||||
if (partMatch.Success)
|
||||
{
|
||||
return $"Part {partMatch.Groups[1].Value}";
|
||||
}
|
||||
|
||||
// part1, part2 等
|
||||
var altPartMatch = Regex.Match(fileName, @"part(\d+)", RegexOptions.IgnoreCase);
|
||||
if (altPartMatch.Success)
|
||||
{
|
||||
return $"Part {altPartMatch.Groups[1].Value}";
|
||||
}
|
||||
|
||||
// 単一ファイルの場合、拡張子を含めて簡潔に表示
|
||||
if (!string.IsNullOrWhiteSpace(fileName))
|
||||
{
|
||||
return fileName.Length > 20 ? fileName.Substring(fileName.Length - 20) : fileName;
|
||||
}
|
||||
|
||||
return "ダウンロード";
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Windows のフォルダ名に使用できない禁止文字(\ / : * ? " < > |)を全角文字に置換します。
|
||||
/// </summary>
|
||||
/// <param name="text">対象文字列</param>
|
||||
/// <returns>置換後の安全な文字列</returns>
|
||||
private static string SanitizeForWindows(string text)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(text))
|
||||
{
|
||||
return string.Empty;
|
||||
}
|
||||
|
||||
var sb = new StringBuilder(text);
|
||||
sb.Replace('\\', '¥');
|
||||
sb.Replace('/', '/');
|
||||
sb.Replace(':', ':');
|
||||
sb.Replace('*', '*');
|
||||
sb.Replace('?', '?');
|
||||
sb.Replace('"', '”');
|
||||
sb.Replace('<', '<');
|
||||
sb.Replace('>', '>');
|
||||
sb.Replace('|', '|');
|
||||
|
||||
// 改行コードを除去
|
||||
sb.Replace("\r", " ").Replace("\n", " ");
|
||||
|
||||
return Regex.Replace(sb.ToString(), @"\s+", " ").Trim();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 記事詳細情報から、整形された視認性の高い本文 HTML を生成します。
|
||||
/// </summary>
|
||||
/// <param name="article">記事詳細情報オブジェクト</param>
|
||||
/// <returns>生成された本文 HTML</returns>
|
||||
private static string GenerateSummaryHtml(ArticleInfo article)
|
||||
{
|
||||
var sb = new StringBuilder();
|
||||
|
||||
// コンテナ開始(スタイル定義)
|
||||
sb.AppendLine($"<div style=\"font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'Helvetica Neue', Arial, sans-serif; line-height: 1.6; color: #212529; max-width: 800px; margin: 0 auto;\">");
|
||||
|
||||
// 1. バッジ・タグ表示および公開日時(日本時間)
|
||||
sb.AppendLine(" <div style=\"margin-bottom: 12px;\">");
|
||||
sb.AppendLine(" <span style=\"display: inline-block; background-color: #1a237e; color: #ffffff; padding: 3px 8px; font-size: 11px; font-weight: bold; border-radius: 4px; margin-right: 6px;\">JPFILES.NET</span>");
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(article.CategoryTag))
|
||||
{
|
||||
sb.AppendLine($" <span style=\"display: inline-block; background-color: #37474f; color: #ffffff; padding: 3px 8px; font-size: 11px; font-weight: bold; border-radius: 4px; margin-right: 6px;\">{WebUtility.HtmlEncode(article.CategoryTag)}</span>");
|
||||
}
|
||||
|
||||
sb.AppendLine($" <span style=\"display: inline-block; font-size: 11px; color: #6c757d; font-weight: bold; margin-left: 4px;\">📅 {article.PublishDate:yyyy/MM/dd HH:mm:ss} (JST)</span>");
|
||||
sb.AppendLine(" </div>");
|
||||
|
||||
// 2. コピー用フォルダ名枠(クリックで全選択できるワンクリックコピー仕様)
|
||||
sb.AppendLine(" <div style=\"margin-bottom: 16px; background-color: #f8f9fa; border: 1px solid #ced4da; border-radius: 6px; padding: 10px;\">");
|
||||
sb.AppendLine(" <div style=\"font-size: 11px; color: #6c757d; font-weight: bold; margin-bottom: 4px;\">📁 フォルダ名用タイトル(クリックで全選択)</div>");
|
||||
sb.AppendLine($" <input type=\"text\" readonly value=\"{WebUtility.HtmlEncode(article.CleanTitle)}\" onclick=\"this.select();\" style=\"width: 100%; padding: 6px 10px; font-size: 13px; font-family: Consolas, monospace; background-color: #ffffff; border: 1px solid #adb5bd; border-radius: 4px; box-sizing: border-box; cursor: pointer; color: #212529;\" />");
|
||||
sb.AppendLine(" </div>");
|
||||
|
||||
// 3. タイトル表示
|
||||
sb.AppendLine($" <h2 style=\"font-size: 17px; font-weight: bold; margin: 0 0 16px 0; color: #0d47a1; line-height: 1.4;\">{WebUtility.HtmlEncode(article.CleanTitle)}</h2>");
|
||||
|
||||
// 4. ダウンロードリンク群(タイトル直下にグリッド配置)
|
||||
if (article.Downloads.Count > 0)
|
||||
{
|
||||
sb.AppendLine(" <div style=\"margin-bottom: 20px; background-color: #e8eaf6; border: 1px solid #c5cae9; border-radius: 8px; padding: 14px;\">");
|
||||
sb.AppendLine(" <div style=\"font-size: 13px; font-weight: bold; color: #1a237e; margin-bottom: 10px;\">⚡ ダイレクト・ダウンロードリンク(直リンク)</div>");
|
||||
sb.AppendLine(" <div style=\"display: flex; flex-wrap: wrap; gap: 8px;\">");
|
||||
|
||||
foreach (var dl in article.Downloads)
|
||||
{
|
||||
var label = $"{dl.ProviderName} {dl.PartLabel}";
|
||||
sb.AppendLine($" <a href=\"{WebUtility.HtmlEncode(dl.Url)}\" target=\"_blank\" rel=\"noopener noreferrer\" style=\"display: inline-block; background-color: {dl.BgColor}; color: #ffffff; padding: 8px 14px; font-size: 12px; font-weight: bold; text-decoration: none; border-radius: 6px; box-shadow: 0 1px 3px rgba(0,0,0,0.15); transition: opacity 0.2s;\">⬇ {WebUtility.HtmlEncode(label)}</a>");
|
||||
}
|
||||
|
||||
sb.AppendLine(" </div>");
|
||||
sb.AppendLine(" </div>");
|
||||
}
|
||||
|
||||
// 5. カバー画像表示(サムネイル表示 & クリックで原寸表示)
|
||||
if (!string.IsNullOrWhiteSpace(article.CoverImageUrl))
|
||||
{
|
||||
var openUrl = !string.IsNullOrWhiteSpace(article.CoverOriginalUrl) ? article.CoverOriginalUrl : article.CoverImageUrl;
|
||||
sb.AppendLine(" <div style=\"text-align: center; margin: 20px 0;\">");
|
||||
sb.AppendLine($" <a href=\"{WebUtility.HtmlEncode(openUrl)}\" target=\"_blank\" rel=\"noopener noreferrer\">");
|
||||
sb.AppendLine($" <img src=\"{WebUtility.HtmlEncode(article.CoverImageUrl)}\" alt=\"{WebUtility.HtmlEncode(article.CleanTitle)}\" style=\"max-width: 100%; height: auto; border-radius: 6px; box-shadow: 0 2px 8px rgba(0,0,0,0.15); border: 1px solid #e0e0e0;\" />");
|
||||
sb.AppendLine(" </a>");
|
||||
sb.AppendLine(" <div style=\"font-size: 11px; color: #757575; margin-top: 6px;\">※画像クリックで高解像度表示</div>");
|
||||
sb.AppendLine(" </div>");
|
||||
}
|
||||
|
||||
// 6. 元記事リンクおよびフォーマット識別タグ
|
||||
sb.AppendLine(" <div style=\"margin-top: 20px; padding-top: 10px; border-top: 1px dashed #cccccc; font-size: 12px;\">");
|
||||
sb.AppendLine($" <a href=\"{WebUtility.HtmlEncode(article.Url)}\" target=\"_blank\" rel=\"noopener noreferrer\" style=\"color: #1565c0; text-decoration: underline;\">🌐 jpfiles.net の元記事を見る</a>");
|
||||
sb.AppendLine(" </div>");
|
||||
|
||||
// キャッシュ識別用タグ
|
||||
sb.AppendLine($" <!-- {CacheFormatTag} -->");
|
||||
|
||||
sb.AppendLine("</div>");
|
||||
|
||||
return sb.ToString();
|
||||
}
|
||||
|
||||
#endregion
|
||||
}
|
||||
@@ -0,0 +1,807 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.IO;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.Net.Http;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.KimochiInfo;
|
||||
|
||||
/// <summary>
|
||||
/// kimochi.info の Windows 向け日本語作品一覧から RSS フィード (kimochiinfo.xml) を生成するクラスです。
|
||||
/// </summary>
|
||||
internal class kimochiinfo
|
||||
{
|
||||
#region □定数(Private)
|
||||
|
||||
/// <summary>
|
||||
/// プロジェクト固有規則に基づく出力先ドメインディレクトリ名です。
|
||||
/// </summary>
|
||||
private const string DomainDir = "kimochi.info";
|
||||
|
||||
/// <summary>
|
||||
/// キャッシュ判定用の最新フォーマット識別子です。
|
||||
/// </summary>
|
||||
private const string CacheFormatTag = "kimochi-format-v1";
|
||||
|
||||
#endregion
|
||||
|
||||
#region □クラス(Private)
|
||||
|
||||
/// <summary>
|
||||
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
|
||||
/// </summary>
|
||||
private sealed class ExistingFeedEntry
|
||||
{
|
||||
/// <summary>
|
||||
/// 記事のタイトル(サークル名・バージョン表記を含む)を取得または設定します。
|
||||
/// </summary>
|
||||
public string Title { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>
|
||||
/// 記事の本文 HTML (Summary) を取得または設定します。
|
||||
/// </summary>
|
||||
public string SummaryHtml { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>
|
||||
/// 記事の初回公開日時を取得または設定します。
|
||||
/// </summary>
|
||||
public DateTimeOffset PublishDate { get; set; }
|
||||
|
||||
/// <summary>
|
||||
/// 記事の最終更新日時を取得または設定します。
|
||||
/// </summary>
|
||||
public DateTimeOffset LastUpdatedTime { get; set; }
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// ダウンロードリンクの情報を保持するクラスです。
|
||||
/// </summary>
|
||||
private sealed class DownloadItem
|
||||
{
|
||||
/// <summary>
|
||||
/// プロバイダー名(Google Drive, MediaFire, Workupload等)を取得または設定します。
|
||||
/// </summary>
|
||||
public string ProviderName { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>
|
||||
/// kimochi.info のオリジナルダウンロードURLを取得または設定します。
|
||||
/// </summary>
|
||||
public string RawUrl { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>
|
||||
/// 解決された直接の外部ストレージURL(Google Drive, MediaFire等)を取得または設定します。
|
||||
/// </summary>
|
||||
public string DirectStorageUrl { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>
|
||||
/// 最終的なリンク先URLを取得します。直リンクが解決されている場合は直リンク、それ以外は元URLを返します。
|
||||
/// </summary>
|
||||
public string FinalUrl => !string.IsNullOrWhiteSpace(this.DirectStorageUrl) ? this.DirectStorageUrl : this.RawUrl;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 解析された記事詳細情報を保持する内部クラスです。
|
||||
/// </summary>
|
||||
private sealed class ArticleDetailInfo
|
||||
{
|
||||
/// <summary>サークル名・開発元を取得または設定します。</summary>
|
||||
public string CircleName { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>日本語タイトルを取得または設定します。</summary>
|
||||
public string JapaneseTitle { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>バージョン情報を取得または設定します。</summary>
|
||||
public string VersionText { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>DLsite 等の公式ストア URL を取得または設定します。</summary>
|
||||
public string OfficialStoreUrl { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>メイン画像(カバー画像)の URL を取得または設定します。</summary>
|
||||
public string MainImageUrl { get; set; } = string.Empty;
|
||||
|
||||
/// <summary>ダウンロードリンク一覧を取得または設定します。</summary>
|
||||
public List<DownloadItem> Downloads { get; set; } = new();
|
||||
|
||||
/// <summary>本文解説の HTML を取得または設定します。</summary>
|
||||
public string BodyHtml { get; set; } = string.Empty;
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Public)
|
||||
|
||||
/// <summary>
|
||||
/// kimochi.info から記事情報を収集し、RSS フィード (kimochiinfo.xml) を生成・出力します。
|
||||
/// 既存のフィードが存在する場合は同一バージョンの記事情報をそのまま引き継ぎ、
|
||||
/// FreshRSS 等で「更新された記事を未読とする」が有効な場合でも不要な未読化が発生しないようにします。
|
||||
/// </summary>
|
||||
/// <param name="client">HTTP 通信用 HttpClient</param>
|
||||
/// <returns>非同期タスク</returns>
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var baseURL = "https://kimochi.info/browse/";
|
||||
var query = "?platform=windows";
|
||||
var fileName = "kimochiinfo.xml";
|
||||
|
||||
var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
// プロジェクト固有規則に従い、ドメイン別サブディレクトリ(output/kimochi.info/)から既存キャッシュを読込
|
||||
var existingEntries = LoadExistingEntries(fileName);
|
||||
|
||||
// 複数ページ(1〜5ページ)を取得
|
||||
var docList = new List<IDocument>();
|
||||
for (int pageId = 1; pageId <= 5; pageId++)
|
||||
{
|
||||
var pageURL = $"{baseURL}{(pageId > 1 ? $"/page/{pageId}{query}" : query)}";
|
||||
var document = await CmnUtil.GetDocument(client, pageURL);
|
||||
docList.Add(document);
|
||||
}
|
||||
|
||||
var linkList = new List<string>();
|
||||
foreach (var document in docList)
|
||||
{
|
||||
if (document == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var elements = document.QuerySelectorAll("main article>a");
|
||||
foreach (var linkElement in elements)
|
||||
{
|
||||
var imgElement = linkElement.QuerySelector("img");
|
||||
var imageSrc = (imgElement as IHtmlImageElement)?.Source ?? imgElement?.GetAttribute("src");
|
||||
var linkHref = linkElement.GetAttribute("href") ?? string.Empty;
|
||||
if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
||||
{
|
||||
if (linkHref.Last() == '?')
|
||||
{
|
||||
linkHref = linkHref.TrimEnd('?');
|
||||
}
|
||||
linkList.Add(linkHref);
|
||||
}
|
||||
else
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||
if (itemUri == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
// バージョン表記の取得
|
||||
var divVerElems = linkElement.QuerySelectorAll("div>div.tracking-wider");
|
||||
var versionText = "v1.0.0";
|
||||
foreach (var divVerElem in divVerElems)
|
||||
{
|
||||
versionText = Regex.Replace(divVerElem.TextContent, @"\s+", "");
|
||||
break;
|
||||
}
|
||||
|
||||
var h3Elem = linkElement.QuerySelector("h3");
|
||||
var rawTitle = h3Elem?.TextContent?.Replace("\t", "")?.Replace("\r", "")?.Replace("\n", "")?.Trim() ?? string.Empty;
|
||||
|
||||
// 日本語版 (JP) の判定
|
||||
var divContents = linkElement.QuerySelectorAll("h3+div>div");
|
||||
var isJP = false;
|
||||
if (divContents.Length > 2)
|
||||
{
|
||||
var span = divContents[1];
|
||||
if (span.TextContent.Contains("JP", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
isJP = true;
|
||||
}
|
||||
}
|
||||
if (!isJP)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var guid = CmnUtil.CreateGuid(linkHref);
|
||||
existingEntries.TryGetValue(linkHref, out var prevEntry);
|
||||
if (prevEntry == null && !string.IsNullOrEmpty(guid))
|
||||
{
|
||||
existingEntries.TryGetValue(guid, out prevEntry);
|
||||
}
|
||||
|
||||
// 最新フォーマット識別子 kimochi-format-v1 が含まれているキャッシュのみ再利用
|
||||
bool isLatestFormat = prevEntry != null &&
|
||||
prevEntry.SummaryHtml.Contains("kimochi-dl-section") &&
|
||||
prevEntry.SummaryHtml.Contains(CacheFormatTag);
|
||||
|
||||
SyndicationItem item;
|
||||
if (isLatestFormat && prevEntry != null)
|
||||
{
|
||||
// 【キャッシュヒット(未更新記事)】
|
||||
// 前回の本文HTMLおよび日時(PublishDate / LastUpdatedTime)をそのまま維持
|
||||
item = new SyndicationItem(
|
||||
prevEntry.Title,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
prevEntry.LastUpdatedTime
|
||||
)
|
||||
{
|
||||
PublishDate = prevEntry.PublishDate,
|
||||
LastUpdatedTime = prevEntry.LastUpdatedTime,
|
||||
Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
}
|
||||
else
|
||||
{
|
||||
// 【新規記事またはフォーマット更新記事】
|
||||
var docContents = await CmnUtil.GetDocument(client, linkHref);
|
||||
if (docContents == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var detailInfo = await ParseArticleDetailAsync(client, docContents, rawTitle, versionText, imageSrc ?? string.Empty);
|
||||
if (detailInfo == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
// フォルダ名用タイトルの構築: [サークル名] タイトル (バージョン)
|
||||
string folderTitle = BuildFolderTitle(detailInfo.CircleName, detailInfo.JapaneseTitle, detailInfo.VersionText);
|
||||
|
||||
// 本文 HTML の構築(フォルダ名コピー枠、タイトル表示、直リンク化済みダウンロードセクション、公式ストアボタン、カバー画像、解説)
|
||||
string summaryHtml = BuildSummaryHtml(detailInfo, folderTitle, itemUri);
|
||||
|
||||
var metaPubDate = CmnUtil.GetPublishedTimeAsJst(docContents);
|
||||
var metaModDate = CmnUtil.GetModifiedTimeAsJst(docContents);
|
||||
|
||||
DateTimeOffset publishDate;
|
||||
DateTimeOffset lastUpdatedTime;
|
||||
|
||||
if (prevEntry != null)
|
||||
{
|
||||
publishDate = prevEntry.PublishDate != DateTimeOffset.MinValue
|
||||
? prevEntry.PublishDate
|
||||
: (metaPubDate.HasValue ? new DateTimeOffset(metaPubDate.Value) : DateTimeOffset.Now);
|
||||
|
||||
lastUpdatedTime = metaModDate.HasValue
|
||||
? new DateTimeOffset(metaModDate.Value)
|
||||
: DateTimeOffset.Now;
|
||||
}
|
||||
else
|
||||
{
|
||||
publishDate = metaPubDate.HasValue
|
||||
? new DateTimeOffset(metaPubDate.Value)
|
||||
: (metaModDate.HasValue ? new DateTimeOffset(metaModDate.Value) : DateTimeOffset.Now);
|
||||
|
||||
lastUpdatedTime = metaModDate.HasValue
|
||||
? new DateTimeOffset(metaModDate.Value)
|
||||
: publishDate;
|
||||
}
|
||||
|
||||
item = new SyndicationItem(
|
||||
folderTitle,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
lastUpdatedTime
|
||||
)
|
||||
{
|
||||
PublishDate = publishDate,
|
||||
LastUpdatedTime = lastUpdatedTime,
|
||||
Summary = new TextSyndicationContent(summaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
}
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
// プロジェクト固有規則に従い、ドメイン名サブディレクトリ (output/kimochi.info/kimochiinfo.xml) に出力
|
||||
await CmnUtil.ExportXMLFileAsync(
|
||||
fileName,
|
||||
feed,
|
||||
client,
|
||||
addDir: DomainDir,
|
||||
embedBase64: false,
|
||||
filter24Hours: false);
|
||||
|
||||
LogManager.AddLog($"[情報] 【kimochiinfo】 出力完了 - 記事数: {items.Count}");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【kimochiinfo】 {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Private)
|
||||
|
||||
/// <summary>
|
||||
/// 記事詳細ページから各種情報(サークル名、タイトル、DLsiteリンク、ダウンロードリンク一覧、本文解説)を抽出・解析します。
|
||||
/// 各ダウンロードリンクの直接外部ストレージURL(Google Drive, MediaFire等)も非同期解決します。
|
||||
/// </summary>
|
||||
private static async Task<ArticleDetailInfo?> ParseArticleDetailAsync(
|
||||
HttpClient client,
|
||||
IDocument doc,
|
||||
string rawTitle,
|
||||
string versionText,
|
||||
string fallbackImageSrc)
|
||||
{
|
||||
var mainElem = doc.QuerySelector("main");
|
||||
if (mainElem == null)
|
||||
{
|
||||
return null;
|
||||
}
|
||||
|
||||
var info = new ArticleDetailInfo
|
||||
{
|
||||
VersionText = versionText
|
||||
};
|
||||
|
||||
// 1. サークル名・開発元の抽出 (a[href*="/developer/"] または a[href*="/publisher/"])
|
||||
var devLink = doc.QuerySelector("a[href*='/developer/'], a[href*='/publisher/']");
|
||||
if (devLink != null)
|
||||
{
|
||||
string devText = devLink.TextContent
|
||||
.Replace("Developer", "", StringComparison.OrdinalIgnoreCase)
|
||||
.Replace("Publisher", "", StringComparison.OrdinalIgnoreCase)
|
||||
.Replace("code", "", StringComparison.OrdinalIgnoreCase)
|
||||
.Trim();
|
||||
info.CircleName = SanitizeWindowsPath(devText);
|
||||
}
|
||||
|
||||
// 2. タイトルの抽出(H1 または一覧の rawTitle)
|
||||
var h1Elem = doc.QuerySelector("h1");
|
||||
string titleCandidate = h1Elem?.TextContent?.Trim() ?? rawTitle;
|
||||
string cleanTitle = RemoveProductIds(titleCandidate);
|
||||
info.JapaneseTitle = SanitizeWindowsPath(cleanTitle);
|
||||
|
||||
// 3. DLsite リンクの抽出
|
||||
var dlsiteLink = doc.QuerySelector("a[href*='dlsite.com']");
|
||||
if (dlsiteLink != null)
|
||||
{
|
||||
info.OfficialStoreUrl = dlsiteLink.GetAttribute("href") ?? string.Empty;
|
||||
}
|
||||
|
||||
// 4. メインカバー画像の抽出
|
||||
var mainImg = doc.QuerySelector("main img");
|
||||
string imgSrc = (mainImg as IHtmlImageElement)?.Source ?? mainImg?.GetAttribute("src") ?? fallbackImageSrc;
|
||||
info.MainImageUrl = imgSrc ?? string.Empty;
|
||||
|
||||
// 5. ダウンロードリンクの抽出と直リンク解決
|
||||
var dlElements = doc.QuerySelectorAll("a[href*='/download/']");
|
||||
var addedUrls = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
foreach (var dlElem in dlElements)
|
||||
{
|
||||
string href = dlElem.GetAttribute("href") ?? string.Empty;
|
||||
if (string.IsNullOrWhiteSpace(href) || !href.Contains("/download/") || href.Contains("/file/?dl="))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
// プロバイダー名の抽出(Google Drive, MediaFire, Workupload 等)
|
||||
string rawText = dlElem.TextContent ?? string.Empty;
|
||||
string providerName = CleanProviderName(rawText);
|
||||
|
||||
if (addedUrls.Add(href))
|
||||
{
|
||||
var dlItem = new DownloadItem
|
||||
{
|
||||
ProviderName = providerName,
|
||||
RawUrl = href
|
||||
};
|
||||
|
||||
// 直接外部ストレージURLの自動解決(待機カウントダウンを経由しない直リンク化)
|
||||
string directUrl = await ResolveDirectDownloadUrlAsync(client, href);
|
||||
if (!string.IsNullOrWhiteSpace(directUrl))
|
||||
{
|
||||
dlItem.DirectStorageUrl = directUrl;
|
||||
}
|
||||
|
||||
info.Downloads.Add(dlItem);
|
||||
}
|
||||
}
|
||||
|
||||
// 6. 本文解説(広告・トラッキング要素を除去)
|
||||
var divDetail = doc.QuerySelector("main>div>div") ?? mainElem;
|
||||
var cloneDetail = divDetail.Clone() as IElement;
|
||||
if (cloneDetail != null)
|
||||
{
|
||||
RemoveUnwantedElements(cloneDetail);
|
||||
|
||||
foreach (var a in cloneDetail.QuerySelectorAll("a"))
|
||||
{
|
||||
a.SetAttribute("target", "_blank");
|
||||
a.SetAttribute("rel", "noopener noreferrer");
|
||||
a.SetAttribute("referrerpolicy", "no-referrer");
|
||||
}
|
||||
foreach (var img in cloneDetail.QuerySelectorAll("img"))
|
||||
{
|
||||
img.SetAttribute("referrerpolicy", "no-referrer");
|
||||
}
|
||||
|
||||
info.BodyHtml = CmnUtil.GetHtmlWithoutJavaScript(cloneDetail);
|
||||
}
|
||||
|
||||
return info;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// kimochi.info のダウンロードURLから末尾のハッシュを抽出し、
|
||||
/// https://kimochi.info/download/file/?dl=[hash] へリクエストを行って
|
||||
/// x-download-url または Location ヘッダーから直接外部ストレージURL(Google Drive, MediaFire等)を解決します。
|
||||
/// </summary>
|
||||
private static async Task<string> ResolveDirectDownloadUrlAsync(HttpClient client, string downloadUrl)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(downloadUrl))
|
||||
{
|
||||
return string.Empty;
|
||||
}
|
||||
|
||||
var match = Regex.Match(downloadUrl, @"/download/([^/?#]+)", RegexOptions.IgnoreCase);
|
||||
if (!match.Success)
|
||||
{
|
||||
return string.Empty;
|
||||
}
|
||||
|
||||
string hash = match.Groups[1].Value.Trim();
|
||||
string fileUrl = $"https://kimochi.info/download/file/?dl={Uri.EscapeDataString(hash)}";
|
||||
|
||||
try
|
||||
{
|
||||
using var request = new HttpRequestMessage(HttpMethod.Get, fileUrl);
|
||||
request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36");
|
||||
|
||||
// レスポンスヘッダーのみ読み取り、大容量ファイルのダウンロード通信を防止
|
||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead);
|
||||
|
||||
// 1. x-download-url ヘッダーの確認(最も確実)
|
||||
if (response.Headers.TryGetValues("x-download-url", out var downloadUrls))
|
||||
{
|
||||
string direct = downloadUrls.FirstOrDefault() ?? string.Empty;
|
||||
if (!string.IsNullOrWhiteSpace(direct))
|
||||
{
|
||||
return direct;
|
||||
}
|
||||
}
|
||||
|
||||
// 2. Location ヘッダー(301/302リダイレクト時)の確認
|
||||
if (response.Headers.Location != null)
|
||||
{
|
||||
string loc = response.Headers.Location.AbsoluteUri;
|
||||
if (!loc.Contains("kimochi.info", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
return loc;
|
||||
}
|
||||
}
|
||||
|
||||
// 3. リダイレクト自動追従時の最終リクエストURIの確認
|
||||
if (response.RequestMessage?.RequestUri != null)
|
||||
{
|
||||
string finalUri = response.RequestMessage.RequestUri.AbsoluteUri;
|
||||
if (!finalUri.Contains("kimochi.info", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
return finalUri;
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[情報] 【kimochiinfo】 直リンク解決スキップ ({hash}): {ex.Message}");
|
||||
}
|
||||
|
||||
return string.Empty;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// アンカーテキストからアイコン名や余分な文字を除去し、クリーンなプロバイダー名を取得します。
|
||||
/// </summary>
|
||||
private static string CleanProviderName(string rawText)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(rawText))
|
||||
{
|
||||
return "Download";
|
||||
}
|
||||
|
||||
string cleaned = rawText
|
||||
.Replace("add_to_drive", "", StringComparison.OrdinalIgnoreCase)
|
||||
.Replace("whatshot", "", StringComparison.OrdinalIgnoreCase)
|
||||
.Replace("cloud_download", "", StringComparison.OrdinalIgnoreCase)
|
||||
.Replace("arrow_forward", "", StringComparison.OrdinalIgnoreCase)
|
||||
.Replace("Download", "", StringComparison.OrdinalIgnoreCase)
|
||||
.Replace("Game", "", StringComparison.OrdinalIgnoreCase)
|
||||
.Trim();
|
||||
|
||||
cleaned = Regex.Replace(cleaned, @"\s+", " ").Trim();
|
||||
|
||||
if (string.IsNullOrWhiteSpace(cleaned))
|
||||
{
|
||||
return "Download";
|
||||
}
|
||||
|
||||
return cleaned;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// サークル名・タイトル・バージョン情報から Windows フォルダ名としてコピー可能なタイトルを構築します。
|
||||
/// </summary>
|
||||
private static string BuildFolderTitle(string circleName, string title, string version)
|
||||
{
|
||||
string verSuffix = !string.IsNullOrWhiteSpace(version) && !title.Contains(version, StringComparison.OrdinalIgnoreCase)
|
||||
? $" {version}"
|
||||
: string.Empty;
|
||||
|
||||
string result;
|
||||
if (!string.IsNullOrWhiteSpace(circleName))
|
||||
{
|
||||
result = $"[{circleName}] {title}{verSuffix}".Trim();
|
||||
}
|
||||
else
|
||||
{
|
||||
result = $"{title}{verSuffix}".Trim();
|
||||
}
|
||||
|
||||
return SanitizeWindowsPath(result);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 整形された本文 HTML を生成します。
|
||||
/// フォルダ名コピー枠、タイトル表示、整然としたグリッド型ダウンロードリンク、公式ストアリンク、カバー画像、解説文を配置します。
|
||||
/// </summary>
|
||||
private static string BuildSummaryHtml(ArticleDetailInfo info, string folderTitle, Uri articleUri)
|
||||
{
|
||||
var sb = new StringBuilder();
|
||||
|
||||
// 1. バッジ
|
||||
sb.Append("<div style=\"margin-bottom: 12px;\">");
|
||||
sb.Append("<span style=\"display: inline-block; background-color: #2e7d32; color: #ffffff; padding: 4px 10px; border-radius: 4px; font-weight: bold; font-size: 13px;\">🇯🇵 日本語版 (RAW / 原作)</span>");
|
||||
if (!string.IsNullOrWhiteSpace(info.VersionText))
|
||||
{
|
||||
sb.Append($"<span style=\"display: inline-block; background-color: #424242; color: #ffffff; padding: 4px 8px; border-radius: 4px; font-size: 13px; margin-left: 8px;\">🏷️ {WebUtility.HtmlEncode(info.VersionText)}</span>");
|
||||
}
|
||||
sb.Append("</div>");
|
||||
|
||||
// 2. フォルダ名用タイトルコピー枠
|
||||
sb.Append($"<div class=\"kimochi-folder-title {CacheFormatTag}\" style=\"background-color: #f3f4f6; border-left: 4px solid #374151; padding: 10px 14px; margin-bottom: 12px; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Helvetica, Arial, sans-serif; border-radius: 0 4px 4px 0;\">");
|
||||
sb.Append("<div style=\"font-size: 11px; font-weight: bold; color: #4b5563; margin-bottom: 4px;\">📁 フォルダ名用タイトル (コピー用):</div>");
|
||||
sb.Append($"<div style=\"font-size: 15px; font-weight: bold; color: #111827; user-select: all; -webkit-user-select: all;\">{WebUtility.HtmlEncode(folderTitle)}</div>");
|
||||
sb.Append("</div>");
|
||||
|
||||
// 3. 日本語タイトルの明記
|
||||
if (!string.IsNullOrWhiteSpace(info.JapaneseTitle))
|
||||
{
|
||||
sb.Append("<div class=\"kimochi-jp-title\" style=\"background-color: #f1f8e9; border-left: 4px solid #43a047; padding: 8px 12px; margin-bottom: 12px; font-size: 14px; border-radius: 0 4px 4px 0;\">");
|
||||
sb.Append("<strong style=\"color: #2e7d32;\">日本語タイトル (Japanese Title):</strong> ");
|
||||
sb.Append($"<span>{WebUtility.HtmlEncode(info.JapaneseTitle)}</span>");
|
||||
sb.Append("</div>");
|
||||
}
|
||||
|
||||
// 4. ダウンロードセクション (kimochi-dl-section) - 日本語タイトルの直下に配置
|
||||
if (info.Downloads.Any())
|
||||
{
|
||||
sb.Append("<div class=\"kimochi-dl-section\" style=\"background-color: #f7f9fa; border: 1px solid #cfd8dc; border-radius: 6px; padding: 14px; margin-top: 10px; margin-bottom: 14px; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Helvetica, Arial, sans-serif;\">");
|
||||
sb.Append("<h4 style=\"margin: 0 0 10px 0; font-size: 16px; border-bottom: 2px solid #e53935; padding-bottom: 6px; color: #c62828;\">");
|
||||
sb.Append("📥 ダウンロード (DIRECT DOWNLOAD)");
|
||||
sb.Append("</h4>");
|
||||
|
||||
// 整然としたレスポンシブグリッドレイアウトでボタンを配置(横1行詰め込みを解消)
|
||||
sb.Append("<div style=\"display: grid; grid-template-columns: repeat(auto-fill, minmax(180px, 1fr)); gap: 8px; margin-bottom: 10px;\">");
|
||||
|
||||
foreach (var dl in info.Downloads)
|
||||
{
|
||||
if (!string.IsNullOrWhiteSpace(dl.FinalUrl))
|
||||
{
|
||||
string bgColor = GetProviderButtonColor(dl.ProviderName);
|
||||
string icon = GetProviderIcon(dl.ProviderName);
|
||||
|
||||
sb.Append($"<a href=\"{dl.FinalUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"display: flex; align-items: center; justify-content: center; gap: 6px; text-align: center; background-color: {bgColor}; color: #ffffff; padding: 9px 14px; border-radius: 4px; text-decoration: none; font-weight: bold; font-size: 13px; box-shadow: 0 1px 3px rgba(0,0,0,0.12);\">");
|
||||
sb.Append($"<span>{icon}</span> <span>{WebUtility.HtmlEncode(dl.ProviderName)}</span>");
|
||||
sb.Append("</a>");
|
||||
}
|
||||
}
|
||||
|
||||
sb.Append("</div>");
|
||||
sb.Append("</div>");
|
||||
}
|
||||
|
||||
// 5. 公式ストア(DLsite等)リンク
|
||||
if (!string.IsNullOrWhiteSpace(info.OfficialStoreUrl))
|
||||
{
|
||||
sb.Append("<div style=\"margin-bottom: 14px;\">");
|
||||
sb.Append($"<a href=\"{info.OfficialStoreUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"display: inline-flex; align-items: center; gap: 6px; background-color: #f59e0b; color: #ffffff; padding: 8px 16px; border-radius: 4px; text-decoration: none; font-weight: bold; font-size: 13px; box-shadow: 0 1px 3px rgba(0,0,0,0.12);\">");
|
||||
sb.Append("🛒 <span>DLsite で購入して公式を支援 (Official Store)</span>");
|
||||
sb.Append("</a>");
|
||||
sb.Append("</div>");
|
||||
}
|
||||
|
||||
// 6. メインカバー画像
|
||||
if (!string.IsNullOrWhiteSpace(info.MainImageUrl))
|
||||
{
|
||||
sb.Append("<div style=\"margin-bottom: 14px;\">");
|
||||
sb.Append($"<img src=\"{info.MainImageUrl}\" referrerpolicy=\"no-referrer\" alt=\"{WebUtility.HtmlEncode(info.JapaneseTitle)}\" style=\"max-width: 100%; height: auto; border-radius: 4px; box-shadow: 0 2px 4px rgba(0,0,0,0.1);\" />");
|
||||
sb.Append("</div>");
|
||||
}
|
||||
|
||||
// 7. 本文解説
|
||||
if (!string.IsNullOrWhiteSpace(info.BodyHtml))
|
||||
{
|
||||
sb.Append("<div style=\"margin-top: 14px; line-height: 1.6; color: #212121;\">");
|
||||
sb.Append(info.BodyHtml);
|
||||
sb.Append("</div>");
|
||||
}
|
||||
|
||||
// 8. 記事ページへのリンク
|
||||
sb.Append("<div style=\"margin-top: 16px; padding-top: 10px; border-top: 1px solid #e0e0e0; font-size: 13px;\">");
|
||||
sb.Append($"<a href=\"{articleUri}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"color: #1976d2; text-decoration: none;\">🔗 kimochi.info 記事ページを開く</a>");
|
||||
sb.Append("</div>");
|
||||
|
||||
return sb.ToString();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// プロバイダー名に応じたボタン背景色を取得します。
|
||||
/// </summary>
|
||||
private static string GetProviderButtonColor(string providerName)
|
||||
{
|
||||
if (providerName.Contains("Drive", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
return "#0f9d58"; // Google Drive (緑)
|
||||
}
|
||||
if (providerName.Contains("MediaFire", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
return "#1976d2"; // MediaFire (青)
|
||||
}
|
||||
if (providerName.Contains("Workupload", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
return "#ea580c"; // Workupload (オレンジ)
|
||||
}
|
||||
if (providerName.Contains("Mega", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
return "#d32f2f"; // Mega (赤)
|
||||
}
|
||||
if (providerName.Contains("PixelDrain", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
return "#7b1fa2"; // PixelDrain (紫)
|
||||
}
|
||||
return "#1976d2";
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// プロバイダー名に応じたアイコン絵文字を取得します。
|
||||
/// </summary>
|
||||
private static string GetProviderIcon(string providerName)
|
||||
{
|
||||
if (providerName.Contains("Drive", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
return "💾";
|
||||
}
|
||||
if (providerName.Contains("Workupload", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
return "☁️";
|
||||
}
|
||||
return "⬇️";
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Windows のフォルダ名に使用できない記号文字を全角文字に置換します。
|
||||
/// </summary>
|
||||
private static string SanitizeWindowsPath(string name)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(name))
|
||||
{
|
||||
return string.Empty;
|
||||
}
|
||||
|
||||
return name
|
||||
.Replace('\\', '¥')
|
||||
.Replace('/', '/')
|
||||
.Replace(':', ':')
|
||||
.Replace('*', '*')
|
||||
.Replace('?', '?')
|
||||
.Replace('"', '”')
|
||||
.Replace('<', '<')
|
||||
.Replace('>', '>')
|
||||
.Replace('|', '|')
|
||||
.Trim();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// タイトル文字列から製品ID([RJ01735580], (RJ01735580) 等)を除去します。
|
||||
/// </summary>
|
||||
private static string RemoveProductIds(string text)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(text))
|
||||
{
|
||||
return string.Empty;
|
||||
}
|
||||
|
||||
string cleaned = Regex.Replace(text, @"[\[\(\{\【]\s*(?:RJ|VJ|BJ)\d{6,8}\s*[\]\)\}\】]", "", RegexOptions.IgnoreCase);
|
||||
cleaned = Regex.Replace(cleaned, @"\b(?:RJ|VJ|BJ)\d{6,8}\b", "", RegexOptions.IgnoreCase);
|
||||
cleaned = Regex.Replace(cleaned, @"\s{2,}", " ");
|
||||
return cleaned.Trim();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。
|
||||
/// プロジェクト固有規則に基づき、ドメイン別サブディレクトリ(output/kimochi.info/)内のファイルを読み込みます。
|
||||
/// </summary>
|
||||
/// <param name="fileName">XML ファイル名</param>
|
||||
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
|
||||
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||||
{
|
||||
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||||
try
|
||||
{
|
||||
string xmlPath = CmnUtil.GetExportXmlPath(fileName, addDir: DomainDir);
|
||||
if (!File.Exists(xmlPath))
|
||||
{
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
using var reader = XmlReader.Create(xmlPath);
|
||||
var existingFeed = SyndicationFeed.Load(reader);
|
||||
if (existingFeed?.Items != null)
|
||||
{
|
||||
foreach (var item in existingFeed.Items)
|
||||
{
|
||||
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||
var guid = item.Id;
|
||||
|
||||
var entry = new ExistingFeedEntry
|
||||
{
|
||||
Title = item.Title?.Text?.Trim() ?? string.Empty,
|
||||
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
|
||||
PublishDate = item.PublishDate != DateTimeOffset.MinValue
|
||||
? item.PublishDate
|
||||
: (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now),
|
||||
LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue
|
||||
? item.LastUpdatedTime
|
||||
: (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now)
|
||||
};
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
|
||||
{
|
||||
existingEntries[linkUrl] = entry;
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
|
||||
{
|
||||
existingEntries[guid] = entry;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[情報] kimochiinfo 既存エントリ読み込みスキップ: {ex.Message}");
|
||||
}
|
||||
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 詳細ページ内の不要な広告枠やトラッキング要素を除去します。
|
||||
/// </summary>
|
||||
/// <param name="element">対象の HTML 要素</param>
|
||||
private static void RemoveUnwantedElements(IElement element)
|
||||
{
|
||||
var unwantedNodes = element.QuerySelectorAll("div[data-cl-spot], div[data-km], ins.adsbygoogle, script, style");
|
||||
foreach (var node in unwantedNodes)
|
||||
{
|
||||
node.Remove();
|
||||
}
|
||||
}
|
||||
|
||||
#endregion
|
||||
}
|
||||
@@ -1,4 +1,4 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
@@ -6,16 +6,18 @@ using System.Linq;
|
||||
using System.Net;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using static rss_generator.Class.LogManager;
|
||||
using rss_generator.Class.Common;
|
||||
using static rss_generator.Class.Common.LogManager;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
namespace rss_generator.Class.Mangalear;
|
||||
|
||||
internal class mangalear
|
||||
{
|
||||
/// <summary>
|
||||
/// 同人まんがりあ (mangalear.blog) の Atom フィードから記事および本文内画像を全件取得し、
|
||||
/// 新しい RSS (XML) フィードを生成して出力します。
|
||||
/// 同人まんがりあ (mangalear.blog) の Atom フィードから記事を取得し、
|
||||
/// 各記事につき代表画像1枚を含む新しい RSS (XML) フィードを生成して出力します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
@@ -43,8 +45,11 @@ internal class mangalear
|
||||
.Select(g => g.First())
|
||||
.ToList();
|
||||
|
||||
// 24時間以内の記事のみに絞り込んでから詳細ページの画像抽出を実施(通信量と処理時間の削減)
|
||||
var validItems = CmnUtil.FilterItemsWithinHours(uniqueItems, 24);
|
||||
|
||||
// 3. 各記事の詳細ページから本文画像を全て抽出し、新しいフィードアイテムに整形
|
||||
var itemTasks = uniqueItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||
{
|
||||
var link = originalItem.Links.FirstOrDefault()?.Uri;
|
||||
var title = originalItem.Title?.Text ?? "No Title";
|
||||
@@ -89,86 +94,74 @@ internal class mangalear
|
||||
|
||||
if (link != null)
|
||||
{
|
||||
// ギャラリー表示リンク (WebImageViewer統一URL方式: https://udukipc-web.armonica-vps.work/?url=[ページURL])
|
||||
var linkStr = link.ToString();
|
||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(linkStr)}";
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
|
||||
body.Append($"</div>");
|
||||
|
||||
// 記事詳細ページの HTML を取得
|
||||
var docContents = await CmnUtil.GetDocument(client, link.ToString());
|
||||
if (docContents != null)
|
||||
{
|
||||
var entryContent = docContents.QuerySelector(".entry-content") ?? docContents.QuerySelector("article");
|
||||
|
||||
// アイキャッチ画像の取得(存在する場合)
|
||||
string? eyeCatchUrl = null;
|
||||
// 記事ごとに代表画像1枚のみを取得(アイキャッチ画像または本文の最初の1枚)
|
||||
string? singleImageUrl = null;
|
||||
|
||||
// 1. アイキャッチ画像の取得(存在する場合)
|
||||
if (docContents.QuerySelector(".eye-catch img, figure.eye-catch img") is IHtmlImageElement eyeCatchImg && !string.IsNullOrEmpty(eyeCatchImg.Source))
|
||||
{
|
||||
eyeCatchUrl = eyeCatchImg.Source;
|
||||
singleImageUrl = eyeCatchImg.Source;
|
||||
}
|
||||
else
|
||||
{
|
||||
var metaOgImage = docContents.QuerySelector("meta[property='og:image']")?.GetAttribute("content");
|
||||
if (!string.IsNullOrEmpty(metaOgImage))
|
||||
{
|
||||
eyeCatchUrl = metaOgImage;
|
||||
singleImageUrl = metaOgImage;
|
||||
}
|
||||
}
|
||||
|
||||
// アイキャッチ画像を先頭に配置(設定されている場合)
|
||||
if (!string.IsNullOrEmpty(eyeCatchUrl))
|
||||
// 2. アイキャッチ画像が取得できない場合、本文から最初の1枚を取得
|
||||
if (string.IsNullOrEmpty(singleImageUrl) && entryContent != null)
|
||||
{
|
||||
if (Uri.TryCreate(link, eyeCatchUrl, out var absoluteEyeCatchUri))
|
||||
{
|
||||
body.Append($@"<div style=""margin-bottom: 12px;""><a href=""{link}""><img src=""{absoluteEyeCatchUri}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
|
||||
}
|
||||
}
|
||||
|
||||
// 本文から画像を全件抽出
|
||||
if (entryContent != null)
|
||||
{
|
||||
var imgElements = entryContent.QuerySelectorAll("img").ToList();
|
||||
var addedImages = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
// アイキャッチ画像を追加済みの場合は重複を避けるため登録
|
||||
if (!string.IsNullOrEmpty(eyeCatchUrl))
|
||||
{
|
||||
addedImages.Add(eyeCatchUrl);
|
||||
}
|
||||
|
||||
foreach (var img in imgElements)
|
||||
var firstImg = entryContent.QuerySelector("img");
|
||||
if (firstImg != null)
|
||||
{
|
||||
// 親要素の <a> タグから高解像度オリジナル画像 URL の取得を試みる
|
||||
string? targetSrc = null;
|
||||
if (img.ParentElement is IHtmlAnchorElement parentAnchor && !string.IsNullOrEmpty(parentAnchor.Href))
|
||||
if (firstImg.ParentElement is IHtmlAnchorElement parentAnchor && !string.IsNullOrEmpty(parentAnchor.Href))
|
||||
{
|
||||
var href = parentAnchor.Href;
|
||||
// リンク先が画像ファイルか確認
|
||||
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".jpeg", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".webp", StringComparison.OrdinalIgnoreCase) ||
|
||||
href.EndsWith(".gif", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
targetSrc = href;
|
||||
singleImageUrl = href;
|
||||
}
|
||||
}
|
||||
|
||||
// リンクから取得できない場合は img の src / data-src を利用
|
||||
if (string.IsNullOrEmpty(targetSrc))
|
||||
if (string.IsNullOrEmpty(singleImageUrl))
|
||||
{
|
||||
var src = img.GetAttribute("src");
|
||||
var dataSrc = img.GetAttribute("data-src");
|
||||
targetSrc = !string.IsNullOrEmpty(dataSrc) ? dataSrc : src;
|
||||
var src = firstImg.GetAttribute("src");
|
||||
var dataSrc = firstImg.GetAttribute("data-src");
|
||||
singleImageUrl = !string.IsNullOrEmpty(dataSrc) ? dataSrc : src;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
if (!string.IsNullOrEmpty(targetSrc))
|
||||
{
|
||||
// 相対パスの場合は絶対 URL に解決
|
||||
if (Uri.TryCreate(link, targetSrc, out var absoluteImgUri))
|
||||
{
|
||||
var finalUrl = absoluteImgUri.ToString();
|
||||
if (addedImages.Add(finalUrl))
|
||||
{
|
||||
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{finalUrl}"" target=""_blank"" rel=""noopener noreferrer""><img src=""{finalUrl}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a></div>");
|
||||
}
|
||||
}
|
||||
}
|
||||
// 3. 取得した1枚の画像のみを配置
|
||||
if (!string.IsNullOrEmpty(singleImageUrl))
|
||||
{
|
||||
if (Uri.TryCreate(link, singleImageUrl, out var absoluteImgUri))
|
||||
{
|
||||
var imgUriStr = absoluteImgUri.ToString().Replace("http://", "https://");
|
||||
var clickTargetUrl = galleryUrl ?? link.ToString();
|
||||
body.Append($@"<div style=""margin-bottom: 12px;""><a href=""{clickTargetUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{imgUriStr}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -188,12 +181,11 @@ internal class mangalear
|
||||
simplifiedItems
|
||||
);
|
||||
|
||||
// 5. XML ファイルとして出力
|
||||
CmnUtil.ExportXMLFile("mangalear.xml", mergedFeed);
|
||||
await CmnUtil.ExportXMLFileAsync("mangalear.xml", mergedFeed, client);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
AddLog($"[エラー] [mangalear]: {ex.Message}");
|
||||
AddLog($"[エラー] 【mangalear】 {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,359 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.IO;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.MissAV;
|
||||
|
||||
/// <summary>
|
||||
/// missav.ai の新着動画を取得し、WebImageViewer (https://udukipc-web.armonica-vps.work/) で動画を視聴できるリンクを含むRSSを生成します。
|
||||
/// 既存のフィードが存在する場合は同一記事の情報を引き継ぎ、FreshRSS 等で「更新された記事を未読とする」が有効な場合でも不要な未読化が発生しないようにします。
|
||||
/// </summary>
|
||||
internal static class missav
|
||||
{
|
||||
#region □クラス(Private)
|
||||
|
||||
/// <summary>
|
||||
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
|
||||
/// </summary>
|
||||
private sealed class ExistingFeedEntry
|
||||
{
|
||||
public string Title { get; set; } = string.Empty;
|
||||
public string SummaryHtml { get; set; } = string.Empty;
|
||||
public DateTimeOffset PublishDate { get; set; }
|
||||
public DateTimeOffset LastUpdatedTime { get; set; }
|
||||
public List<string> Categories { get; set; } = new();
|
||||
public List<string> Authors { get; set; } = new();
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Public)
|
||||
|
||||
/// <summary>
|
||||
/// missav.ai の新着動画から RSS フィード (missav.xml) を生成・出力します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient</param>
|
||||
/// <param name="sessionId">FlareSolverr セッションID</param>
|
||||
/// <returns>非同期タスク</returns>
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
var pageMaster = "https://missav.ai";
|
||||
var fileName = "missav.xml";
|
||||
var feed = new SyndicationFeed("missav.ai", "missav Recent Videos", new Uri($"{pageMaster}/ja/new"));
|
||||
var items = new List<SyndicationItem>();
|
||||
|
||||
try
|
||||
{
|
||||
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
|
||||
|
||||
// 既存フィードの読み込み(未更新記事の不要な未読化防止およびFlareSolverrアクセス削減)
|
||||
var existingEntries = LoadExistingEntries(fileName);
|
||||
|
||||
var docList = new List<IDocument>();
|
||||
for (int pageId = 1; pageId <= 2; pageId++)
|
||||
{
|
||||
var pageURL = $"{pageMaster}/ja/new{(pageId > 1 ? $"?page={pageId}" : "")}";
|
||||
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
|
||||
if (document != null)
|
||||
{
|
||||
docList.Add(document);
|
||||
}
|
||||
}
|
||||
|
||||
var linkList = new List<string>();
|
||||
foreach (var document in docList)
|
||||
{
|
||||
var elements = document.QuerySelectorAll("div.thumbnail.group");
|
||||
var targetDivs = elements.Where(e => e.ClassList.Length == 2).ToList();
|
||||
|
||||
foreach (var div in targetDivs)
|
||||
{
|
||||
var titleElement = div.QuerySelector(".text-secondary") ?? div.QuerySelector("a[alt]");
|
||||
var linkElement = div.QuerySelector(".text-secondary") ?? div.QuerySelector("a");
|
||||
var imgElement = div.QuerySelector("img");
|
||||
|
||||
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
|
||||
var relHref = linkElement?.GetAttribute("href") ?? string.Empty;
|
||||
if (string.IsNullOrWhiteSpace(relHref))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var linkHref = relHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
|
||||
? relHref
|
||||
: $"{pageMaster.TrimEnd('/')}/{relHref.TrimStart('/')}";
|
||||
|
||||
var imageSrc = imgElement?.GetAttribute("data-src") ?? imgElement?.GetAttribute("src");
|
||||
if (!linkList.Contains(linkHref))
|
||||
{
|
||||
linkList.Add(linkHref);
|
||||
}
|
||||
else
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var itemUri = new Uri(linkHref);
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
var guid = CmnUtil.CreateGuid(linkHref);
|
||||
|
||||
existingEntries.TryGetValue(linkHref, out var prevEntry);
|
||||
if (prevEntry == null && !string.IsNullOrEmpty(guid))
|
||||
{
|
||||
existingEntries.TryGetValue(guid, out prevEntry);
|
||||
}
|
||||
|
||||
SyndicationItem item;
|
||||
if (prevEntry != null && !string.IsNullOrEmpty(prevEntry.SummaryHtml))
|
||||
{
|
||||
// 【未更新記事】
|
||||
// 前回の本文HTMLおよび日時をそのまま維持して未読化を完全防止
|
||||
item = new SyndicationItem(
|
||||
title,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
prevEntry.LastUpdatedTime
|
||||
)
|
||||
{
|
||||
PublishDate = prevEntry.PublishDate,
|
||||
LastUpdatedTime = prevEntry.LastUpdatedTime,
|
||||
Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
foreach (var cat in prevEntry.Categories)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(cat));
|
||||
}
|
||||
foreach (var auth in prevEntry.Authors)
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = auth });
|
||||
}
|
||||
}
|
||||
else
|
||||
{
|
||||
// 【新規記事】
|
||||
string? descText = null;
|
||||
string? maker = null;
|
||||
var actresses = new List<string>();
|
||||
var genres = new List<string>();
|
||||
var tags = new List<string>();
|
||||
|
||||
try
|
||||
{
|
||||
var docDetail = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId);
|
||||
if (docDetail != null)
|
||||
{
|
||||
// 詳細テキスト(説明文)
|
||||
descText = docDetail.QuerySelector("meta[name='description']")?.GetAttribute("content")
|
||||
?? docDetail.QuerySelector("meta[property='og:description']")?.GetAttribute("content")
|
||||
?? docDetail.QuerySelector(".text-secondary")?.TextContent?.Trim();
|
||||
|
||||
// メーカー / レーベル
|
||||
maker = docDetail.QuerySelector("a[href*='/makers/'], a[href*='/maker/'], a[href*='/labels/'], a[href*='/label/']")?.TextContent?.Trim();
|
||||
|
||||
// 女優
|
||||
var actressElements = docDetail.QuerySelectorAll("a[href*='/actresses/'], a[href*='/actress/']");
|
||||
foreach (var a in actressElements)
|
||||
{
|
||||
var aName = a.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(aName) && !actresses.Contains(aName))
|
||||
{
|
||||
actresses.Add(aName);
|
||||
}
|
||||
}
|
||||
|
||||
// ジャンル
|
||||
var genreElements = docDetail.QuerySelectorAll("a[href*='/genres/'], a[href*='/genre/']");
|
||||
foreach (var g in genreElements)
|
||||
{
|
||||
var gName = g.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(gName) && !genres.Contains(gName))
|
||||
{
|
||||
genres.Add(gName);
|
||||
}
|
||||
}
|
||||
|
||||
// タグ
|
||||
var tagElements = docDetail.QuerySelectorAll("a[href*='/tags/'], a[href*='/tag/']");
|
||||
foreach (var t in tagElements)
|
||||
{
|
||||
var tName = t.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(tName) && !tags.Contains(tName))
|
||||
{
|
||||
tags.Add(tName);
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] missav 詳細ページ取得失敗 ({linkHref}): {ex.Message}");
|
||||
}
|
||||
|
||||
// WebImageViewer統一リンクの生成 (https://udukipc-web.armonica-vps.work/?url=[ページURL])
|
||||
string viewerUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(linkHref)}";
|
||||
|
||||
var body = new StringBuilder();
|
||||
|
||||
// 1. WebImageViewer への再生リンク & 外部リンク
|
||||
body.Append($@"<div style=""margin-bottom: 12px; padding: 10px 14px; background: rgba(236, 72, 153, 0.08); border-radius: 8px; border-left: 4px solid #ec4899;"">");
|
||||
body.Append($@"<p style=""margin: 0 0 6px 0;""><a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: bold; font-size: 1.1em; color: #db2777; text-decoration: none;"">▶ WebImageViewerで動画を再生する</a></p>");
|
||||
body.Append($@"<p style=""margin: 0; font-size: 0.9em; color: #64748b;""><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">missav公式ページで開く</a></p>");
|
||||
body.Append($@"</div>");
|
||||
|
||||
// 2. サムネイル画像
|
||||
if (imageUri != null)
|
||||
{
|
||||
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-top: 8px; border-radius: 6px;"" /></div>");
|
||||
}
|
||||
|
||||
// 3. メタ情報(詳細、メーカー、女優、ジャンル、タグ)
|
||||
if (!string.IsNullOrWhiteSpace(descText))
|
||||
{
|
||||
body.Append($@"<div style=""margin-top: 8px;""><strong>詳細:</strong> {WebUtility.HtmlEncode(descText)}</div>");
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(maker))
|
||||
{
|
||||
body.Append($@"<div><strong>メーカー:</strong> {WebUtility.HtmlEncode(maker)}</div>");
|
||||
}
|
||||
if (actresses.Count > 0)
|
||||
{
|
||||
body.Append($@"<div><strong>女優:</strong> {WebUtility.HtmlEncode(string.Join(", ", actresses))}</div>");
|
||||
}
|
||||
if (genres.Count > 0)
|
||||
{
|
||||
body.Append($@"<div><strong>ジャンル:</strong> {WebUtility.HtmlEncode(string.Join(", ", genres))}</div>");
|
||||
}
|
||||
if (tags.Count > 0)
|
||||
{
|
||||
body.Append($@"<div><strong>タグ:</strong> {WebUtility.HtmlEncode(string.Join(", ", tags))}</div>");
|
||||
}
|
||||
|
||||
var now = DateTimeOffset.Now;
|
||||
item = new SyndicationItem(
|
||||
title,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
now
|
||||
)
|
||||
{
|
||||
PublishDate = now,
|
||||
LastUpdatedTime = now,
|
||||
Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
// カテゴリ登録(ジャンル、タグ、女優)
|
||||
foreach (var g in genres)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(g));
|
||||
}
|
||||
foreach (var t in tags)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(t));
|
||||
}
|
||||
foreach (var a in actresses)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(a));
|
||||
}
|
||||
|
||||
// 作者/メーカー登録
|
||||
if (!string.IsNullOrEmpty(maker))
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = maker });
|
||||
}
|
||||
else if (actresses.Count > 0)
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = actresses[0] });
|
||||
}
|
||||
}
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
}
|
||||
|
||||
feed.Items = items;
|
||||
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, filter24Hours: false);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【missav】 {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Private)
|
||||
|
||||
/// <summary>
|
||||
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。
|
||||
/// </summary>
|
||||
/// <param name="fileName">XML ファイル名</param>
|
||||
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
|
||||
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||||
{
|
||||
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||||
try
|
||||
{
|
||||
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
|
||||
if (!File.Exists(xmlPath))
|
||||
{
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
using var reader = XmlReader.Create(xmlPath);
|
||||
var existingFeed = SyndicationFeed.Load(reader);
|
||||
if (existingFeed?.Items != null)
|
||||
{
|
||||
foreach (var item in existingFeed.Items)
|
||||
{
|
||||
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||
var guid = item.Id;
|
||||
|
||||
var entry = new ExistingFeedEntry
|
||||
{
|
||||
Title = item.Title?.Text?.Trim() ?? string.Empty,
|
||||
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
|
||||
PublishDate = item.PublishDate != DateTimeOffset.MinValue
|
||||
? item.PublishDate
|
||||
: (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now),
|
||||
LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue
|
||||
? item.LastUpdatedTime
|
||||
: (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now),
|
||||
Categories = item.Categories.Select(c => c.Name).ToList(),
|
||||
Authors = item.Authors.Select(a => a.Name).ToList()
|
||||
};
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
|
||||
{
|
||||
existingEntries[linkUrl] = entry;
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
|
||||
{
|
||||
existingEntries[guid] = entry;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[情報] missav 既存エントリ読み込みスキップ: {ex.Message}");
|
||||
}
|
||||
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
#endregion
|
||||
}
|
||||
@@ -0,0 +1,503 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using AngleSharp.Html.Parser;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.IO;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.MissAV123;
|
||||
|
||||
/// <summary>
|
||||
/// 123av.com の新着動画を取得し、WebImageViewer (https://udukipc-web.armonica-vps.work/) で動画を視聴できるリンクを含むRSSを生成します。
|
||||
/// 既存のフィードが存在する場合は同一記事の情報を引き継ぎ、FreshRSS 等で「更新された記事を未読とする」が有効な場合でも不要な未読化が発生しないようにします。
|
||||
/// </summary>
|
||||
internal class missav123
|
||||
{
|
||||
#region □クラス(Private)
|
||||
|
||||
/// <summary>
|
||||
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
|
||||
/// </summary>
|
||||
private sealed class ExistingFeedEntry
|
||||
{
|
||||
public string Title { get; set; } = string.Empty;
|
||||
public string SummaryHtml { get; set; } = string.Empty;
|
||||
public DateTimeOffset PublishDate { get; set; }
|
||||
public DateTimeOffset LastUpdatedTime { get; set; }
|
||||
public List<string> Categories { get; set; } = new();
|
||||
public List<string> Authors { get; set; } = new();
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Public)
|
||||
|
||||
/// <summary>
|
||||
/// 123av.com の新着動画を取得し、RSS フィード (123av.xml) を生成・出力します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
/// <param name="sessionId">FlareSolverr セッションID</param>
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
var pageMaster = "https://123av.com";
|
||||
var fileName = "123av.xml";
|
||||
|
||||
var feed = new SyndicationFeed("123av.com", "123av Recent Videos", new Uri($"{pageMaster}/ja/recent"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
|
||||
|
||||
// 既存フィードの読み込み(相対時間の再計算による未読化防止および高速化)
|
||||
var existingEntries = LoadExistingEntries(fileName);
|
||||
|
||||
var docList = new List<IDocument>();
|
||||
for (int pageId = 1; pageId <= 2; pageId++)
|
||||
{
|
||||
var pageURL = $"{pageMaster}/ja/recent{(pageId > 1 ? $"?page={pageId}" : "")}";
|
||||
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
|
||||
if (document != null)
|
||||
{
|
||||
docList.Add(document);
|
||||
}
|
||||
}
|
||||
|
||||
var linkList = new List<string>();
|
||||
foreach (var document in docList)
|
||||
{
|
||||
var elements = document.QuerySelectorAll("div.card");
|
||||
var targetDivs = elements.Where(e => e.ClassList.Length == 1 || e.QuerySelector("a.card__link") != null).ToList();
|
||||
foreach (var div in targetDivs)
|
||||
{
|
||||
var linkElement = div.QuerySelector("a.card__link") ?? div.QuerySelector("a.card__cover");
|
||||
var titleElement = div.QuerySelector(".card__title a") ?? div.QuerySelector("a.card__link");
|
||||
var imgElement = div.QuerySelector("img");
|
||||
|
||||
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
|
||||
var relHref = linkElement?.GetAttribute("href") ?? string.Empty;
|
||||
if (string.IsNullOrWhiteSpace(relHref))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var linkHref = relHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
|
||||
? relHref
|
||||
: $"{pageMaster.TrimEnd('/')}/{relHref.TrimStart('/')}";
|
||||
|
||||
var imageSrc = imgElement?.GetAttribute("data-src") ?? imgElement?.GetAttribute("src");
|
||||
if (!linkList.Contains(linkHref))
|
||||
{
|
||||
linkList.Add(linkHref);
|
||||
}
|
||||
else
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var itemUri = new Uri(linkHref);
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
var guid = CmnUtil.CreateGuid(linkHref);
|
||||
|
||||
existingEntries.TryGetValue(linkHref, out var prevEntry);
|
||||
if (prevEntry == null && !string.IsNullOrEmpty(guid))
|
||||
{
|
||||
existingEntries.TryGetValue(guid, out prevEntry);
|
||||
}
|
||||
|
||||
SyndicationItem item;
|
||||
if (prevEntry != null && !string.IsNullOrEmpty(prevEntry.SummaryHtml))
|
||||
{
|
||||
// 【未更新記事】
|
||||
// 前回の本文HTMLおよび日時(PublishDate / LastUpdatedTime)をそのまま維持
|
||||
item = new SyndicationItem(
|
||||
title,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
prevEntry.LastUpdatedTime
|
||||
)
|
||||
{
|
||||
PublishDate = prevEntry.PublishDate,
|
||||
LastUpdatedTime = prevEntry.LastUpdatedTime,
|
||||
Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
foreach (var cat in prevEntry.Categories)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(cat));
|
||||
}
|
||||
foreach (var auth in prevEntry.Authors)
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = auth });
|
||||
}
|
||||
}
|
||||
else
|
||||
{
|
||||
// 【新規記事】
|
||||
// カード上の時間表記
|
||||
var cardMetaTimeText = div.QuerySelector(".card__meta")?.TextContent?.Trim();
|
||||
|
||||
string? descText = null;
|
||||
string? releaseDateText = null;
|
||||
string? detailMetaTimeText = null;
|
||||
string? maker = null;
|
||||
string? series = null;
|
||||
var actresses = new List<string>();
|
||||
var genres = new List<string>();
|
||||
var tags = new List<string>();
|
||||
|
||||
try
|
||||
{
|
||||
var docDetail = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId);
|
||||
if (docDetail != null)
|
||||
{
|
||||
// 詳細テキスト(説明文)
|
||||
descText = docDetail.QuerySelector("meta[name='description']")?.GetAttribute("content")
|
||||
?? docDetail.QuerySelector("meta[property='og:description']")?.GetAttribute("content")
|
||||
?? docDetail.QuerySelector(".detail__description")?.TextContent?.Trim();
|
||||
|
||||
// 発売日および更新日時
|
||||
var metaDivs = docDetail.QuerySelectorAll(".detail__meta, .card__meta, .video-info span, .detail__info div");
|
||||
foreach (var m in metaDivs)
|
||||
{
|
||||
var txt = m.TextContent?.Trim();
|
||||
if (string.IsNullOrEmpty(txt)) continue;
|
||||
|
||||
if (txt.Contains("発売日") || txt.Contains("リリース") || txt.Contains("Release"))
|
||||
{
|
||||
var mMatch = Regex.Match(txt, @"\d{4}[-/年]\d{1,2}[-/月]\d{1,2}");
|
||||
if (mMatch.Success)
|
||||
{
|
||||
releaseDateText = mMatch.Value;
|
||||
}
|
||||
}
|
||||
if (txt.Contains("前") || txt.Contains("ago"))
|
||||
{
|
||||
detailMetaTimeText = txt;
|
||||
}
|
||||
}
|
||||
|
||||
// メーカー / レーベル
|
||||
maker = docDetail.QuerySelector("a[href*='/makers/'], a[href*='/maker/'], a[href*='/labels/'], a[href*='/label/']")?.TextContent?.Trim();
|
||||
|
||||
// シリーズ
|
||||
series = docDetail.QuerySelector("a[href*='/series/'], a[href*='/serie/']")?.TextContent?.Trim();
|
||||
|
||||
// 出演者
|
||||
var actressElements = docDetail.QuerySelectorAll("a[href*='/actresses/'], a[href*='/actress/']");
|
||||
foreach (var a in actressElements)
|
||||
{
|
||||
var aName = a.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(aName) && !actresses.Contains(aName))
|
||||
{
|
||||
actresses.Add(aName);
|
||||
}
|
||||
}
|
||||
|
||||
// ジャンル
|
||||
var genreElements = docDetail.QuerySelectorAll("a[href*='/genres/'], a[href*='/genre/']");
|
||||
foreach (var g in genreElements)
|
||||
{
|
||||
var gName = g.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(gName) && !genres.Contains(gName))
|
||||
{
|
||||
genres.Add(gName);
|
||||
}
|
||||
}
|
||||
|
||||
// タグ
|
||||
var tagElements = docDetail.QuerySelectorAll("a[href*='/tags/'], a[href*='/tag/']");
|
||||
foreach (var t in tagElements)
|
||||
{
|
||||
var tName = t.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(tName) && !tags.Contains(tName))
|
||||
{
|
||||
tags.Add(tName);
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 123av 詳細ページ取得失敗 ({linkHref}): {ex.Message}");
|
||||
}
|
||||
|
||||
// WebImageViewer統一リンクの生成 (https://udukipc-web.armonica-vps.work/?url=[ページURL])
|
||||
string viewerUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(linkHref)}";
|
||||
|
||||
// 更新日時の算出
|
||||
DateTimeOffset? updatedDate = null;
|
||||
var timeTextToParse = !string.IsNullOrWhiteSpace(detailMetaTimeText) ? detailMetaTimeText : cardMetaTimeText;
|
||||
if (!string.IsNullOrWhiteSpace(timeTextToParse))
|
||||
{
|
||||
updatedDate = ParseRelativeTime(timeTextToParse);
|
||||
}
|
||||
|
||||
// 公開日(発売日)の算出
|
||||
DateTimeOffset? releaseDate = null;
|
||||
if (!string.IsNullOrWhiteSpace(releaseDateText) && DateTime.TryParse(releaseDateText, out var parsedRelDate))
|
||||
{
|
||||
releaseDate = new DateTimeOffset(parsedRelDate.Year, parsedRelDate.Month, parsedRelDate.Day, 0, 0, 0, TimeSpan.FromHours(9));
|
||||
}
|
||||
|
||||
// アイテムの公開日と更新日時の決定
|
||||
var publishDate = releaseDate ?? updatedDate ?? DateTimeOffset.Now;
|
||||
var lastUpdatedDate = updatedDate ?? releaseDate ?? DateTimeOffset.Now;
|
||||
|
||||
// 本文 HTML(Summary)の生成
|
||||
var body = new StringBuilder();
|
||||
|
||||
// 1. WebImageViewer への再生リンク & 外部リンク
|
||||
body.Append($@"<div style=""margin-bottom: 12px; padding: 10px 14px; background: rgba(99, 102, 241, 0.08); border-radius: 8px; border-left: 4px solid #6366f1;"">");
|
||||
body.Append($@"<p style=""margin: 0 0 6px 0;""><a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: bold; font-size: 1.1em; color: #4f46e5; text-decoration: none;"">▶ WebImageViewerで動画を再生する</a></p>");
|
||||
body.Append($@"<p style=""margin: 0; font-size: 0.9em; color: #64748b;""><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">123av公式ページで開く</a></p>");
|
||||
body.Append($@"</div>");
|
||||
|
||||
// 2. サムネイル画像
|
||||
if (imageUri != null)
|
||||
{
|
||||
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-top: 8px;"" /></div>");
|
||||
}
|
||||
|
||||
// 3. メタ情報(詳細、発売日、更新日時、メーカー、シリーズ、出演者、ジャンル、タグ)
|
||||
if (!string.IsNullOrWhiteSpace(descText))
|
||||
{
|
||||
body.Append($@"<div style=""margin-top: 8px;""><strong>詳細:</strong> {WebUtility.HtmlEncode(descText)}</div>");
|
||||
}
|
||||
if (releaseDate.HasValue)
|
||||
{
|
||||
body.Append($@"<div><strong>発売日:</strong> {releaseDate.Value:yyyy-MM-dd}</div>");
|
||||
}
|
||||
if (updatedDate.HasValue)
|
||||
{
|
||||
body.Append($@"<div><strong>更新日時:</strong> {updatedDate.Value:yyyy/MM/dd HH:mm:ss}</div>");
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(maker))
|
||||
{
|
||||
body.Append($@"<div><strong>メーカー:</strong> {WebUtility.HtmlEncode(maker)}</div>");
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(series))
|
||||
{
|
||||
body.Append($@"<div><strong>シリーズ:</strong> {WebUtility.HtmlEncode(series)}</div>");
|
||||
}
|
||||
if (actresses.Count > 0)
|
||||
{
|
||||
body.Append($@"<div><strong>出演者:</strong> {WebUtility.HtmlEncode(string.Join(", ", actresses))}</div>");
|
||||
}
|
||||
if (genres.Count > 0)
|
||||
{
|
||||
body.Append($@"<div><strong>ジャンル:</strong> {WebUtility.HtmlEncode(string.Join(", ", genres))}</div>");
|
||||
}
|
||||
if (tags.Count > 0)
|
||||
{
|
||||
body.Append($@"<div><strong>タグ:</strong> {WebUtility.HtmlEncode(string.Join(", ", tags))}</div>");
|
||||
}
|
||||
|
||||
item = new SyndicationItem(
|
||||
title,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
lastUpdatedDate
|
||||
)
|
||||
{
|
||||
PublishDate = publishDate,
|
||||
LastUpdatedTime = lastUpdatedDate,
|
||||
Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
// カテゴリ登録(ジャンル、タグ、出演者)
|
||||
foreach (var g in genres)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(g));
|
||||
}
|
||||
foreach (var t in tags)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(t));
|
||||
}
|
||||
foreach (var a in actresses)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(a));
|
||||
}
|
||||
|
||||
if (!string.IsNullOrEmpty(maker))
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = maker });
|
||||
}
|
||||
foreach (var a in actresses)
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = a });
|
||||
}
|
||||
}
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, filter24Hours: false);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【missav123】 {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 相対時間文字列(例: "30分 39秒前", "1時間 7分前", "1日 32分前", "31m 26s ago" など)を DateTimeOffset に変換します。
|
||||
/// </summary>
|
||||
/// <param name="text">日時文字列</param>
|
||||
/// <param name="baseTime">基準日時(nullの場合は現在日時)</param>
|
||||
/// <returns>計算された DateTimeOffset</returns>
|
||||
public static DateTimeOffset ParseRelativeTime(string text, DateTimeOffset? baseTime = null)
|
||||
{
|
||||
var now = baseTime ?? DateTimeOffset.Now;
|
||||
if (string.IsNullOrWhiteSpace(text)) return now;
|
||||
|
||||
text = text.Trim();
|
||||
var span = TimeSpan.Zero;
|
||||
bool matched = false;
|
||||
|
||||
// 年
|
||||
var yearMatch = Regex.Match(text, @"(\d+)\s*(?:年|y(?:ears?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
|
||||
if (yearMatch.Success && int.TryParse(yearMatch.Groups[1].Value, out int years))
|
||||
{
|
||||
now = now.AddYears(-years);
|
||||
matched = true;
|
||||
}
|
||||
|
||||
// 月
|
||||
var monthMatch = Regex.Match(text, @"(\d+)\s*(?:(?:か|ヶ|ケ)?月|mo(?:nths?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
|
||||
if (monthMatch.Success && int.TryParse(monthMatch.Groups[1].Value, out int months))
|
||||
{
|
||||
now = now.AddMonths(-months);
|
||||
matched = true;
|
||||
}
|
||||
|
||||
// 週
|
||||
var weekMatch = Regex.Match(text, @"(\d+)\s*(?:(?:週|週間)|w(?:eeks?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
|
||||
if (weekMatch.Success && int.TryParse(weekMatch.Groups[1].Value, out int weeks))
|
||||
{
|
||||
span = span.Add(TimeSpan.FromDays(weeks * 7));
|
||||
matched = true;
|
||||
}
|
||||
|
||||
// 日
|
||||
var dayMatch = Regex.Match(text, @"(\d+)\s*(?:日|d(?:ays?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
|
||||
if (dayMatch.Success && int.TryParse(dayMatch.Groups[1].Value, out int days))
|
||||
{
|
||||
span = span.Add(TimeSpan.FromDays(days));
|
||||
matched = true;
|
||||
}
|
||||
|
||||
// 時間
|
||||
var hourMatch = Regex.Match(text, @"(\d+)\s*(?:時間|h(?:ours?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
|
||||
if (hourMatch.Success && int.TryParse(hourMatch.Groups[1].Value, out int hours))
|
||||
{
|
||||
span = span.Add(TimeSpan.FromHours(hours));
|
||||
matched = true;
|
||||
}
|
||||
|
||||
// 分
|
||||
var minMatch = Regex.Match(text, @"(\d+)\s*(?:分|m(?:in(?:ute)?s?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
|
||||
if (minMatch.Success && int.TryParse(minMatch.Groups[1].Value, out int mins))
|
||||
{
|
||||
span = span.Add(TimeSpan.FromMinutes(mins));
|
||||
matched = true;
|
||||
}
|
||||
|
||||
// 秒
|
||||
var secMatch = Regex.Match(text, @"(\d+)\s*(?:秒|s(?:ec(?:ond)?s?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
|
||||
if (secMatch.Success && int.TryParse(secMatch.Groups[1].Value, out int secs))
|
||||
{
|
||||
span = span.Add(TimeSpan.FromSeconds(secs));
|
||||
matched = true;
|
||||
}
|
||||
|
||||
if (matched)
|
||||
{
|
||||
return now.Subtract(span);
|
||||
}
|
||||
|
||||
// 絶対日付表記(例: 2026-09-07 など)のパース
|
||||
if (DateTimeOffset.TryParse(text, out var parsedDto))
|
||||
{
|
||||
return parsedDto;
|
||||
}
|
||||
|
||||
return now;
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Private)
|
||||
|
||||
/// <summary>
|
||||
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。
|
||||
/// </summary>
|
||||
/// <param name="fileName">XML ファイル名</param>
|
||||
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
|
||||
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||||
{
|
||||
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||||
try
|
||||
{
|
||||
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
|
||||
if (!File.Exists(xmlPath))
|
||||
{
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
using var reader = XmlReader.Create(xmlPath);
|
||||
var existingFeed = SyndicationFeed.Load(reader);
|
||||
if (existingFeed?.Items != null)
|
||||
{
|
||||
foreach (var item in existingFeed.Items)
|
||||
{
|
||||
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||
var guid = item.Id;
|
||||
|
||||
var entry = new ExistingFeedEntry
|
||||
{
|
||||
Title = item.Title?.Text?.Trim() ?? string.Empty,
|
||||
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
|
||||
PublishDate = item.PublishDate != DateTimeOffset.MinValue
|
||||
? item.PublishDate
|
||||
: (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now),
|
||||
LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue
|
||||
? item.LastUpdatedTime
|
||||
: (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now),
|
||||
Categories = item.Categories.Select(c => c.Name).ToList(),
|
||||
Authors = item.Authors.Select(a => a.Name).ToList()
|
||||
};
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
|
||||
{
|
||||
existingEntries[linkUrl] = entry;
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
|
||||
{
|
||||
existingEntries[guid] = entry;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[情報] missav123 既存エントリ読み込みスキップ: {ex.Message}");
|
||||
}
|
||||
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
#endregion
|
||||
}
|
||||
+61
-33
@@ -1,9 +1,10 @@
|
||||
using AngleSharp.Html.Parser;
|
||||
using AngleSharp.Html.Parser;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
namespace rss_generator.Class.Momonga;
|
||||
|
||||
internal class momonga_fanzine
|
||||
{
|
||||
@@ -11,7 +12,7 @@ internal class momonga_fanzine
|
||||
{
|
||||
var pageMaster = "https://momon-ga.com/fanzine";
|
||||
|
||||
try
|
||||
try
|
||||
{
|
||||
var linkList = new List<string>();
|
||||
for (int pageId = 1; pageId <= 50; pageId++)
|
||||
@@ -24,12 +25,17 @@ internal class momonga_fanzine
|
||||
var results = await Task.WhenAll(tasks);
|
||||
var allItems = results.SelectMany(items => items).ToList();
|
||||
|
||||
// 24時間以内の記事のみに絞り込んでから整形タスクを実施
|
||||
var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
|
||||
|
||||
// 簡潔なRSSに非同期で整形
|
||||
var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||
{
|
||||
List<SyndicationCategory> getAddCategory()
|
||||
// 本文内のメタデータからカテゴリおよび著者(サークル・作者)を抽出
|
||||
(List<SyndicationCategory> categories, List<string> authors) parseMetadata()
|
||||
{
|
||||
List<SyndicationCategory> result = new List<SyndicationCategory>();
|
||||
var resultCategories = new List<SyndicationCategory>();
|
||||
var resultAuthors = new List<string>();
|
||||
|
||||
string orgText = originalItem.Summary.Text;
|
||||
var parser = new HtmlParser();
|
||||
@@ -46,14 +52,15 @@ internal class momonga_fanzine
|
||||
targetText = targetText.Substring(0, tagIndex);
|
||||
}
|
||||
// ----------------------------------------------------
|
||||
// 正規表現で各項目の値を抽出する
|
||||
// 正規表現で各項目のラベルと値を抽出する
|
||||
// ----------------------------------------------------
|
||||
string pattern = @"【[^】]+】([^【]*)";
|
||||
string pattern = @"【(?<key>[^】]+)】(?<val>[^【]*)";
|
||||
var matches = Regex.Matches(targetText, pattern);
|
||||
|
||||
foreach (Match match in matches)
|
||||
{
|
||||
string valuesStr = match.Groups[1].Value;
|
||||
string key = match.Groups["key"].Value.Trim();
|
||||
string valuesStr = match.Groups["val"].Value;
|
||||
|
||||
if (string.IsNullOrWhiteSpace(valuesStr))
|
||||
{
|
||||
@@ -64,16 +71,27 @@ internal class momonga_fanzine
|
||||
|
||||
foreach (var val in splitValues)
|
||||
{
|
||||
string categoryName = val.Trim();
|
||||
string cleanName = val.Trim();
|
||||
|
||||
if (!string.IsNullOrEmpty(categoryName))
|
||||
if (!string.IsNullOrEmpty(cleanName))
|
||||
{
|
||||
result.Add(new SyndicationCategory(categoryName));
|
||||
resultCategories.Add(new SyndicationCategory(cleanName));
|
||||
|
||||
// サークルまたは作者(アーティスト)の場合は著者一覧にも追加
|
||||
if (key == "サークル" || key == "作者" ||
|
||||
key.Equals("circle", StringComparison.OrdinalIgnoreCase) ||
|
||||
key.Equals("artist", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
if (!resultAuthors.Contains(cleanName, StringComparer.OrdinalIgnoreCase))
|
||||
{
|
||||
resultAuthors.Add(cleanName);
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
return result;
|
||||
return (resultCategories, resultAuthors);
|
||||
}
|
||||
|
||||
var newItem = new SyndicationItem()
|
||||
@@ -89,8 +107,11 @@ internal class momonga_fanzine
|
||||
{
|
||||
newItem.Links.Add(new SyndicationLink(link));
|
||||
}
|
||||
|
||||
var (addCategories, addAuthors) = parseMetadata();
|
||||
|
||||
// カテゴリに本文内の作者などの情報を追加する
|
||||
foreach (var category in getAddCategory())
|
||||
foreach (var category in addCategories)
|
||||
{
|
||||
newItem.Categories.Add(category);
|
||||
}
|
||||
@@ -100,9 +121,21 @@ internal class momonga_fanzine
|
||||
category.Scheme = null;
|
||||
newItem.Categories.Add(category);
|
||||
}
|
||||
foreach (var author in originalItem.Authors)
|
||||
|
||||
// 著者の設定:アーティストやサークルの値をすべて追加してFreshRSSで検索可能にする
|
||||
if (addAuthors.Count > 0)
|
||||
{
|
||||
newItem.Authors.Add(author);
|
||||
foreach (var authorName in addAuthors)
|
||||
{
|
||||
newItem.Authors.Add(new SyndicationPerson { Name = authorName });
|
||||
}
|
||||
}
|
||||
else
|
||||
{
|
||||
foreach (var author in originalItem.Authors)
|
||||
{
|
||||
newItem.Authors.Add(author);
|
||||
}
|
||||
}
|
||||
|
||||
// ID
|
||||
@@ -111,22 +144,17 @@ internal class momonga_fanzine
|
||||
var body = new StringBuilder();
|
||||
if (link != null)
|
||||
{
|
||||
// ギャラリー表示リンク
|
||||
var match = Regex.Match(link.ToString(), @"(mo\d+)", RegexOptions.IgnoreCase);
|
||||
if (match.Success)
|
||||
{
|
||||
string moId = match.Groups[1].Value;
|
||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/momonga/{moId}/";
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
|
||||
body.Append($"</div>");
|
||||
}
|
||||
// ギャラリー表示リンク (WebImageViewer統一URL方式)
|
||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(link.ToString())}";
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
|
||||
body.Append($"</div>");
|
||||
|
||||
// ダウンロードリンク
|
||||
string encoded = ToBase64Url(link.AbsoluteUri);
|
||||
string downloadUrl = $"https://apicien.armonica-vps.work/fanzine/{encoded}";
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{downloadUrl}\">[Download]</a>");
|
||||
body.Append($"<a href=\"{downloadUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Download]</a>");
|
||||
body.Append($"</div>");
|
||||
|
||||
// ギャラリーの1枚目画像
|
||||
@@ -143,7 +171,7 @@ internal class momonga_fanzine
|
||||
if (Uri.TryCreate(link, src, out var absoluteUri))
|
||||
{
|
||||
body.Append($"<div>");
|
||||
body.Append($"<img src=\"{absoluteUri}\" />");
|
||||
body.Append($"<img src=\"{absoluteUri}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
|
||||
body.Append($"</div>");
|
||||
break;
|
||||
}
|
||||
@@ -166,14 +194,14 @@ internal class momonga_fanzine
|
||||
simplifiedItems
|
||||
);
|
||||
|
||||
CmnUtil.ExportXMLFile("momonga-fanzine.xml", mergedFeed);
|
||||
await CmnUtil.ExportXMLFileAsync("momonga-fanzine.xml", mergedFeed, client, addDir: "momon-ga.com");
|
||||
}
|
||||
catch (Exception ex)
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] momonga-fanzine:{ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【Momonga】 fanzine: {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
|
||||
/// <summary>
|
||||
/// 文字列をURLセーフなBase64(Base64URL)に変換します (RFC 4648 準拠)
|
||||
/// </summary>
|
||||
@@ -185,5 +213,5 @@ internal class momonga_fanzine
|
||||
.Replace('/', '_') // '/' を '_' に置換
|
||||
.TrimEnd('='); // 末尾のパディング '=' を削除
|
||||
}
|
||||
|
||||
}
|
||||
|
||||
+58
-30
@@ -1,9 +1,10 @@
|
||||
using AngleSharp.Html.Parser;
|
||||
using AngleSharp.Html.Parser;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
namespace rss_generator.Class.Momonga;
|
||||
|
||||
internal class momonga_magazine
|
||||
{
|
||||
@@ -24,12 +25,17 @@ internal class momonga_magazine
|
||||
var results = await Task.WhenAll(tasks);
|
||||
var allItems = results.SelectMany(items => items).ToList();
|
||||
|
||||
// 24時間以内の記事のみに絞り込んでから整形タスクを実施
|
||||
var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
|
||||
|
||||
// 簡潔なRSSに非同期で整形
|
||||
var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||
{
|
||||
List<SyndicationCategory> getAddCategory()
|
||||
// 本文内のメタデータからカテゴリおよび著者(サークル・作者)を抽出
|
||||
(List<SyndicationCategory> categories, List<string> authors) parseMetadata()
|
||||
{
|
||||
List<SyndicationCategory> result = new List<SyndicationCategory>();
|
||||
var resultCategories = new List<SyndicationCategory>();
|
||||
var resultAuthors = new List<string>();
|
||||
|
||||
string orgText = originalItem.Summary.Text;
|
||||
var parser = new HtmlParser();
|
||||
@@ -46,14 +52,15 @@ internal class momonga_magazine
|
||||
targetText = targetText.Substring(0, tagIndex);
|
||||
}
|
||||
// ----------------------------------------------------
|
||||
// 正規表現で各項目の値を抽出する
|
||||
// 正規表現で各項目のラベルと値を抽出する
|
||||
// ----------------------------------------------------
|
||||
string pattern = @"【[^】]+】([^【]*)";
|
||||
string pattern = @"【(?<key>[^】]+)】(?<val>[^【]*)";
|
||||
var matches = Regex.Matches(targetText, pattern);
|
||||
|
||||
foreach (Match match in matches)
|
||||
{
|
||||
string valuesStr = match.Groups[1].Value;
|
||||
string key = match.Groups["key"].Value.Trim();
|
||||
string valuesStr = match.Groups["val"].Value;
|
||||
|
||||
if (string.IsNullOrWhiteSpace(valuesStr))
|
||||
{
|
||||
@@ -64,16 +71,27 @@ internal class momonga_magazine
|
||||
|
||||
foreach (var val in splitValues)
|
||||
{
|
||||
string categoryName = val.Trim();
|
||||
string cleanName = val.Trim();
|
||||
|
||||
if (!string.IsNullOrEmpty(categoryName))
|
||||
if (!string.IsNullOrEmpty(cleanName))
|
||||
{
|
||||
result.Add(new SyndicationCategory(categoryName));
|
||||
resultCategories.Add(new SyndicationCategory(cleanName));
|
||||
|
||||
// サークルまたは作者(アーティスト)の場合は著者一覧にも追加
|
||||
if (key == "サークル" || key == "作者" ||
|
||||
key.Equals("circle", StringComparison.OrdinalIgnoreCase) ||
|
||||
key.Equals("artist", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
if (!resultAuthors.Contains(cleanName, StringComparer.OrdinalIgnoreCase))
|
||||
{
|
||||
resultAuthors.Add(cleanName);
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
return result;
|
||||
return (resultCategories, resultAuthors);
|
||||
}
|
||||
|
||||
var newItem = new SyndicationItem()
|
||||
@@ -89,8 +107,11 @@ internal class momonga_magazine
|
||||
{
|
||||
newItem.Links.Add(new SyndicationLink(link));
|
||||
}
|
||||
|
||||
var (addCategories, addAuthors) = parseMetadata();
|
||||
|
||||
// カテゴリに本文内の作者などの情報を追加する
|
||||
foreach (var category in getAddCategory())
|
||||
foreach (var category in addCategories)
|
||||
{
|
||||
newItem.Categories.Add(category);
|
||||
}
|
||||
@@ -100,9 +121,21 @@ internal class momonga_magazine
|
||||
category.Scheme = null;
|
||||
newItem.Categories.Add(category);
|
||||
}
|
||||
foreach (var author in originalItem.Authors)
|
||||
|
||||
// 著者の設定:アーティストやサークルの値をすべて追加してFreshRSSで検索可能にする
|
||||
if (addAuthors.Count > 0)
|
||||
{
|
||||
newItem.Authors.Add(author);
|
||||
foreach (var authorName in addAuthors)
|
||||
{
|
||||
newItem.Authors.Add(new SyndicationPerson { Name = authorName });
|
||||
}
|
||||
}
|
||||
else
|
||||
{
|
||||
foreach (var author in originalItem.Authors)
|
||||
{
|
||||
newItem.Authors.Add(author);
|
||||
}
|
||||
}
|
||||
|
||||
// ID
|
||||
@@ -111,22 +144,17 @@ internal class momonga_magazine
|
||||
var body = new StringBuilder();
|
||||
if (link != null)
|
||||
{
|
||||
// ギャラリー表示リンク
|
||||
var match = Regex.Match(link.ToString(), @"(mo\d+)", RegexOptions.IgnoreCase);
|
||||
if (match.Success)
|
||||
{
|
||||
string moId = match.Groups[1].Value;
|
||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/momonga/{moId}/";
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
|
||||
body.Append($"</div>");
|
||||
}
|
||||
// ギャラリー表示リンク (WebImageViewer統一URL方式)
|
||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(link.ToString())}";
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
|
||||
body.Append($"</div>");
|
||||
|
||||
// ダウンロードリンク
|
||||
string encoded = ToBase64Url(link.AbsoluteUri);
|
||||
string downloadUrl = $"https://apicien.armonica-vps.work/fanzine/{encoded}";
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{downloadUrl}\">[Download]</a>");
|
||||
body.Append($"<a href=\"{downloadUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Download]</a>");
|
||||
body.Append($"</div>");
|
||||
|
||||
// ギャラリーの1枚目画像
|
||||
@@ -143,7 +171,7 @@ internal class momonga_magazine
|
||||
if (Uri.TryCreate(link, src, out var absoluteUri))
|
||||
{
|
||||
body.Append($"<div>");
|
||||
body.Append($"<img src=\"{absoluteUri}\" />");
|
||||
body.Append($"<img src=\"{absoluteUri}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
|
||||
body.Append($"</div>");
|
||||
break;
|
||||
}
|
||||
@@ -166,11 +194,11 @@ internal class momonga_magazine
|
||||
simplifiedItems
|
||||
);
|
||||
|
||||
CmnUtil.ExportXMLFile("momonga-magazine.xml", mergedFeed);
|
||||
await CmnUtil.ExportXMLFileAsync("momonga-magazine.xml", mergedFeed, client, addDir: "momon-ga.com");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] momonga-magazine:{ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【Momonga】 magazine: {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
@@ -185,5 +213,5 @@ internal class momonga_magazine
|
||||
.Replace('/', '_') // '/' を '_' に置換
|
||||
.TrimEnd('='); // 末尾のパディング '=' を削除
|
||||
}
|
||||
|
||||
}
|
||||
|
||||
+142
-11
@@ -1,4 +1,4 @@
|
||||
using System;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Globalization;
|
||||
using System.Linq;
|
||||
@@ -9,9 +9,10 @@ using System.Text;
|
||||
using System.Text.Json;
|
||||
using System.Text.Json.Serialization;
|
||||
using System.Threading.Tasks;
|
||||
using static rss_generator.Class.LogManager;
|
||||
using rss_generator.Class.Common;
|
||||
using static rss_generator.Class.Common.LogManager;
|
||||
|
||||
namespace rss_generator.Class.RSS.Pixiv;
|
||||
namespace rss_generator.Class.Pixiv;
|
||||
|
||||
/// <summary>
|
||||
/// Pixiv RSS 生成における接続情報管理、API通信、データ変換、XML出力を担当する共通クラス
|
||||
@@ -33,14 +34,50 @@ internal static class pixiv_common
|
||||
public static string UserAgent { get; set; } = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36";
|
||||
|
||||
/// <summary>
|
||||
/// RSSリーダー等で画像直リンク時の403エラーを回避するため、画像プロキシ(i.pixiv.re)を利用するかどうか
|
||||
/// サムネイル画像を直接取得して Base64 形式(Data URI: data:image/jpeg;base64,...)で RSS に埋め込むかどうか。
|
||||
/// ※FreshRSS ではサニタイザーやデータサイズ制限により本文全体が空文字(非表示)になる原因となるため、デフォルトは無効(false)です。
|
||||
/// 環境変数 PIXIV_EMBED_BASE64 (true/false) での上書きも可能です。
|
||||
/// </summary>
|
||||
public static bool EmbedThumbnailBase64
|
||||
{
|
||||
get
|
||||
{
|
||||
var envVal = Environment.GetEnvironmentVariable("PIXIV_EMBED_BASE64");
|
||||
if (!string.IsNullOrWhiteSpace(envVal) && bool.TryParse(envVal, out var parsed))
|
||||
{
|
||||
return parsed;
|
||||
}
|
||||
return _embedThumbnailBase64;
|
||||
}
|
||||
set => _embedThumbnailBase64 = value;
|
||||
}
|
||||
private static bool _embedThumbnailBase64 = false;
|
||||
|
||||
/// <summary>
|
||||
/// RSSリーダー等で画像直リンク時の403エラーを回避するため、画像プロキシを利用するかどうか
|
||||
/// </summary>
|
||||
public static bool UseImageProxy { get; set; } = true;
|
||||
|
||||
/// <summary>
|
||||
/// 画像プロキシホスト名(UseImageProxy が有効な場合に i.pximg.net を置換)
|
||||
/// 画像プロキシホスト名(UseImageProxy が有効な場合に i.pximg.net を置換)。
|
||||
/// 自前の Caddy オンデマンド・リバースプロキシ(feeds.armonica-vps.work/pximg)を利用することで、
|
||||
/// ローカルディスクに一切保存することなく、数十ミリ秒の超高速で画像を表示できます。
|
||||
/// 環境変数 PIXIV_IMAGE_PROXY_HOST での上書きも可能です。
|
||||
/// </summary>
|
||||
public static string ImageProxyHost { get; set; } = "i.pixiv.re";
|
||||
public static string ImageProxyHost
|
||||
{
|
||||
get
|
||||
{
|
||||
var envVal = Environment.GetEnvironmentVariable("PIXIV_IMAGE_PROXY_HOST");
|
||||
if (!string.IsNullOrWhiteSpace(envVal))
|
||||
{
|
||||
return envVal.Trim().TrimEnd('/');
|
||||
}
|
||||
return _imageProxyHost.TrimEnd('/');
|
||||
}
|
||||
set => _imageProxyHost = value;
|
||||
}
|
||||
private static string _imageProxyHost = "feeds.armonica-vps.work/pximg";
|
||||
|
||||
/// <summary>
|
||||
/// 1回の生成で取得する最大ページ数(1ページあたり約60作品)
|
||||
@@ -298,11 +335,89 @@ internal static class pixiv_common
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Pixiv の作品アイテムリストを SyndicationItem のリストに変換します。
|
||||
/// Pixiv の画像 URL (i.pximg.net) から直接画像データをダウンロードし、Base64 (Data URI) 形式の文字列として取得します。
|
||||
/// Referer (https://www.pixiv.net/) や User-Agent、Cookie などのヘッダーを付加して取得します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
/// <param name="imageUrl">Pixiv 画像 URL (例: https://i.pximg.net/c/250x250_80_a2/...)</param>
|
||||
/// <returns>Base64 Data URI 文字列(例: "data:image/jpeg;base64,...")、失敗時は null</returns>
|
||||
public static async Task<string?> FetchImageAsBase64Async(HttpClient client, string imageUrl)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(imageUrl)) return null;
|
||||
|
||||
try
|
||||
{
|
||||
// プロキシドメインに置換されていた場合は i.pximg.net に戻して Pixiv 公式 CDN から直接高速取得
|
||||
var targetUrl = imageUrl;
|
||||
if (targetUrl.Contains(ImageProxyHost) && ImageProxyHost != "i.pximg.net")
|
||||
{
|
||||
targetUrl = targetUrl.Replace(ImageProxyHost, "i.pximg.net");
|
||||
}
|
||||
|
||||
using var request = new HttpRequestMessage(HttpMethod.Get, targetUrl);
|
||||
request.Headers.Referrer = new Uri(REFERER_URL);
|
||||
request.Headers.Add("User-Agent", UserAgent);
|
||||
|
||||
var effectiveCookie = GetEffectiveCookie();
|
||||
if (!string.IsNullOrWhiteSpace(effectiveCookie))
|
||||
{
|
||||
request.Headers.Add("Cookie", effectiveCookie);
|
||||
}
|
||||
|
||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead);
|
||||
if (!response.IsSuccessStatusCode)
|
||||
{
|
||||
AddLog($"[警告] [pixiv_common] サムネイル画像取得失敗 (Status={(int)response.StatusCode}, URL={targetUrl})");
|
||||
return null;
|
||||
}
|
||||
|
||||
var contentType = response.Content.Headers.ContentType?.MediaType ?? "image/jpeg";
|
||||
var bytes = await response.Content.ReadAsByteArrayAsync();
|
||||
if (bytes == null || bytes.Length == 0) return null;
|
||||
|
||||
var base64 = Convert.ToBase64String(bytes);
|
||||
return $"data:{contentType};base64,{base64}";
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
AddLog($"[エラー] [pixiv_common] サムネイル Base64 取得例外 (URL={imageUrl}): {ex.Message}");
|
||||
return null;
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Pixiv の作品アイテムリストを非同期で SyndicationItem のリストに変換します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
/// <param name="illusts">Pixiv 作品アイテム列挙</param>
|
||||
/// <param name="maxParallelDownloads">画像ダウンロードの最大並列数(互換性パラメータ)</param>
|
||||
/// <returns>SyndicationItem リスト</returns>
|
||||
public static Task<List<SyndicationItem>> ConvertToSyndicationItemsAsync(
|
||||
HttpClient client,
|
||||
IEnumerable<PixivIllustItem> illusts,
|
||||
int maxParallelDownloads = 6)
|
||||
{
|
||||
// 自前の Caddy オンデマンド・リバースプロキシ(feeds.armonica-vps.work/pximg)により高速配信するため、
|
||||
// ローカルディスクへのファイル保存や事前ダウンロード待ち(I/O)は行わず即座に変換
|
||||
return Task.FromResult(ConvertToSyndicationItems(illusts));
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Pixiv の作品アイテムリストを SyndicationItem のリストに変換します(同期版・後方互換用)。
|
||||
/// </summary>
|
||||
/// <param name="illusts">Pixiv 作品アイテム列挙</param>
|
||||
/// <returns>SyndicationItem リスト</returns>
|
||||
public static List<SyndicationItem> ConvertToSyndicationItems(IEnumerable<PixivIllustItem> illusts)
|
||||
{
|
||||
return ConvertToSyndicationItemsInternal(illusts, null);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Pixiv の作品アイテムリストを SyndicationItem のリストに変換する共通内部処理です。
|
||||
/// </summary>
|
||||
private static List<SyndicationItem> ConvertToSyndicationItemsInternal(
|
||||
IEnumerable<PixivIllustItem> illusts,
|
||||
Dictionary<string, string>? customImageUrlMap = null)
|
||||
{
|
||||
var items = new List<SyndicationItem>();
|
||||
|
||||
@@ -375,7 +490,7 @@ internal static class pixiv_common
|
||||
// 本文 HTML の生成
|
||||
var body = new StringBuilder();
|
||||
|
||||
// 画像 URL の決定(プロキシ適用)
|
||||
// 画像 URL の決定(自前の高速リバースプロキシ feeds.armonica-vps.work/pximg を適用)
|
||||
var displayImageUrl = illust.Url;
|
||||
if (UseImageProxy && !string.IsNullOrWhiteSpace(displayImageUrl))
|
||||
{
|
||||
@@ -385,7 +500,7 @@ internal static class pixiv_common
|
||||
if (!string.IsNullOrWhiteSpace(displayImageUrl))
|
||||
{
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{itemUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">");
|
||||
body.Append($"<a href=\"{itemUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">");
|
||||
body.Append($"<img src=\"{displayImageUrl}\" referrerpolicy=\"no-referrer\" alt=\"{WebUtility.HtmlEncode(illust.Title)}\" style=\"max-width: 100%; height: auto; display: block; margin-bottom: 10px;\" />");
|
||||
body.Append($"</a>");
|
||||
body.Append($"</div>");
|
||||
@@ -393,7 +508,7 @@ internal static class pixiv_common
|
||||
|
||||
// 作者・作品メタ情報
|
||||
body.Append($"<p>");
|
||||
body.Append($"作者: <a href=\"{authorUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">{WebUtility.HtmlEncode(illust.UserName)}</a>");
|
||||
body.Append($"作者: <a href=\"{authorUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">{WebUtility.HtmlEncode(illust.UserName)}</a>");
|
||||
if (illust.PageCount > 1)
|
||||
{
|
||||
body.Append($" | ページ数: {illust.PageCount}P");
|
||||
@@ -436,6 +551,22 @@ internal static class pixiv_common
|
||||
return items;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// SyndicationFeed を作成し、指定されたファイル名の XML として非同期で出力します。
|
||||
/// </summary>
|
||||
public static async Task CreateAndExportFeedAsync(string feedTitle, string feedDescription, string feedLink, string fileName, List<SyndicationItem> items, HttpClient? client = null)
|
||||
{
|
||||
var feed = new SyndicationFeed(
|
||||
feedTitle,
|
||||
feedDescription,
|
||||
new Uri(feedLink),
|
||||
items
|
||||
);
|
||||
|
||||
// Pixiv は自前画像URLまたはプロキシ画像URLを出力するため、Base64への再変換は行わない
|
||||
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, addDir: "pixiv.net", embedBase64: false);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// SyndicationFeed を作成し、指定されたファイル名の XML として出力します。
|
||||
/// </summary>
|
||||
@@ -453,7 +584,7 @@ internal static class pixiv_common
|
||||
items
|
||||
);
|
||||
|
||||
CmnUtil.ExportXMLFile(fileName, feed);
|
||||
CmnUtil.ExportXMLFile(fileName, feed, addDir: "pixiv.net");
|
||||
}
|
||||
|
||||
#region Pixiv API レスポンス用データモデル
|
||||
+8
-6
@@ -2,9 +2,10 @@ using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Net.Http;
|
||||
using System.Threading.Tasks;
|
||||
using static rss_generator.Class.LogManager;
|
||||
using rss_generator.Class.Common;
|
||||
using static rss_generator.Class.Common.LogManager;
|
||||
|
||||
namespace rss_generator.Class.RSS.Pixiv;
|
||||
namespace rss_generator.Class.Pixiv;
|
||||
|
||||
/// <summary>
|
||||
/// Pixiv のフォロー中ユーザーの最新全年齢・AI生成作品フィード (pixiv_non_r18_ai.xml) を生成するクラス
|
||||
@@ -32,16 +33,17 @@ internal class pixiv_non_r18_ai
|
||||
minCount: 30
|
||||
);
|
||||
|
||||
// SyndicationItem のリストに変換
|
||||
var items = pixiv_common.ConvertToSyndicationItems(illusts);
|
||||
// SyndicationItem のリストに変換(Base64 サムネイル埋め込み対応)
|
||||
var items = await pixiv_common.ConvertToSyndicationItemsAsync(client, illusts);
|
||||
|
||||
// フィード作成と XML 出力
|
||||
pixiv_common.CreateAndExportFeed(
|
||||
await pixiv_common.CreateAndExportFeedAsync(
|
||||
FEED_TITLE,
|
||||
FEED_DESCRIPTION,
|
||||
FEED_LINK,
|
||||
XML_FILE_NAME,
|
||||
items
|
||||
items,
|
||||
client
|
||||
);
|
||||
}
|
||||
catch (Exception ex)
|
||||
+8
-6
@@ -2,9 +2,10 @@ using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Net.Http;
|
||||
using System.Threading.Tasks;
|
||||
using static rss_generator.Class.LogManager;
|
||||
using rss_generator.Class.Common;
|
||||
using static rss_generator.Class.Common.LogManager;
|
||||
|
||||
namespace rss_generator.Class.RSS.Pixiv;
|
||||
namespace rss_generator.Class.Pixiv;
|
||||
|
||||
/// <summary>
|
||||
/// Pixiv のフォロー中ユーザーの最新全年齢・非AI作品フィード (pixiv_non_r18_non_ai.xml) を生成するクラス
|
||||
@@ -32,16 +33,17 @@ internal class pixiv_non_r18_non_ai
|
||||
minCount: 30
|
||||
);
|
||||
|
||||
// SyndicationItem のリストに変換
|
||||
var items = pixiv_common.ConvertToSyndicationItems(illusts);
|
||||
// SyndicationItem のリストに変換(Base64 サムネイル埋め込み対応)
|
||||
var items = await pixiv_common.ConvertToSyndicationItemsAsync(client, illusts);
|
||||
|
||||
// フィード作成と XML 出力
|
||||
pixiv_common.CreateAndExportFeed(
|
||||
await pixiv_common.CreateAndExportFeedAsync(
|
||||
FEED_TITLE,
|
||||
FEED_DESCRIPTION,
|
||||
FEED_LINK,
|
||||
XML_FILE_NAME,
|
||||
items
|
||||
items,
|
||||
client
|
||||
);
|
||||
}
|
||||
catch (Exception ex)
|
||||
+8
-6
@@ -2,9 +2,10 @@ using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Net.Http;
|
||||
using System.Threading.Tasks;
|
||||
using static rss_generator.Class.LogManager;
|
||||
using rss_generator.Class.Common;
|
||||
using static rss_generator.Class.Common.LogManager;
|
||||
|
||||
namespace rss_generator.Class.RSS.Pixiv;
|
||||
namespace rss_generator.Class.Pixiv;
|
||||
|
||||
/// <summary>
|
||||
/// Pixiv のフォロー中ユーザーの最新 R-18・AI生成作品フィード (pixiv_r18_ai.xml) を生成するクラス
|
||||
@@ -32,16 +33,17 @@ internal class pixiv_r18_ai
|
||||
minCount: 30
|
||||
);
|
||||
|
||||
// SyndicationItem のリストに変換
|
||||
var items = pixiv_common.ConvertToSyndicationItems(illusts);
|
||||
// SyndicationItem のリストに変換(Base64 サムネイル埋め込み対応)
|
||||
var items = await pixiv_common.ConvertToSyndicationItemsAsync(client, illusts);
|
||||
|
||||
// フィード作成と XML 出力
|
||||
pixiv_common.CreateAndExportFeed(
|
||||
await pixiv_common.CreateAndExportFeedAsync(
|
||||
FEED_TITLE,
|
||||
FEED_DESCRIPTION,
|
||||
FEED_LINK,
|
||||
XML_FILE_NAME,
|
||||
items
|
||||
items,
|
||||
client
|
||||
);
|
||||
}
|
||||
catch (Exception ex)
|
||||
+8
-6
@@ -2,9 +2,10 @@ using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Net.Http;
|
||||
using System.Threading.Tasks;
|
||||
using static rss_generator.Class.LogManager;
|
||||
using rss_generator.Class.Common;
|
||||
using static rss_generator.Class.Common.LogManager;
|
||||
|
||||
namespace rss_generator.Class.RSS.Pixiv;
|
||||
namespace rss_generator.Class.Pixiv;
|
||||
|
||||
/// <summary>
|
||||
/// Pixiv のフォロー中ユーザーの最新 R-18・非AI作品フィード (pixiv_r18_non_ai.xml) を生成するクラス
|
||||
@@ -32,16 +33,17 @@ internal class pixiv_r18_non_ai
|
||||
minCount: 30
|
||||
);
|
||||
|
||||
// SyndicationItem のリストに変換
|
||||
var items = pixiv_common.ConvertToSyndicationItems(illusts);
|
||||
// SyndicationItem のリストに変換(Base64 サムネイル埋め込み対応)
|
||||
var items = await pixiv_common.ConvertToSyndicationItemsAsync(client, illusts);
|
||||
|
||||
// フィード作成と XML 出力
|
||||
pixiv_common.CreateAndExportFeed(
|
||||
await pixiv_common.CreateAndExportFeedAsync(
|
||||
FEED_TITLE,
|
||||
FEED_DESCRIPTION,
|
||||
FEED_LINK,
|
||||
XML_FILE_NAME,
|
||||
items
|
||||
items,
|
||||
client
|
||||
);
|
||||
}
|
||||
catch (Exception ex)
|
||||
@@ -1,121 +0,0 @@
|
||||
using System;
|
||||
using System.Diagnostics;
|
||||
using System.Net.Http;
|
||||
using System.Threading.Tasks;
|
||||
using rss_generator.Class.RSS.Danbooru;
|
||||
using rss_generator.Class.RSS.hitomi_la;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
/// <summary>
|
||||
/// FlareSolverr を利用するすべての RSS 生成処理を単一のセッションで順次(直列)実行し、
|
||||
/// 完了後に確実にセッションを破棄してメモリ消費を極小化するマネージャークラス
|
||||
/// </summary>
|
||||
internal static class FlareSolverrFeedManager
|
||||
{
|
||||
/// <summary>
|
||||
/// FlareSolverr セッションを 1 つ作成し、そのセッションを共有して各フィードを順次生成します。
|
||||
/// 完了後(または異常終了時)にセッションを確実に破棄して Chromium プロセスを終了させます。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
public static async Task CreateAllRSSAsync(HttpClient client)
|
||||
{
|
||||
LogManager.AddLog("[情報] FlareSolverr フィード生成(単一セッション順次実行)を開始します");
|
||||
var sw = Stopwatch.StartNew();
|
||||
string? sessionId = null;
|
||||
|
||||
try
|
||||
{
|
||||
// 1. 全タスク共通の単一 FlareSolverr セッションを作成(Chromium 1インスタンスのみ起動)
|
||||
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
|
||||
LogManager.AddLog($"[情報] 共通 FlareSolverr セッションを作成しました (Session: {sessionId ?? "none"})");
|
||||
|
||||
// 2. メモリ節約のため、1つのセッションを使い回して直列(同期)で順番に実行
|
||||
// 個別のエラーで全体が止まらないよう各タスクを保護
|
||||
|
||||
// npb_6
|
||||
try
|
||||
{
|
||||
await npb_6.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] npb_6 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// aurahentai
|
||||
try
|
||||
{
|
||||
await aurahentai.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] aurahentai 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// Danbooru rank
|
||||
try
|
||||
{
|
||||
await rank.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] Danbooru.rank 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// missav
|
||||
try
|
||||
{
|
||||
await missav.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] missav 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// missav123
|
||||
try
|
||||
{
|
||||
await missav123.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] missav123 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// hitomi.la
|
||||
try
|
||||
{
|
||||
await index_japanese.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] hitomi.la 実行失敗: {ex.Message}");
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] 共通セッション処理中に例外発生: {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
finally
|
||||
{
|
||||
// 3. すべて取得完了後にセッション(Chromiumインスタンス)を確実に破棄してメモリ解放
|
||||
if (sessionId != null)
|
||||
{
|
||||
try
|
||||
{
|
||||
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
|
||||
LogManager.AddLog($"[情報] 共通 FlareSolverr セッションを破棄しました (Session: {sessionId})");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [FlareSolverrFeedManager] セッション破棄中にエラー: {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
sw.Stop();
|
||||
LogManager.AddLog($"[情報] FlareSolverr フィード生成完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -1,89 +0,0 @@
|
||||
using System.ServiceModel.Syndication;
|
||||
|
||||
namespace rss_generator.Class.RSS.X;
|
||||
|
||||
internal class x_list
|
||||
{
|
||||
private const string BASE_URL = "https://rsshub.armonica-vps.work/twitter/list";
|
||||
private const string QUERY1 = "showEmojiForRetweetAndReply=1?filterout_title=%5E%28🔁%7CRT%29";
|
||||
private const string QUERY2 = "showEmojiForRetweetAndReply=1?filter_title=%5E%28🔁%7CRT%29";
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var tasks = new List<Task>()
|
||||
{
|
||||
CreateSub1(client, "2076742238231818243", "granbluefantasy")
|
||||
, CreateSub1(client, "1695011723005280535", "AI")
|
||||
, CreateSub1(client, "1573473287333560321", "R18")
|
||||
, CreateSub1(client, "2070669317667217577", "VR")
|
||||
, CreateSub1(client, "1573916143969976320", "VTuber")
|
||||
, CreateSub1(client, "2070673943057539507", "AnimeReal")
|
||||
, CreateSub1(client, "1599409403743961088", "AnimeOther")
|
||||
, CreateSub1(client, "2070670309846655252", "NormalIllust")
|
||||
};
|
||||
|
||||
Task.WaitAll(tasks);
|
||||
}
|
||||
|
||||
public static async Task CreateSub1(HttpClient client, string listId, string fileName)
|
||||
{
|
||||
await CreateSub2(client, listId, QUERY1, $"{fileName}");
|
||||
await CreateSub2(client, listId, QUERY2, $"{fileName}RT");
|
||||
}
|
||||
|
||||
public static async Task CreateSub2(HttpClient client, string listId, string query, string fileName)
|
||||
{
|
||||
try
|
||||
{
|
||||
var listURL = $"{BASE_URL}/{listId}";
|
||||
var allItems = await CmnUtil.GetFeedItems(client, $"{listURL}/{query}");
|
||||
|
||||
// 簡潔なRSSに整形
|
||||
var simplifiedItems = allItems.OrderByDescending(x => x.PublishDate).Select(originalItem =>
|
||||
{
|
||||
var newItem = new SyndicationItem()
|
||||
{
|
||||
// タイトルは TextSyndicationContent でラップする必要があります
|
||||
Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title")
|
||||
, Id = CmnUtil.CreateGuid(originalItem.Id)
|
||||
, PublishDate = originalItem.PublishDate
|
||||
, LastUpdatedTime = originalItem.LastUpdatedTime
|
||||
|
||||
// 元のコンテンツをそのまま引き継ぐ
|
||||
// Content = originalItem.Content,
|
||||
, Summary = originalItem.Summary
|
||||
};
|
||||
|
||||
// リンクを引き継ぐ
|
||||
var link = originalItem.Links.FirstOrDefault()?.Uri;
|
||||
if (link != null)
|
||||
{
|
||||
newItem.Links.Add(new SyndicationLink(link));
|
||||
}
|
||||
// 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
|
||||
foreach (var category in originalItem.Categories)
|
||||
{
|
||||
category.Scheme = null;
|
||||
newItem.Categories.Add(category);
|
||||
}
|
||||
foreach (var author in originalItem.Authors)
|
||||
{
|
||||
newItem.Authors.Add(author);
|
||||
}
|
||||
return newItem;
|
||||
});
|
||||
// 新しい統合フィードを作成
|
||||
var mergedFeed = new SyndicationFeed(
|
||||
fileName,
|
||||
"",
|
||||
new Uri("https://x.com/i/lists/2070669317667217577"),
|
||||
simplifiedItems
|
||||
);
|
||||
|
||||
CmnUtil.ExportXMLFile($"{fileName}.xml", mergedFeed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] fileName:{ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -1,172 +0,0 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net.Http;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class aurahentai
|
||||
{
|
||||
/// <summary>
|
||||
/// aurahentai.com の日本語作品一覧から RSS フィード (aurahentai.xml) を生成します。
|
||||
/// 一覧ページから作品情報を直接パースすることで、FlareSolverr へのリクエスト数を最小化(全150件をたった5回のリクエストで取得)し、
|
||||
/// 500 Internal Server Error や過負荷を根本防止しています。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
var baseURL = "https://aurahentai.com/language/japanese";
|
||||
var feed = new SyndicationFeed("aurahentai.com", "", new Uri(baseURL));
|
||||
var items = new List<SyndicationItem>();
|
||||
|
||||
try
|
||||
{
|
||||
// 外部からセッションが渡されなかった場合は自前で作成
|
||||
bool ownSession = sessionId == null;
|
||||
if (ownSession)
|
||||
{
|
||||
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
|
||||
}
|
||||
try
|
||||
{
|
||||
for (int pageId = 1; pageId <= 5; pageId++)
|
||||
{
|
||||
var pageURL = $"{baseURL}?page={pageId}";
|
||||
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
|
||||
if (document == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var newItems = CreateFeedItemsFromListPage(document, pageId);
|
||||
items.AddRange(newItems);
|
||||
}
|
||||
}
|
||||
finally
|
||||
{
|
||||
if (ownSession && sessionId != null)
|
||||
{
|
||||
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
|
||||
}
|
||||
}
|
||||
|
||||
// ID 重複排除
|
||||
var uniqueItems = items
|
||||
.GroupBy(x => x.Id)
|
||||
.Select(g => g.First())
|
||||
.ToList();
|
||||
|
||||
feed.Items = uniqueItems;
|
||||
|
||||
CmnUtil.ExportXMLFile("aurahentai.xml", feed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] aurahentai: {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 一覧ページの IDocument から個別作品の SyndicationItem を生成します。
|
||||
/// タイトル、リンク、カバー画像、ページ数、カテゴリは一覧ページの DOM からすべて取得可能です。
|
||||
/// </summary>
|
||||
/// <param name="docListPage">AngleSharp の一覧ページ IDocument</param>
|
||||
/// <param name="pageIndex">ページ番号</param>
|
||||
/// <returns>SyndicationItem のリスト</returns>
|
||||
private static List<SyndicationItem> CreateFeedItemsFromListPage(IDocument docListPage, int pageIndex)
|
||||
{
|
||||
var items = new List<SyndicationItem>();
|
||||
var articleElements = docListPage.QuerySelectorAll("main article");
|
||||
|
||||
int itemIndex = 0;
|
||||
foreach (var article in articleElements)
|
||||
{
|
||||
var linkElement = article.QuerySelector("a.block, a");
|
||||
if (linkElement == null) continue;
|
||||
|
||||
var relLink = linkElement.GetAttribute("href") ?? string.Empty;
|
||||
if (string.IsNullOrWhiteSpace(relLink)) continue;
|
||||
|
||||
var contentsUri = CmnUtil.GetAbsoluteUri(docListPage.BaseUrl!, relLink);
|
||||
if (contentsUri == null) continue;
|
||||
var linkHref = contentsUri.AbsoluteUri;
|
||||
|
||||
// 1. タイトルの取得 (h3 または img alt)
|
||||
var title = article.QuerySelector("h3")?.TextContent?.Trim();
|
||||
if (string.IsNullOrWhiteSpace(title))
|
||||
{
|
||||
title = article.QuerySelector("img")?.GetAttribute("alt")?.Trim() ?? "No Title";
|
||||
}
|
||||
|
||||
// 2. カバー画像 URL の決定
|
||||
var replaceFr = "https://aurahentai.com/gallery/";
|
||||
var replaceTo = "https://img.aurahentai.com/g/";
|
||||
var imgUrl = $"{linkHref.Replace(replaceFr, replaceTo)}/001.webp";
|
||||
|
||||
// 3. カテゴリ(Doujinshi, Manga 等)
|
||||
var categorySpan = article.QuerySelector("span.uppercase, span[class*='uppercase']");
|
||||
var category = categorySpan?.TextContent?.Trim() ?? string.Empty;
|
||||
|
||||
// 4. ページ数 (例: 34p)
|
||||
var pageSpan = article.QuerySelectorAll("span").FirstOrDefault(s => s.TextContent.Trim().EndsWith("p", StringComparison.OrdinalIgnoreCase));
|
||||
var pageCount = pageSpan?.TextContent?.Trim() ?? string.Empty;
|
||||
|
||||
// 5. 日時 (一覧の掲載順序を維持するために少しずつオフセット)
|
||||
var pubDate = DateTime.Now.AddMinutes(-((pageIndex - 1) * 30 + itemIndex));
|
||||
itemIndex++;
|
||||
|
||||
// 6. 本文 HTML の生成
|
||||
var body = new StringBuilder();
|
||||
|
||||
// ギャラリー表示リンク
|
||||
var match = Regex.Match(linkHref, @"/gallery/([^/]+)", RegexOptions.IgnoreCase);
|
||||
if (match.Success)
|
||||
{
|
||||
string galleryId = match.Groups[1].Value;
|
||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/aurahentai/{galleryId}/";
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
|
||||
body.Append($"</div>");
|
||||
}
|
||||
|
||||
// 1枚目画像
|
||||
body.Append($"<div>");
|
||||
body.Append($"<img src=\"{imgUrl}\" />");
|
||||
body.Append($"</div>");
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(pageCount) || !string.IsNullOrWhiteSpace(category))
|
||||
{
|
||||
body.Append($"<p>");
|
||||
if (!string.IsNullOrWhiteSpace(category)) body.Append($"[{category}] ");
|
||||
if (!string.IsNullOrWhiteSpace(pageCount)) body.Append($"ページ数: {pageCount}");
|
||||
body.Append($"</p>");
|
||||
}
|
||||
|
||||
var item = new SyndicationItem
|
||||
{
|
||||
Title = new TextSyndicationContent(title),
|
||||
Id = CmnUtil.CreateGuid(linkHref),
|
||||
PublishDate = pubDate,
|
||||
LastUpdatedTime = pubDate,
|
||||
Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
item.Links.Add(new SyndicationLink(new Uri(linkHref)));
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(category))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(category));
|
||||
}
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
|
||||
return items;
|
||||
}
|
||||
}
|
||||
@@ -1,177 +0,0 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using AngleSharp.Html.Parser;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Threading.Tasks;
|
||||
using static rss_generator.Class.LogManager;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class ci_en
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var cookie = @"dlloginjp=1; _vwo_uuid_v2=DE0A491AF4C7D82F5A0E36EE05FB9DCC4|1c75fec8568c82f554ce0bf05b184323; _fbp=fb.1.1744889132407.755153059380374410; _gaid=368068859.1744048157; _tt_enable_cookie=1; _ttp=01JS1QYDMMCWME95G944M64YBH_.tt.1; carted=1; accepted_rating=r18g; _ga_BZK47NSH6M=GS2.1.s1773681391$o1$g1$t1773683085$j60$l0$h0; _ga_5V5XC0P05K=GS2.1.s1773925565$o1$g1$t1773925597$j28$l0$h0; _ga_FT5XDNCSST=GS2.1.s1774009996$o1$g1$t1774010041$j15$l0$h0; recommend_device_id=4242537564.1775488541; locale=ja-jp; _trust360_=%7B%22pid%22%3A%22GZOmvAwr%22%2C%22vid%22%3A%22MNNC1CLRTKMZA453FZJ2AKYY%22%2C%22v%22%3A1%2C%22accepted%22%3A7%2C%22it%22%3A1775488544271%7D; adultchecked=1; _ga_QQPE5BRL8Y=GS2.1.s1776218873$o1$g1$t1776218883$j50$l0$h0; _twpid=tw.1776384373659.787621302594603318; _ga_MYZL3283YG=GS2.1.s1776533403$o5$g1$t1776533425$j38$l0$h0; i18n_redirected=ja-jp; _ga_57HC74EGYW=GS2.1.s1776877012$o3$g0$t1776877014$j58$l0$h0; _ga_FGNPZ32399=GS2.1.s1776963447$o3$g1$t1776963496$j11$l0$h0; _ga_CKDD79YY5K=GS2.1.s1777130134$o2$g1$t1777130163$j31$l0$h0; _ga_SLMZ0ZXNJ1=GS2.1.s1778801244$o2$g1$t1778801256$j48$l0$h0; uhashjp=8a9768d1bc66b3cb5d302ada2c95724cbab9eeeb; iom_jp=SFT000002128873; uid_jp=SFT000002128873; remember_web_59ba36addc2b2f9401580f014c7f58ea4e30989d=2045064%7CtfkLIcqxXZDJ8bpsXA8nOZcofF9qGIiUeo8T8eWSTesxR7BjTKvlzj2JjKFI%7CtfkLIcqxXZDJ8bpsXA8nOZcofF9qGIiUeo8T8eWSTesxR7BjTKvlzj2JjKFI; _ga_9SB79WF4BD=GS2.1.s1779791861$o4$g1$t1779792797$j60$l0$h0; _ga_140=GS2.1.s1779805620$o17$g1$t1779805764$j60$l0$h0; _ga_EZN33JX2LQ=GS2.1.s1780220071$o8$g1$t1780220111$j20$l0$h0; _ga_NSFZEVF70Z=GS2.1.s1780660225$o13$g1$t1780660251$j34$l0$h0; client_id=5296163acabf6608213b4e6f7e9ebd60; _unv_aid=183806e4-d24d-4d1d-958e-0044749aebab; _ga_YJ8NCCZMYD=GS2.1.s1782302356$o5$g1$t1782302393$j23$l0$h0; _ga_H29V5427MF=GS2.1.s1782311562$o7$g0$t1782311570$j52$l0$h0; _vwo_uuid=D0095974371256A8657ECF68E198C5817; _ga_166H7ZBJJ6=GS2.1.s1782579077$o7$g1$t1782579130$j7$l0$h0; _ga_FYQ837TCLF=GS2.1.s1782643016$o3$g1$t1782643097$j47$l0$h0; _ga_ZWB2Z5E0V2=GS2.1.s1782821894$o7$g0$t1782821903$j51$l0$h0; ttcsid_D0DFBO3C77U626LJDL6G=1782837386436::cRvgniZAyWEaSNF3mVpx.43.1782837438327.1; ttcsid_CKRMHGRC77U81CKC8HNG=1782837386443::vABiN78hXjyU_a3pz7XK.43.1782837438334.1; ttcsid_CLVT5NRC77U95UC4O12G=1782837386446::MF_CNvJ_wXnnaUYSTF1e.43.1782837438340.1; ttcsid_CPLBGI3C77U3S3PJLFRG=1782837386450::1QYS6mg4SHJnwBkWzvvm.43.1782837438346.1; ttcsid_CQ3QNNBC77U0CETNEGNG=1782837386454::Zx5dDGKm5RKyQqEMQmtp.43.1782837438353.1; ttcsid_D02V363C77U9GIBTNP9G=1782837386457::OMcsULq6hpuuJ2x1B0r2.43.1782837438359.1; ttcsid=1782837386438::1pxUgLoa6xq6svEKpaD3.203.1782837438357.0::1.36619.41937::0.0.0.0::51807.20.3300; _ga_3Q3ERY250G=GS2.1.s1782837523$o1$g1$t1782837803$j60$l0$h0; _vwo_ds=3%241782551443%3A50.02909166%3A%3A%3A%3A%3A1782902051%3A1782897550%3A18; _vis_opt_s=20%7C; _ga_HEQQ3BGXDL=GS2.1.s1782902045$o7$g1$t1782902059$j46$l0$h0; _ga=GA1.1.368068859.1744048157; _ga_CWG6LEYWHN=GS2.1.s1783181099$o4$g1$t1783181119$j40$l0$h0; vendor_design=normal; session_state=3f33774fce7cb6c51d66cf8c4bef7642173dce3c7e4ef82310b9752b9ad2c6b7.40x3nks7uaww4800o4wkc0wgg; loginchecked=1; __DLsite_SID=htvqf2s9ge8o313nolr7edcrfd; _ga_MB2PT3FWW8=GS2.1.s1783268429$o15$g1$t1783268531$j56$l0$h0; _ga_1CQ9479B3Z=GS2.1.s1783688876$o6$g0$t1783688878$j58$l0$h0; _inflow_params=%7B%22referrer_uri%22%3A%22www.anime-sharing.com%22%7D; _ga_1Z1SYS3CQ4=GS2.1.s1783858175$o12$g0$t1783858180$j55$l0$h0; _ga_6VLJ921530=GS2.1.s1784047289$o19$g1$t1784047430$j57$l0$h0; _ga_SEMVGMN3H2=GS2.1.s1784223465$o5$g1$t1784223531$j58$l0$h0; consent_terms_vivion_id_SFT000002128873=2026-07-19T12:57:22.011Z; consent_privacy_vivion_id_SFT000002128873=2026-07-19T12:57:22.011Z; consent_terms_dlsite_SFT000002128873=2026-07-19T12:57:22.011Z; consent_privacy_dlsite_SFT000002128873=2026-07-19T12:57:22.011Z; DL_PTAFID=twitternukomajin; utm_c=sns_link; _inflow_ad_params=%7B%22product_id%22%3A%22RJ01009083%22%2C%22utm_medium%22%3A%22affiliate%22%2C%22utm_campaign%22%3A%22sns_link%22%2C%22utm_content%22%3A%22RJ01009083%22%2C%22utm_source%22%3A%22t.co%2F%22%7D; _gcl_au=1.1.302635706.1783464784.999250299.1784474157.1784474157.93176051.1784474157.1784474157; DL_PRODUCT_LOG=RJ196116%2CRJ01632273%2CRJ01668630%2CRJ01670035%2CRJ01671421%2CRJ01673489%2CRJ01657229%2CRJ01009083%2CRJ01648715%2CRJ01644999%2CRJ01604830%2CRJ01625582%2CRJ01605765%2CRJ236734%2CRJ071090%2CRJ01623421%2CRJ145373%2CRJ01570227%2CRJ01665800%2CRJ01669480%2CRJ01212879%2CRJ01606779%2CRJ01605618%2CRJ01610188%2CRJ01648963%2CRJ01484365%2CRJ362203%2CRJ01509772%2CRJ01450546%2CRJ01271060%2CRJ01123284%2CRJ01516172%2CRJ01576032%2CRJ01375307%2CRJ01622268%2CRJ01496131%2CRJ01550550%2CRJ01650691%2CRJ01647232%2CRJ01585232%2CRJ01657316%2CRJ01622380%2CRJ01387722%2CRJ01409387%2CRJ01449864%2CRJ01509009%2CRJ212283%2CRJ01638705%2CRJ01653149%2CRJ01633249; last_wishlist_check=0; _inflow_dlsite_params=%7B%22dlsite_referrer_url%22%3A%22https%3A%2F%2Fwww.dlsite.com%2Fmaniax%2Fwork%2F%3D%2Fpro
Line truncated
|
||||
var feed = new SyndicationFeed("Ci-en", "", new Uri("https://ci-en.dlsite.com/mypage/recent"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
var pageURL = $"https://ci-en.dlsite.com/mypage/recent";
|
||||
var rssUrl = $"{pageURL}";
|
||||
|
||||
if (client.DefaultRequestHeaders.Contains("Cookie"))
|
||||
{
|
||||
client.DefaultRequestHeaders.Remove("Cookie");
|
||||
}
|
||||
client.DefaultRequestHeaders.Add("Cookie", cookie);
|
||||
|
||||
var document = await CmnUtil.GetDocument(client, rssUrl);
|
||||
var elemArticles = document.QuerySelectorAll(".c-card-article");
|
||||
var parser = new HtmlParser();
|
||||
|
||||
foreach (var elemArticle in elemArticles)
|
||||
{
|
||||
var item = new SyndicationItem();
|
||||
|
||||
var href = "";
|
||||
{
|
||||
if (elemArticle.QuerySelector("a.c-cardLink") is IHtmlAnchorElement element)
|
||||
{
|
||||
item.Links.Add(new SyndicationLink(new Uri(element.Href)));
|
||||
href = element.Href;
|
||||
}
|
||||
}
|
||||
var name = "";
|
||||
{
|
||||
if (elemArticle.QuerySelector(".e-abbreviation a") is IHtmlAnchorElement element)
|
||||
{
|
||||
name = element.TextContent.Trim() ?? "";
|
||||
item.Authors.Add(new SyndicationPerson() { Name = "Ci-en" });
|
||||
item.Authors.Add(new SyndicationPerson() { Name = name });
|
||||
}
|
||||
}
|
||||
var title = "";
|
||||
{
|
||||
if (elemArticle.QuerySelector(".is-articleCard") is IHtmlHeadingElement element)
|
||||
{
|
||||
title = $"{name} : {element.TextContent.Trim()}";
|
||||
item.Title = new TextSyndicationContent(title);
|
||||
}
|
||||
}
|
||||
{
|
||||
if (elemArticle.QuerySelector(".e-date") is IHtmlSpanElement element)
|
||||
{
|
||||
var updateTime = DateTime.Now;
|
||||
if (DateTime.TryParse(element.TextContent.Trim(), out DateTime itemTime))
|
||||
{
|
||||
updateTime = itemTime;
|
||||
}
|
||||
item.LastUpdatedTime = updateTime;
|
||||
}
|
||||
}
|
||||
|
||||
var body = new StringBuilder();
|
||||
if (!string.IsNullOrEmpty(href))
|
||||
{
|
||||
var docContents = await CmnUtil.GetDocument(client, href);
|
||||
var divDetail = docContents.QuerySelector("article");
|
||||
|
||||
if (divDetail != null)
|
||||
{
|
||||
// 1. vue-l-image 等の Vue カスタムコンポーネントを標準の <a><img></a> タグに置換
|
||||
var vueImages = divDetail.QuerySelectorAll("vue-l-image, [vue-is='l_image'], vue-image").ToList();
|
||||
foreach (var vueImg in vueImages)
|
||||
{
|
||||
var src = vueImg.GetAttribute("src");
|
||||
var actualSrc = vueImg.GetAttribute("data-actual");
|
||||
var rawSrc = vueImg.GetAttribute("data-raw");
|
||||
var alt = vueImg.GetAttribute("alt") ?? "";
|
||||
|
||||
var targetImgSrc = !string.IsNullOrEmpty(actualSrc) ? actualSrc : (!string.IsNullOrEmpty(src) ? src : rawSrc);
|
||||
if (!string.IsNullOrEmpty(targetImgSrc))
|
||||
{
|
||||
var linkUrl = !string.IsNullOrEmpty(rawSrc) ? rawSrc : targetImgSrc;
|
||||
var imgTagHtml = $@"<a href=""{linkUrl}"" target=""_blank"" rel=""noopener noreferrer""><img src=""{targetImgSrc}"" alt=""{WebUtility.HtmlEncode(alt)}"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a>";
|
||||
|
||||
var fragment = parser.ParseDocument(imgTagHtml);
|
||||
var newElement = fragment.Body?.FirstElementChild;
|
||||
if (newElement != null)
|
||||
{
|
||||
vueImg.ReplaceWith(newElement);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// 2. figure や file-player-image-wrapper の崩れ防止(padding-bottom等の削除)
|
||||
var figureWrappers = divDetail.QuerySelectorAll("figure, div.file-player-image-wrapper").ToList();
|
||||
foreach (var fig in figureWrappers)
|
||||
{
|
||||
fig.RemoveAttribute("style");
|
||||
}
|
||||
|
||||
// 3. 通常の <img> タグの data-actual / data-src 対応
|
||||
var regularImages = divDetail.QuerySelectorAll("img").ToList();
|
||||
foreach (var img in regularImages)
|
||||
{
|
||||
var dataActual = img.GetAttribute("data-actual");
|
||||
var dataSrc = img.GetAttribute("data-src");
|
||||
var currentSrc = img.GetAttribute("src");
|
||||
|
||||
if (!string.IsNullOrEmpty(dataActual))
|
||||
{
|
||||
img.SetAttribute("src", dataActual);
|
||||
}
|
||||
else if ((string.IsNullOrEmpty(currentSrc) || currentSrc.Contains("no_image")) && !string.IsNullOrEmpty(dataSrc))
|
||||
{
|
||||
img.SetAttribute("src", dataSrc);
|
||||
}
|
||||
|
||||
img.SetAttribute("style", "max-width: 100%; height: auto;");
|
||||
}
|
||||
|
||||
// 4. カバー画像/アイキャッチ画像の配置
|
||||
string? coverImageUrl = null;
|
||||
if (elemArticle.QuerySelector("img.image, img") is IHtmlImageElement coverElem && !string.IsNullOrEmpty(coverElem.Source) && !coverElem.Source.Contains("no_image") && !coverElem.Source.Contains("logo_"))
|
||||
{
|
||||
coverImageUrl = coverElem.Source;
|
||||
}
|
||||
else
|
||||
{
|
||||
var metaOgImage = docContents.QuerySelector("meta[property='og:image']")?.GetAttribute("content");
|
||||
if (!string.IsNullOrEmpty(metaOgImage) && !metaOgImage.Contains("logo_") && !metaOgImage.Contains("no_image"))
|
||||
{
|
||||
coverImageUrl = metaOgImage;
|
||||
}
|
||||
}
|
||||
|
||||
if (!string.IsNullOrEmpty(coverImageUrl))
|
||||
{
|
||||
body.Append($@"<div><a href=""{href}""><img src=""{coverImageUrl}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-bottom: 12px;"" /></a></div>");
|
||||
}
|
||||
|
||||
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
||||
}
|
||||
}
|
||||
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
// ID
|
||||
item.Id = CmnUtil.CreateGuid($"{href}");
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
CmnUtil.ExportXMLFile("ci_en.xml", feed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
AddLog($"[エラー] [ci_en]:{ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -1,211 +0,0 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using AngleSharp.Html.Parser;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net.Http;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.RSS.hitomi_la;
|
||||
|
||||
internal class index_japanese
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
var baseURL = "https://hitomi.la/index-japanese.html";
|
||||
|
||||
var feed = new SyndicationFeed("hitomi.la", "", new Uri(baseURL));
|
||||
var items = new List<SyndicationItem>();
|
||||
|
||||
try
|
||||
{
|
||||
// 外部からセッションが渡されなかった場合は自前で作成
|
||||
bool ownSession = sessionId == null;
|
||||
if (ownSession)
|
||||
{
|
||||
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
|
||||
}
|
||||
try
|
||||
{
|
||||
for (int pageId = 1; pageId <= 5; pageId++)
|
||||
{
|
||||
var pageURL = pageId == 1 ? baseURL : $"{baseURL}?page={pageId}";
|
||||
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
|
||||
if (document == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var newItems = ParseGalleryItems(document);
|
||||
items.AddRange(newItems);
|
||||
}
|
||||
}
|
||||
finally
|
||||
{
|
||||
if (ownSession && sessionId != null)
|
||||
{
|
||||
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
|
||||
}
|
||||
}
|
||||
|
||||
// 重複除外(IDベース)
|
||||
var uniqueItems = items
|
||||
.GroupBy(x => x.Id)
|
||||
.Select(g => g.First())
|
||||
.ToList();
|
||||
|
||||
feed.Items = uniqueItems;
|
||||
|
||||
CmnUtil.ExportXMLFile("hitomi-japanese.xml", feed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] hitomi-japanese:{ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
|
||||
private static List<SyndicationItem> ParseGalleryItems(IDocument document)
|
||||
{
|
||||
var result = new List<SyndicationItem>();
|
||||
var cards = document.QuerySelectorAll(".gallery-content > div");
|
||||
|
||||
foreach (var card in cards)
|
||||
{
|
||||
var titleElem = card.QuerySelector("h1.lillie a, h1 a");
|
||||
if (titleElem == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var title = titleElem.TextContent?.Trim() ?? "No Title";
|
||||
var relLink = titleElem.GetAttribute("href") ?? string.Empty;
|
||||
var linkHref = !string.IsNullOrEmpty(relLink)
|
||||
? (relLink.StartsWith("http") ? relLink : $"https://hitomi.la{(relLink.StartsWith("/") ? "" : "/")}{relLink}")
|
||||
: string.Empty;
|
||||
|
||||
if (string.IsNullOrEmpty(linkHref))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
// 作品IDの抽出
|
||||
string galleryId = "";
|
||||
var matchId = Regex.Match(linkHref, @"(\d+)\.html", RegexOptions.IgnoreCase);
|
||||
if (!matchId.Success)
|
||||
{
|
||||
matchId = Regex.Match(linkHref, @"(\d{5,})");
|
||||
}
|
||||
if (matchId.Success)
|
||||
{
|
||||
galleryId = matchId.Groups[1].Value;
|
||||
}
|
||||
|
||||
var item = new SyndicationItem
|
||||
{
|
||||
Title = new TextSyndicationContent(title),
|
||||
Id = CmnUtil.CreateGuid(linkHref)
|
||||
};
|
||||
|
||||
item.Links.Add(new SyndicationLink(new Uri(linkHref)));
|
||||
|
||||
// 投稿日時の取得
|
||||
var dateElem = card.QuerySelector(".date");
|
||||
var dateStr = dateElem?.GetAttribute("data-posted") ?? dateElem?.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(dateStr) && DateTimeOffset.TryParse(dateStr, out var parsedOffset))
|
||||
{
|
||||
var jstDate = parsedOffset.ToOffset(TimeSpan.FromHours(9)).DateTime;
|
||||
item.PublishDate = jstDate;
|
||||
item.LastUpdatedTime = jstDate;
|
||||
}
|
||||
else
|
||||
{
|
||||
item.PublishDate = DateTime.Now;
|
||||
item.LastUpdatedTime = DateTime.Now;
|
||||
}
|
||||
|
||||
// 作家の取得
|
||||
var artistElems = card.QuerySelectorAll(".artist-list li a");
|
||||
foreach (var artistElem in artistElems)
|
||||
{
|
||||
var artist = artistElem.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(artist) && !string.Equals(artist, "N/A", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = artist });
|
||||
item.Categories.Add(new SyndicationCategory(artist));
|
||||
}
|
||||
}
|
||||
|
||||
// シリーズの取得
|
||||
var seriesElems = card.QuerySelectorAll(".series-list li a");
|
||||
foreach (var seriesElem in seriesElems)
|
||||
{
|
||||
var series = seriesElem.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(series) && !string.Equals(series, "N/A", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(series));
|
||||
}
|
||||
}
|
||||
|
||||
// タイプの取得
|
||||
var typeElem = card.QuerySelector(".dj-desc a[href*='/type/']");
|
||||
if (typeElem != null)
|
||||
{
|
||||
var typeName = typeElem.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(typeName) && !string.Equals(typeName, "N/A", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(typeName));
|
||||
}
|
||||
}
|
||||
|
||||
// タグの取得
|
||||
var tagElems = card.QuerySelectorAll(".relatedtags li a");
|
||||
foreach (var tagElem in tagElems)
|
||||
{
|
||||
var tag = tagElem.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(tag))
|
||||
{
|
||||
// 記号(♀ ♂ など)をトリム
|
||||
tag = Regex.Replace(tag, @"[\s♀♂]+$", "").Trim();
|
||||
if (!string.IsNullOrEmpty(tag))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(tag));
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// サムネイル画像の取得
|
||||
var imgElem = card.QuerySelector("img");
|
||||
var imgSrc = imgElem?.GetAttribute("data-src") ?? imgElem?.GetAttribute("src") ?? string.Empty;
|
||||
if (!string.IsNullOrEmpty(imgSrc) && imgSrc.StartsWith("//"))
|
||||
{
|
||||
imgSrc = $"https:{imgSrc}";
|
||||
}
|
||||
|
||||
// HTML構築
|
||||
var body = new StringBuilder();
|
||||
if (!string.IsNullOrEmpty(galleryId))
|
||||
{
|
||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/hitomi/{galleryId}";
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
|
||||
body.Append($"</div>");
|
||||
}
|
||||
if (!string.IsNullOrEmpty(imgSrc))
|
||||
{
|
||||
body.Append($"<div>");
|
||||
body.Append($"<img src=\"{imgSrc}\" />");
|
||||
body.Append($"</div>");
|
||||
}
|
||||
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
result.Add(item);
|
||||
}
|
||||
|
||||
return result;
|
||||
}
|
||||
}
|
||||
@@ -1,125 +0,0 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class kimochiinfo
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var baseURL = "https://kimochi.info/browse/";
|
||||
var query = "?platform=windows";
|
||||
|
||||
var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
// 複数ページをまとめる場合に先に取得する
|
||||
var docList = new List<IDocument>();
|
||||
for (int pageId = 1; pageId <= 5; pageId++)
|
||||
{
|
||||
var pageURL = $"{baseURL}{(pageId > 1 ? $"/page/{pageId}{query}" : query)}";
|
||||
var document = await CmnUtil.GetDocument(client, pageURL);
|
||||
docList.Add(document);
|
||||
}
|
||||
|
||||
var linkList = new List<string>();
|
||||
foreach (var document in docList)
|
||||
{
|
||||
if (document == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var elements = document.QuerySelectorAll("main article>a");
|
||||
foreach (var linkElement in elements)
|
||||
{
|
||||
var imgElement = linkElement.QuerySelector("img");
|
||||
var imageSrc = (imgElement as IHtmlImageElement)!.Source;
|
||||
var linkHref = linkElement.GetAttribute("href") ?? string.Empty;
|
||||
if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
||||
{
|
||||
if (linkHref.Last() == '?')
|
||||
{
|
||||
linkHref = linkHref.TrimEnd('?');
|
||||
}
|
||||
linkList.Add(linkHref);
|
||||
}
|
||||
else
|
||||
{
|
||||
continue;
|
||||
}
|
||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
if (itemUri == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var divVerElems = linkElement.QuerySelectorAll("div>div.tracking-wider");
|
||||
var versionText = "v1.0.0";
|
||||
foreach (var divVerElem in divVerElems)
|
||||
{
|
||||
versionText = Regex.Replace(divVerElem.TextContent, @"\s+", "");
|
||||
break;
|
||||
}
|
||||
|
||||
var h3Elem = linkElement.QuerySelector("h3");
|
||||
var title = $"{h3Elem!.TextContent.Replace("\t", "").Replace("\r", "").Replace("\n", "").Trim()} {versionText}";
|
||||
|
||||
var divContents = linkElement.QuerySelectorAll("h3+div>div");
|
||||
var isJP = false;
|
||||
if (divContents!.Length > 2)
|
||||
{
|
||||
var span = divContents[1];
|
||||
if (span.TextContent.Contains("JP"))
|
||||
{
|
||||
isJP = true;
|
||||
}
|
||||
}
|
||||
if (isJP == false)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
var docContents = await CmnUtil.GetDocument(client, linkHref);
|
||||
var divDetail = docContents.QuerySelector("main>div>div")!;
|
||||
var metaPubDate = CmnUtil.GetPublishedTimeAsJst(docContents);
|
||||
var metaModDate = CmnUtil.GetModifiedTimeAsJst(docContents);
|
||||
|
||||
var body = new StringBuilder();
|
||||
|
||||
body.Append($@"<div>バージョン:{versionText}</div>");
|
||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
||||
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
CmnUtil.CreateGuid(linkHref),
|
||||
metaModDate ?? (metaPubDate ?? DateTime.Now) // 取得できた公開日時があればそれをセット
|
||||
);
|
||||
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
||||
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
||||
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
CmnUtil.ExportXMLFile("kimochiinfo.xml", feed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] kimochiinfo:{ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -1,104 +0,0 @@
|
||||
using AngleSharp;
|
||||
using AngleSharp.Dom;
|
||||
using NpgsqlTypes;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Diagnostics;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Xml;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal static class missav
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
var feed = new SyndicationFeed("missav.ai", "", new Uri("https://missav.ai/ja/new"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
// 外部からセッションが渡されなかった場合は自前で作成
|
||||
bool ownSession = sessionId == null;
|
||||
if (ownSession)
|
||||
{
|
||||
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
|
||||
}
|
||||
var docList = new List<IDocument>();
|
||||
try
|
||||
{
|
||||
for (int pageId = 1; pageId <= 2; pageId++)
|
||||
{
|
||||
var pageURL = $"https://missav.ai/ja/new{(pageId > 1 ? $"?page={pageId}" : "")}";
|
||||
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
|
||||
docList.Add(document);
|
||||
}
|
||||
}
|
||||
finally
|
||||
{
|
||||
if (ownSession && sessionId != null)
|
||||
{
|
||||
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
|
||||
}
|
||||
}
|
||||
|
||||
var linkList = new List<string>();
|
||||
foreach (var document in docList)
|
||||
{
|
||||
if (document == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var elements = document.QuerySelectorAll("div.thumbnail.group");
|
||||
var targetDivs = elements.Where(e => e.ClassList.Length == 2).ToList();
|
||||
foreach (var div in targetDivs)
|
||||
{
|
||||
var titleElement = div.QuerySelector(".text-secondary");
|
||||
var linkElement = div.QuerySelector(".text-secondary");
|
||||
var imgElement = div.QuerySelector("img");
|
||||
|
||||
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
|
||||
var linkHref = linkElement?.GetAttribute("href") ?? string.Empty;
|
||||
var imageSrc = imgElement?.GetAttribute("data-src");
|
||||
if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
||||
{
|
||||
linkList.Add(linkHref);
|
||||
}
|
||||
else
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
|
||||
var body = new StringBuilder();
|
||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
CmnUtil.CreateGuid(linkHref),
|
||||
DateTime.Now // 取得できた公開日時があればそれをセット
|
||||
);
|
||||
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
||||
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
||||
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
CmnUtil.ExportXMLFile("missav.xml", feed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] missav:{ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -1,228 +0,0 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using AngleSharp.Html.Parser;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class missav123
|
||||
{
|
||||
/// <summary>
|
||||
/// 123av.com の新着動画を取得し、FreshRSS等のRSSリーダー内で動画を直接再生できるiframeを埋め込んだRSSを生成します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
var pageMaster = "https://123av.com";
|
||||
|
||||
var feed = new SyndicationFeed("123av.com", "123av Recent Videos", new Uri($"{pageMaster}/ja/recent"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
// 外部からセッションが渡されなかった場合は自前で作成
|
||||
bool ownSession = sessionId == null;
|
||||
if (ownSession)
|
||||
{
|
||||
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
|
||||
}
|
||||
try
|
||||
{
|
||||
var docList = new List<IDocument>();
|
||||
for (int pageId = 1; pageId <= 2; pageId++)
|
||||
{
|
||||
var pageURL = $"{pageMaster}/ja/recent{(pageId > 1 ? $"?page={pageId}" : "")}";
|
||||
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
|
||||
if (document != null)
|
||||
{
|
||||
docList.Add(document);
|
||||
}
|
||||
}
|
||||
|
||||
var linkList = new List<string>();
|
||||
foreach (var document in docList)
|
||||
{
|
||||
var elements = document.QuerySelectorAll("div.card");
|
||||
var targetDivs = elements.Where(e => e.ClassList.Length == 1 || e.QuerySelector("a.card__link") != null).ToList();
|
||||
foreach (var div in targetDivs)
|
||||
{
|
||||
var linkElement = div.QuerySelector("a.card__link") ?? div.QuerySelector("a.card__cover");
|
||||
var titleElement = div.QuerySelector(".card__title a") ?? div.QuerySelector("a.card__link");
|
||||
var imgElement = div.QuerySelector("img");
|
||||
|
||||
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
|
||||
var relHref = linkElement?.GetAttribute("href") ?? string.Empty;
|
||||
if (string.IsNullOrWhiteSpace(relHref))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var linkHref = relHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
|
||||
? relHref
|
||||
: $"{pageMaster.TrimEnd('/')}/{relHref.TrimStart('/')}";
|
||||
|
||||
var imageSrc = imgElement?.GetAttribute("src");
|
||||
if (!linkList.Contains(linkHref))
|
||||
{
|
||||
linkList.Add(linkHref);
|
||||
}
|
||||
else
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var itemUri = new Uri(linkHref);
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
|
||||
// 詳細ページから動画プレイヤーURLおよび詳細情報を取得
|
||||
string? playerUrl = null;
|
||||
string? descText = null;
|
||||
var genres = new List<string>();
|
||||
var tags = new List<string>();
|
||||
string? maker = null;
|
||||
|
||||
try
|
||||
{
|
||||
var docDetail = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId);
|
||||
if (docDetail != null)
|
||||
{
|
||||
// 1. iframe.player__frame の src から取得
|
||||
playerUrl = docDetail.QuerySelector("iframe.player__frame")?.GetAttribute("src")
|
||||
?? docDetail.QuerySelector(".player iframe")?.GetAttribute("src");
|
||||
|
||||
// 2. HTML内の javplayer.cc URL から正規表現で取得(フォールバック)
|
||||
if (string.IsNullOrEmpty(playerUrl))
|
||||
{
|
||||
var match = Regex.Match(docDetail.Source.Text, @"https?:\\?/\\?/javplayer\.cc[^\s""'\\]+");
|
||||
if (match.Success)
|
||||
{
|
||||
playerUrl = match.Value.Replace(@"\/", "/");
|
||||
}
|
||||
}
|
||||
|
||||
// 詳細情報の抽出
|
||||
descText = docDetail.QuerySelector(".watch__desc-text")?.TextContent?.Trim();
|
||||
maker = docDetail.QuerySelector("a[href*='/makers/']")?.TextContent?.Trim();
|
||||
|
||||
var genreElements = docDetail.QuerySelectorAll("a[href*='/genres/']");
|
||||
foreach (var g in genreElements)
|
||||
{
|
||||
var gName = g.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(gName) && !genres.Contains(gName))
|
||||
{
|
||||
genres.Add(gName);
|
||||
}
|
||||
}
|
||||
|
||||
var tagElements = docDetail.QuerySelectorAll("a[href*='/tags/']");
|
||||
foreach (var t in tagElements)
|
||||
{
|
||||
var tName = t.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(tName) && !tags.Contains(tName))
|
||||
{
|
||||
tags.Add(tName);
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 123av 詳細ページ取得失敗 ({linkHref}): {ex.Message}");
|
||||
}
|
||||
|
||||
// 本文 HTML(Summary)の生成
|
||||
var body = new StringBuilder();
|
||||
|
||||
// 1. タイトルリンク
|
||||
//body.Append($@"<div><a href=""{itemUri}""><strong>{WebUtility.HtmlEncode(title)}</strong></a></div>");
|
||||
|
||||
// 2. FreshRSS等で直接再生できる動画埋め込み iframe
|
||||
if (!string.IsNullOrEmpty(playerUrl))
|
||||
{
|
||||
body.Append($@"<div style=""position: relative; width: 100%; max-width: 800px; aspect-ratio: 16/9; margin: 12px 0;"">");
|
||||
body.Append($@"<iframe src=""about:blank"" data-src=""{playerUrl}"" style=""width: 100%; height: 100%; border: 0;"" allow=""autoplay; fullscreen; encrypted-media"" allowfullscreen=""true"" scrolling=""no"" frameborder=""0""></iframe>");
|
||||
body.Append($@"</div>");
|
||||
body.Append($@"<div><p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"">123avで開く</a> | <a href=""{playerUrl}"" target=""_blank"" rel=""noopener noreferrer"">直接動画プレイヤーを開く</a></p></div>");
|
||||
}
|
||||
else
|
||||
{
|
||||
body.Append($@"<div><p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"">123avで動画を再生する</a></p></div>");
|
||||
}
|
||||
|
||||
// 3. サムネイル画像
|
||||
if (imageUri != null)
|
||||
{
|
||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-top: 8px;"" /></div>");
|
||||
}
|
||||
|
||||
// 4. メタ情報(詳細、メーカー、ジャンル、タグ)
|
||||
if (!string.IsNullOrWhiteSpace(descText))
|
||||
{
|
||||
body.Append($@"<div style=""margin-top: 8px;""><strong>詳細:</strong> {WebUtility.HtmlEncode(descText)}</div>");
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(maker))
|
||||
{
|
||||
body.Append($@"<div><strong>メーカー:</strong> {WebUtility.HtmlEncode(maker)}</div>");
|
||||
}
|
||||
if (genres.Count > 0)
|
||||
{
|
||||
body.Append($@"<div><strong>ジャンル:</strong> {WebUtility.HtmlEncode(string.Join(", ", genres))}</div>");
|
||||
}
|
||||
if (tags.Count > 0)
|
||||
{
|
||||
body.Append($@"<div><strong>タグ:</strong> {WebUtility.HtmlEncode(string.Join(", ", tags))}</div>");
|
||||
}
|
||||
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
CmnUtil.CreateGuid(linkHref),
|
||||
DateTime.Now
|
||||
);
|
||||
|
||||
// カテゴリ登録
|
||||
foreach (var g in genres)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(g));
|
||||
}
|
||||
foreach (var t in tags)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(t));
|
||||
}
|
||||
|
||||
if (!string.IsNullOrEmpty(maker))
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = maker });
|
||||
}
|
||||
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
CmnUtil.ExportXMLFile("123av.xml", feed);
|
||||
}
|
||||
finally
|
||||
{
|
||||
if (ownSession && sessionId != null)
|
||||
{
|
||||
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 123av:{ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -1,91 +0,0 @@
|
||||
using AngleSharp.Dom;
|
||||
using PuppeteerSharp;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class npb_6
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
var feed = new SyndicationFeed("広島東洋カープ - プロ野球 - スポーツナビ", "", new Uri("https://baseball.yahoo.co.jp/npb/teams/6/top"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
var pageURL = $"https://baseball.yahoo.co.jp/npb/teams/6/top";
|
||||
IDocument document;
|
||||
bool ownSession = sessionId == null;
|
||||
if (ownSession)
|
||||
{
|
||||
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
|
||||
}
|
||||
try
|
||||
{
|
||||
document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
|
||||
}
|
||||
finally
|
||||
{
|
||||
if (ownSession && sessionId != null)
|
||||
{
|
||||
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
|
||||
}
|
||||
}
|
||||
|
||||
var linkList = new List<string>();
|
||||
if (document != null)
|
||||
{
|
||||
var elements = document.QuerySelectorAll("li.sn-timeLine__item");
|
||||
foreach (var div in elements)
|
||||
{
|
||||
var linkElement = div.QuerySelector("a");
|
||||
if (linkElement == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
var titleElement = div.QuerySelector(".sn-timeLine__itemTitle");
|
||||
var imgElement = div.QuerySelector("img");
|
||||
var elemCredit = div.QuerySelector(".sn-timeLine__itemCredit");
|
||||
var elemTime = div.QuerySelector(".sn-timeLine__itemTime");
|
||||
|
||||
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
|
||||
var linkHref = linkElement?.GetAttribute("href") ?? string.Empty;
|
||||
var imageSrc = imgElement?.GetAttribute("src");
|
||||
|
||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
|
||||
var body = new StringBuilder();
|
||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||
|
||||
var updateTime = DateTime.Now;
|
||||
if (DateTime.TryParse(elemTime?.TextContent?.Trim(), out DateTime itemTime))
|
||||
{
|
||||
updateTime = itemTime;
|
||||
}
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
CmnUtil.CreateGuid(linkHref),
|
||||
updateTime
|
||||
);
|
||||
item.Authors.Add(new SyndicationPerson() { Name = elemCredit?.TextContent?.Trim() ?? "" });
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
CmnUtil.ExportXMLFile("npb_6.xml", feed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] npb_6:{ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
File diff suppressed because it is too large.
Load diff
@@ -0,0 +1,687 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.Json;
|
||||
using System.Text.Json.Serialization;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.Skebetter;
|
||||
|
||||
/// <summary>
|
||||
/// Skebetter (https://skebetter.com/) の急上昇(漫画・総合)およびイラスト急上昇 (https://skebetter.com/illust) を取得し、
|
||||
/// Twitter Snowflake ID から復元した元の投稿日時を含む RSS フィード (skebetter.xml, skebetter_illust.xml) を生成します。
|
||||
/// 複数ページつながっている連作漫画・シリーズは同一記事内に全ページ・全ツイートをつなげて出力します。
|
||||
/// </summary>
|
||||
internal static class skebetter
|
||||
{
|
||||
private const string BaseUrl = "https://skebetter.com";
|
||||
private const string MangaApiUrl = "https://skebetter.com/api/hotv3?type=hot";
|
||||
private const string MangaPageUrl = "https://skebetter.com/";
|
||||
private const string IllustApiUrl = "https://skebetter.com/api/illust/hot?type=hot";
|
||||
private const string IllustPageUrl = "https://skebetter.com/illust";
|
||||
private const string SeriesDetailApiUrl = "https://skebetter.com/api/mangaseriesdetailv2?id=";
|
||||
private const string UserTweetDetailApiUrl = "https://skebetter.com/api/usertweetdetailv2";
|
||||
|
||||
/// <summary>
|
||||
/// Skebetter の全フィード(漫画急上昇・イラスト急上昇)を順次生成します。
|
||||
/// </summary>
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
// 1. 急上昇(漫画・総合)の生成
|
||||
try
|
||||
{
|
||||
await CreateMangaHotRssAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【skebetter】 漫画急上昇 RSS 生成失敗: {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
|
||||
// 2. イラスト急上昇の生成
|
||||
try
|
||||
{
|
||||
await CreateIllustHotRssAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【skebetter】 イラスト急上昇 RSS 生成失敗: {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 急上昇(漫画・総合)の RSS フィード (skebetter.xml) を生成します。
|
||||
/// 複数ページつながっている漫画は同一記事内で全ページをつなげて出力します。
|
||||
/// </summary>
|
||||
public static async Task CreateMangaHotRssAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
LogManager.AddLog("[情報] 【skebetter】 漫画急上昇の取得を開始します");
|
||||
var posts = await FetchPostsAsync(client, MangaApiUrl, MangaPageUrl, isIllust: false, sessionId);
|
||||
if (posts == null || posts.Count == 0)
|
||||
{
|
||||
LogManager.AddLog("[警告] 【skebetter】 漫画急上昇の投稿が取得できませんでした");
|
||||
return;
|
||||
}
|
||||
|
||||
var feed = new SyndicationFeed(
|
||||
"Skebetter - 急上昇",
|
||||
"Skebetter 急上昇 (漫画・総合)",
|
||||
new Uri(MangaPageUrl)
|
||||
);
|
||||
|
||||
var items = await ConvertToSyndicationItemsAsync(client, posts, isIllust: false, sessionId);
|
||||
feed.Items = items;
|
||||
|
||||
// 急上昇フィードのため、過去の人気作品・連載が除外されないよう filter24Hours: false で出力
|
||||
await CmnUtil.ExportXMLFileAsync("skebetter.xml", feed, client, addDir: "skebetter.com", embedBase64: false, filter24Hours: false);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// イラスト急上昇の RSS フィード (skebetter_illust.xml) を生成します。
|
||||
/// </summary>
|
||||
public static async Task CreateIllustHotRssAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
LogManager.AddLog("[情報] 【skebetter】 イラスト急上昇の取得を開始します");
|
||||
var posts = await FetchPostsAsync(client, IllustApiUrl, IllustPageUrl, isIllust: true, sessionId);
|
||||
if (posts == null || posts.Count == 0)
|
||||
{
|
||||
LogManager.AddLog("[警告] 【skebetter】 イラスト急上昇の投稿が取得できませんでした");
|
||||
return;
|
||||
}
|
||||
|
||||
var feed = new SyndicationFeed(
|
||||
"Skebetter Illust - 急上昇",
|
||||
"Skebetter 急上昇 (イラスト)",
|
||||
new Uri(IllustPageUrl)
|
||||
);
|
||||
|
||||
var items = await ConvertToSyndicationItemsAsync(client, posts, isIllust: true, sessionId);
|
||||
feed.Items = items;
|
||||
|
||||
// 急上昇フィードのため、過去の人気作品が除外されないよう filter24Hours: false で出力
|
||||
await CmnUtil.ExportXMLFileAsync("skebetter_illust.xml", feed, client, addDir: "skebetter.com", embedBase64: false, filter24Hours: false);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Chrome 相当の正規ブラウザヘッダーを設定します。
|
||||
/// </summary>
|
||||
private static void ApplyBrowserHeaders(HttpRequestMessage request, string? referrer = null, bool isJson = true)
|
||||
{
|
||||
request.Headers.UserAgent.Clear();
|
||||
request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36");
|
||||
request.Headers.Add("Accept", isJson ? "application/json, text/plain, */*" : "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8");
|
||||
request.Headers.Add("Accept-Language", "ja,en-US;q=0.9,en;q=0.8");
|
||||
request.Headers.Add("sec-ch-ua", "\"Not(A:Brand\";v=\"99\", \"Google Chrome\";v=\"133\", \"Chromium\";v=\"133\"");
|
||||
request.Headers.Add("sec-ch-ua-mobile", "?0");
|
||||
request.Headers.Add("sec-ch-ua-platform", "\"Windows\"");
|
||||
request.Headers.Add("sec-fetch-dest", isJson ? "empty" : "document");
|
||||
request.Headers.Add("sec-fetch-mode", isJson ? "cors" : "navigate");
|
||||
request.Headers.Add("sec-fetch-site", "same-origin");
|
||||
if (!string.IsNullOrEmpty(referrer))
|
||||
{
|
||||
request.Headers.Referrer = new Uri(referrer);
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 投稿リストを常に FlareSolverr 経由で取得します(API または Web ページの __NEXT_DATA__)。
|
||||
/// </summary>
|
||||
private static async Task<List<SkebetterPost>> FetchPostsAsync(HttpClient client, string apiUrl, string pageUrl, bool isIllust, string? sessionId = null)
|
||||
{
|
||||
try
|
||||
{
|
||||
LogManager.AddLog($"[情報] 【skebetter】 常に FlareSolverr 経由で API 取得を実行します: {apiUrl}");
|
||||
var flareJson = await CmnUtil.GetStringFlareSolverr(client, apiUrl, session: sessionId ?? CmnUtil.SharedFlareSolverrSessionId);
|
||||
if (!string.IsNullOrEmpty(flareJson))
|
||||
{
|
||||
var apiResult = JsonSerializer.Deserialize<SkebetterApiResponse>(flareJson, JsonOptions);
|
||||
if (apiResult != null)
|
||||
{
|
||||
var list = CombinePosts(apiResult);
|
||||
if (list.Count > 0)
|
||||
{
|
||||
LogManager.AddLog($"[情報] 【skebetter】 FlareSolverr 経由で {list.Count} 件の投稿を取得しました");
|
||||
return list;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// 万が一 API の取得が空だった場合、Web ページを FlareSolverr で取得して __NEXT_DATA__ をパース
|
||||
LogManager.AddLog($"[情報] 【skebetter】 FlareSolverr 経由で Web ページからの抽出を試みます: {pageUrl}");
|
||||
var flareHtml = await CmnUtil.GetStringFlareSolverr(client, pageUrl, session: sessionId ?? CmnUtil.SharedFlareSolverrSessionId);
|
||||
if (!string.IsNullOrEmpty(flareHtml))
|
||||
{
|
||||
var list = ExtractPostsFromNextData(flareHtml);
|
||||
if (list != null && list.Count > 0)
|
||||
{
|
||||
LogManager.AddLog($"[情報] 【skebetter】 FlareSolverr 経由で Web ページから {list.Count} 件の投稿を抽出しました");
|
||||
return list;
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【skebetter】 FlareSolverr 取得例外: {ex.Message}");
|
||||
}
|
||||
|
||||
return new List<SkebetterPost>();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// HTML 内の <script id="__NEXT_DATA__"> から投稿リストを抽出します。
|
||||
/// </summary>
|
||||
private static List<SkebetterPost>? ExtractPostsFromNextData(string html)
|
||||
{
|
||||
var match = Regex.Match(html, @"<script id=""__NEXT_DATA__"" type=""application/json"">(.*?)</script>", RegexOptions.Singleline);
|
||||
if (match.Success)
|
||||
{
|
||||
var nextDataJson = match.Groups[1].Value;
|
||||
var nextData = JsonSerializer.Deserialize<NextDataWrapper>(nextDataJson, JsonOptions);
|
||||
var postsObj = nextData?.Props?.PageProps?.Posts;
|
||||
if (postsObj != null)
|
||||
{
|
||||
return CombinePosts(postsObj);
|
||||
}
|
||||
}
|
||||
return null;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// API レスポンス内の tweet と series を統合し、重複を排除したリストを作成します。
|
||||
/// </summary>
|
||||
private static List<SkebetterPost> CombinePosts(SkebetterApiResponse result)
|
||||
{
|
||||
var combined = new List<SkebetterPost>();
|
||||
var seenIds = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
// 通常ツイート
|
||||
if (result.Tweet != null)
|
||||
{
|
||||
foreach (var t in result.Tweet)
|
||||
{
|
||||
string key = t.SeriesId != null && t.SeriesId > 0
|
||||
? $"series_{t.SeriesId}"
|
||||
: (!string.IsNullOrEmpty(t.Id) ? t.Id : t.TweetUri ?? string.Empty);
|
||||
|
||||
if (!string.IsNullOrEmpty(key) && seenIds.Add(key))
|
||||
{
|
||||
combined.Add(t);
|
||||
}
|
||||
else if (string.IsNullOrEmpty(key))
|
||||
{
|
||||
combined.Add(t);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// シリーズ連載(漫画のみ存在)
|
||||
if (result.Series != null)
|
||||
{
|
||||
foreach (var s in result.Series)
|
||||
{
|
||||
string key = s.SeriesId != null && s.SeriesId > 0
|
||||
? $"series_{s.SeriesId}"
|
||||
: (s.TweetUri ?? s.Id ?? string.Empty);
|
||||
|
||||
if (!string.IsNullOrEmpty(key) && seenIds.Add(key))
|
||||
{
|
||||
combined.Add(s);
|
||||
}
|
||||
else if (string.IsNullOrEmpty(key))
|
||||
{
|
||||
combined.Add(s);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
return combined;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// シリーズ作品の全ツイート・全ページ情報を常に FlareSolverr 経由で API から取得します。
|
||||
/// </summary>
|
||||
private static async Task<List<SkebetterPost>?> FetchSeriesTweetsAsync(HttpClient client, long seriesId, string? sessionId = null)
|
||||
{
|
||||
string url = $"{SeriesDetailApiUrl}{seriesId}";
|
||||
try
|
||||
{
|
||||
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url, session: sessionId ?? CmnUtil.SharedFlareSolverrSessionId);
|
||||
if (!string.IsNullOrEmpty(flareJson))
|
||||
{
|
||||
var result = JsonSerializer.Deserialize<MangaSeriesDetailResponse>(flareJson, JsonOptions);
|
||||
var tweets = result?.Tweets?.Tweets;
|
||||
if (tweets != null && tweets.Count > 0)
|
||||
{
|
||||
return tweets;
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 【skebetter】 シリーズ詳細 FlareSolverr 取得失敗 (series_id: {seriesId}): {ex.Message}");
|
||||
}
|
||||
|
||||
return null;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 通常作品のリプライツリー情報を常に FlareSolverr 経由で API から取得します。
|
||||
/// </summary>
|
||||
private static async Task<List<SkebetterPost>?> FetchUserTweetDetailAsync(HttpClient client, string? userId, string? tweetId, string? sessionId = null)
|
||||
{
|
||||
if (string.IsNullOrEmpty(userId) || string.IsNullOrEmpty(tweetId)) return null;
|
||||
|
||||
string url = $"{UserTweetDetailApiUrl}?user_id={userId}&tweet_uri={tweetId}&ssr=1";
|
||||
try
|
||||
{
|
||||
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url, session: sessionId ?? CmnUtil.SharedFlareSolverrSessionId);
|
||||
if (!string.IsNullOrEmpty(flareJson))
|
||||
{
|
||||
var result = JsonSerializer.Deserialize<UserTweetDetailResponse>(flareJson, JsonOptions);
|
||||
if (result?.Tweet != null && result.Tweet.Count > 1)
|
||||
{
|
||||
return result.Tweet;
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 【skebetter】 個別詳細 FlareSolverr 取得失敗 (tweet: {tweetId}): {ex.Message}");
|
||||
}
|
||||
|
||||
return null;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// タイトルや本文から、作品が複数ページ(ツリー投稿・連作)である可能性を判定します。
|
||||
/// </summary>
|
||||
private static bool IsMultiPageHint(SkebetterPost post)
|
||||
{
|
||||
if (post.SeriesId != null && post.SeriesId > 0) return true;
|
||||
var text = post.Text ?? string.Empty;
|
||||
return Regex.IsMatch(text, @"\(\s*\d+\s*/\s*\d+\s*\)|【\s*\d+\s*/\s*\d+\s*】|\b\d+\s*/\s*\d+\b|第\s*\d+\s*話");
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Skebetter 投稿一覧を SyndicationItem のリストに変換します。
|
||||
/// 複数ページつながっている漫画は全ページをつなげて1つの記事にします。
|
||||
/// </summary>
|
||||
private static async Task<List<SyndicationItem>> ConvertToSyndicationItemsAsync(HttpClient client, List<SkebetterPost> posts, bool isIllust, string? sessionId = null)
|
||||
{
|
||||
var items = new List<SyndicationItem>();
|
||||
int index = 0;
|
||||
|
||||
foreach (var post in posts)
|
||||
{
|
||||
index++;
|
||||
|
||||
// 1. リンクと GUID の決定
|
||||
string linkUrl;
|
||||
bool isSeries = post.SeriesId != null && post.SeriesId > 0;
|
||||
if (isSeries)
|
||||
{
|
||||
linkUrl = $"{BaseUrl}/series/{post.SeriesId}";
|
||||
}
|
||||
else if (isIllust)
|
||||
{
|
||||
linkUrl = $"{BaseUrl}/author/{post.UserId}/illust/{post.Id}";
|
||||
}
|
||||
else
|
||||
{
|
||||
linkUrl = $"{BaseUrl}/author/{post.UserId}/manga/{post.Id}";
|
||||
}
|
||||
|
||||
// 2. 複数ページ漫画の取得(シリーズ作品またはページヒントのある漫画)
|
||||
List<SkebetterPost>? connectedTweets = null;
|
||||
if (!isIllust)
|
||||
{
|
||||
if (isSeries && post.SeriesId.HasValue)
|
||||
{
|
||||
connectedTweets = await FetchSeriesTweetsAsync(client, post.SeriesId.Value);
|
||||
}
|
||||
else if (IsMultiPageHint(post))
|
||||
{
|
||||
connectedTweets = await FetchUserTweetDetailAsync(client, post.UserId, post.Id);
|
||||
}
|
||||
}
|
||||
|
||||
// 3. 元の投稿日時の算出(Twitter Snowflake ID)
|
||||
// 複数ツイートある場合は最初のツイートの日時を優先
|
||||
var firstPost = connectedTweets?.FirstOrDefault() ?? post;
|
||||
var postDate = GetPostDateTime(firstPost) ?? GetPostDateTime(post) ?? DateTimeOffset.Now.AddSeconds(-index);
|
||||
|
||||
// 4. タイトルの決定
|
||||
var rawText = (post.Text ?? string.Empty).Trim();
|
||||
var singleLineText = Regex.Replace(rawText, @"\s+", " ").Trim();
|
||||
string title;
|
||||
if (!string.IsNullOrEmpty(singleLineText))
|
||||
{
|
||||
title = singleLineText;
|
||||
}
|
||||
else if (!string.IsNullOrEmpty(post.UserName))
|
||||
{
|
||||
title = $"{post.UserName} の投稿";
|
||||
}
|
||||
else
|
||||
{
|
||||
title = "タイトルなし";
|
||||
}
|
||||
|
||||
// 5. 本文 (Summary HTML) の構築
|
||||
var body = new StringBuilder();
|
||||
|
||||
// いいね・リツイート数
|
||||
body.Append("<p>");
|
||||
if (!string.IsNullOrEmpty(post.Fav))
|
||||
{
|
||||
body.Append($"❤{WebUtility.HtmlEncode(post.Fav)} ");
|
||||
}
|
||||
if (!string.IsNullOrEmpty(post.Retweet))
|
||||
{
|
||||
body.Append($"🔁{WebUtility.HtmlEncode(post.Retweet)}");
|
||||
}
|
||||
body.Append("</p>\n");
|
||||
|
||||
// 複数ページつながっている場合の一括表示
|
||||
if (connectedTweets != null && connectedTweets.Count > 1)
|
||||
{
|
||||
int totalImages = connectedTweets.Sum(t => (t.MediaUrls?.Count ?? 0) > 0 ? t.MediaUrls!.Count : (!string.IsNullOrEmpty(t.MediaUrl) ? 1 : 0));
|
||||
body.Append($"<p style=\"font-size: 0.9em; color: #64748b; font-weight: bold; margin-bottom: 12px;\">📖 全 {connectedTweets.Count} 投稿 / 全 {totalImages} ページ(連作漫画)</p>\n");
|
||||
|
||||
for (int i = 0; i < connectedTweets.Count; i++)
|
||||
{
|
||||
var part = connectedTweets[i];
|
||||
var partText = (part.Text ?? string.Empty).Trim();
|
||||
|
||||
if (i > 0)
|
||||
{
|
||||
body.Append("<hr style=\"border: none; border-top: 1px dashed #cbd5e1; margin: 16px 0;\">\n");
|
||||
}
|
||||
|
||||
body.Append("<div style=\"margin-bottom: 14px;\">\n");
|
||||
if (!string.IsNullOrEmpty(partText))
|
||||
{
|
||||
body.Append("<p style=\"white-space: pre-wrap; margin: 0 0 8px 0; color: #1e293b;\">");
|
||||
body.Append(WebUtility.HtmlEncode(partText).Replace("\n", "<br>\n"));
|
||||
body.Append("</p>\n");
|
||||
}
|
||||
|
||||
var partMedias = GetMediaList(part);
|
||||
foreach (var media in partMedias)
|
||||
{
|
||||
if (!string.IsNullOrEmpty(media.MediaUri))
|
||||
{
|
||||
body.Append($"<p style=\"margin: 0 0 8px 0;\"><img src=\"{media.MediaUri}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto; border-radius: 4px;\"></p>\n");
|
||||
}
|
||||
}
|
||||
body.Append("</div>\n");
|
||||
}
|
||||
}
|
||||
else
|
||||
{
|
||||
// 単一ツイートの場合
|
||||
if (!string.IsNullOrEmpty(rawText))
|
||||
{
|
||||
body.Append("<p style=\"white-space: pre-wrap; margin-bottom: 12px;\">");
|
||||
body.Append(WebUtility.HtmlEncode(rawText).Replace("\n", "<br>\n"));
|
||||
body.Append("</p>\n");
|
||||
}
|
||||
|
||||
var mediaList = GetMediaList(post);
|
||||
foreach (var media in mediaList)
|
||||
{
|
||||
if (!string.IsNullOrEmpty(media.MediaUri))
|
||||
{
|
||||
body.Append($"<p style=\"margin: 0 0 8px 0;\"><img src=\"{media.MediaUri}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto; border-radius: 4px;\"></p>\n");
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// リンクと作者情報
|
||||
body.Append($"<p style=\"margin-top: 16px; font-size: 0.9em; color: #64748b;\">");
|
||||
body.Append($"<a href=\"{linkUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" style=\"font-weight: bold;\">Skebetter で見る</a>");
|
||||
var authorScreenName = post.ScreenName ?? connectedTweets?.FirstOrDefault()?.ScreenName;
|
||||
if (!string.IsNullOrEmpty(authorScreenName))
|
||||
{
|
||||
body.Append($" | <a href=\"https://x.com/{authorScreenName}\" target=\"_blank\" rel=\"noopener noreferrer\">@{authorScreenName}</a>");
|
||||
}
|
||||
|
||||
// ポスト自体のリンク (x.com)
|
||||
string? tweetIdStr = !string.IsNullOrEmpty(post.TweetUri) ? post.TweetUri : post.Id;
|
||||
if (!string.IsNullOrEmpty(tweetIdStr))
|
||||
{
|
||||
string postUrl = !string.IsNullOrEmpty(authorScreenName)
|
||||
? $"https://x.com/{authorScreenName}/status/{tweetIdStr}"
|
||||
: $"https://x.com/i/web/status/{tweetIdStr}";
|
||||
body.Append($" | <a href=\"{postUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">ポストを開く</a>");
|
||||
}
|
||||
body.Append("</p>");
|
||||
|
||||
// 6. SyndicationItem の生成
|
||||
var itemUri = new Uri(linkUrl);
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
linkUrl,
|
||||
postDate
|
||||
)
|
||||
{
|
||||
PublishDate = postDate,
|
||||
LastUpdatedTime = postDate,
|
||||
Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
// 著者の設定 (Atom用 a10:author および RSS2.0/Dublin Core用 dc:creator)
|
||||
var authorName = post.UserName ?? connectedTweets?.FirstOrDefault()?.UserName;
|
||||
if (!string.IsNullOrEmpty(authorName))
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = authorName });
|
||||
item.ElementExtensions.Add(new System.Xml.Linq.XElement(
|
||||
System.Xml.Linq.XName.Get("creator", "http://purl.org/dc/elements/1.1/"),
|
||||
authorName
|
||||
));
|
||||
}
|
||||
|
||||
// カテゴリ(シリーズ・イラスト等の種別タグ)
|
||||
if (isSeries || (connectedTweets != null && connectedTweets.Count > 1))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory("シリーズ連載"));
|
||||
}
|
||||
item.Categories.Add(new SyndicationCategory(isIllust ? "イラスト" : "漫画"));
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
|
||||
return items;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 投稿から有効な画像メディア一覧を抽出します。
|
||||
/// </summary>
|
||||
private static List<SkebetterMedia> GetMediaList(SkebetterPost post)
|
||||
{
|
||||
var list = post.MediaUrls != null ? new List<SkebetterMedia>(post.MediaUrls) : new List<SkebetterMedia>();
|
||||
if (list.Count == 0 && !string.IsNullOrEmpty(post.MediaUrl))
|
||||
{
|
||||
var singleUri = post.MediaUrl.StartsWith("http", StringComparison.OrdinalIgnoreCase)
|
||||
? post.MediaUrl
|
||||
: $"https://pbs.twimg.com/media/{post.MediaUrl}";
|
||||
list.Add(new SkebetterMedia { MediaUri = singleUri });
|
||||
}
|
||||
return list;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Twitter Snowflake ID から正確な投稿日時 (JST) を算出します。
|
||||
/// </summary>
|
||||
public static DateTimeOffset? GetPostDateTime(SkebetterPost post)
|
||||
{
|
||||
// 1. series の場合は tweet_uri、通常は id から Tweet ID を取得
|
||||
string? idStr = !string.IsNullOrEmpty(post.TweetUri) ? post.TweetUri : post.Id;
|
||||
if (!string.IsNullOrEmpty(idStr) && long.TryParse(idStr, out long tweetId))
|
||||
{
|
||||
// Twitter Snowflake エポック: 1288834974657 ms (2010-11-04 01:42:54.657 UTC)
|
||||
// (tweetId >> 22) + 1288834974657L
|
||||
long timestampMs = (tweetId >> 22) + 1288834974657L;
|
||||
if (timestampMs > 1288834974657L)
|
||||
{
|
||||
return DateTimeOffset.FromUnixTimeMilliseconds(timestampMs).ToOffset(TimeSpan.FromHours(9));
|
||||
}
|
||||
}
|
||||
|
||||
// 2. datePublished フィールド ("2026-04-13 20:46:30" 等) がある場合
|
||||
if (!string.IsNullOrEmpty(post.DatePublished) && DateTimeOffset.TryParse(post.DatePublished, out var dtParsed))
|
||||
{
|
||||
return dtParsed.ToOffset(TimeSpan.FromHours(9));
|
||||
}
|
||||
|
||||
// 3. フォールバック: "〇時間前" などの文字列から概算
|
||||
if (!string.IsNullOrEmpty(post.Date))
|
||||
{
|
||||
var matchHour = Regex.Match(post.Date, @"(\d+)\s*時間前");
|
||||
if (matchHour.Success && int.TryParse(matchHour.Groups[1].Value, out int hours))
|
||||
{
|
||||
return DateTimeOffset.Now.AddHours(-hours);
|
||||
}
|
||||
|
||||
var matchMin = Regex.Match(post.Date, @"(\d+)\s*分前");
|
||||
if (matchMin.Success && int.TryParse(matchMin.Groups[1].Value, out int mins))
|
||||
{
|
||||
return DateTimeOffset.Now.AddMinutes(-mins);
|
||||
}
|
||||
|
||||
var matchDay = Regex.Match(post.Date, @"(\d+)\s*日前");
|
||||
if (matchDay.Success && int.TryParse(matchDay.Groups[1].Value, out int days))
|
||||
{
|
||||
return DateTimeOffset.Now.AddDays(-days);
|
||||
}
|
||||
}
|
||||
|
||||
return null;
|
||||
}
|
||||
|
||||
private static readonly JsonSerializerOptions JsonOptions = new()
|
||||
{
|
||||
PropertyNameCaseInsensitive = true,
|
||||
NumberHandling = JsonNumberHandling.AllowReadingFromString
|
||||
};
|
||||
|
||||
#region JSON モデルクラス群
|
||||
|
||||
internal class NextDataWrapper
|
||||
{
|
||||
[JsonPropertyName("props")]
|
||||
public NextDataProps? Props { get; set; }
|
||||
}
|
||||
|
||||
internal class NextDataProps
|
||||
{
|
||||
[JsonPropertyName("pageProps")]
|
||||
public NextDataPageProps? PageProps { get; set; }
|
||||
}
|
||||
|
||||
internal class NextDataPageProps
|
||||
{
|
||||
[JsonPropertyName("posts")]
|
||||
public SkebetterApiResponse? Posts { get; set; }
|
||||
}
|
||||
|
||||
internal class SkebetterApiResponse
|
||||
{
|
||||
[JsonPropertyName("tweet")]
|
||||
public List<SkebetterPost>? Tweet { get; set; }
|
||||
|
||||
[JsonPropertyName("series")]
|
||||
public List<SkebetterPost>? Series { get; set; }
|
||||
}
|
||||
|
||||
internal class MangaSeriesDetailResponse
|
||||
{
|
||||
[JsonPropertyName("tweets")]
|
||||
public MangaSeriesDetailTweets? Tweets { get; set; }
|
||||
}
|
||||
|
||||
internal class MangaSeriesDetailTweets
|
||||
{
|
||||
[JsonPropertyName("id")]
|
||||
public string? Id { get; set; }
|
||||
|
||||
[JsonPropertyName("title")]
|
||||
public string? Title { get; set; }
|
||||
|
||||
[JsonPropertyName("tweet_uri")]
|
||||
public string? TweetUri { get; set; }
|
||||
|
||||
[JsonPropertyName("user_id")]
|
||||
public string? UserId { get; set; }
|
||||
|
||||
[JsonPropertyName("tweets")]
|
||||
public List<SkebetterPost>? Tweets { get; set; }
|
||||
}
|
||||
|
||||
internal class UserTweetDetailResponse
|
||||
{
|
||||
[JsonPropertyName("tweet")]
|
||||
public List<SkebetterPost>? Tweet { get; set; }
|
||||
}
|
||||
|
||||
internal class SkebetterPost
|
||||
{
|
||||
[JsonPropertyName("id")]
|
||||
public string? Id { get; set; }
|
||||
|
||||
[JsonPropertyName("screen_name")]
|
||||
public string? ScreenName { get; set; }
|
||||
|
||||
[JsonPropertyName("text")]
|
||||
public string? Text { get; set; }
|
||||
|
||||
[JsonPropertyName("date")]
|
||||
public string? Date { get; set; }
|
||||
|
||||
[JsonPropertyName("datePublished")]
|
||||
public string? DatePublished { get; set; }
|
||||
|
||||
[JsonPropertyName("user_name")]
|
||||
public string? UserName { get; set; }
|
||||
|
||||
[JsonPropertyName("fav")]
|
||||
public string? Fav { get; set; }
|
||||
|
||||
[JsonPropertyName("retweet")]
|
||||
public string? Retweet { get; set; }
|
||||
|
||||
[JsonPropertyName("user_id")]
|
||||
public string? UserId { get; set; }
|
||||
|
||||
[JsonPropertyName("media_url")]
|
||||
public string? MediaUrl { get; set; }
|
||||
|
||||
[JsonPropertyName("media_urls")]
|
||||
public List<SkebetterMedia>? MediaUrls { get; set; }
|
||||
|
||||
[JsonPropertyName("series_id")]
|
||||
public long? SeriesId { get; set; }
|
||||
|
||||
[JsonPropertyName("tweet_uri")]
|
||||
public string? TweetUri { get; set; }
|
||||
}
|
||||
|
||||
internal class SkebetterMedia
|
||||
{
|
||||
[JsonPropertyName("media_uri")]
|
||||
public string? MediaUri { get; set; }
|
||||
|
||||
[JsonPropertyName("type")]
|
||||
public string? Type { get; set; }
|
||||
}
|
||||
|
||||
#endregion
|
||||
}
|
||||
@@ -0,0 +1,352 @@
|
||||
using AngleSharp.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.IO;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.SpankBang;
|
||||
|
||||
/// <summary>
|
||||
/// SpankBang (https://spankbang.com/new_videos/) の最新動画を取得し、
|
||||
/// WebImageViewer (https://udukipc-web.armonica-vps.work/) での再生リンクを含むRSSフィード (spankbang.xml) を生成します。
|
||||
/// 既存のフィードが存在する場合は同一動画の情報を引き継ぎ、再生数の変動等で FreshRSS の「更新された記事を未読とする」が反応しないようにします。
|
||||
/// </summary>
|
||||
internal static class spankbang
|
||||
{
|
||||
#region □定数(Private)
|
||||
|
||||
private const string BaseUrl = "https://spankbang.com";
|
||||
private const string TargetUrl = "https://spankbang.com/new_videos/";
|
||||
private const string FileName = "spankbang.xml";
|
||||
|
||||
#endregion
|
||||
|
||||
#region □クラス(Private)
|
||||
|
||||
/// <summary>
|
||||
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
|
||||
/// </summary>
|
||||
private sealed class ExistingFeedEntry
|
||||
{
|
||||
public string Title { get; set; } = string.Empty;
|
||||
public string SummaryHtml { get; set; } = string.Empty;
|
||||
public DateTimeOffset PublishDate { get; set; }
|
||||
public DateTimeOffset LastUpdatedTime { get; set; }
|
||||
public List<string> Categories { get; set; } = new();
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Public)
|
||||
|
||||
/// <summary>
|
||||
/// SpankBang の最新動画RSSを生成します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
/// <param name="sessionId">FlareSolverr セッションID(省略時は自動生成・自動破棄)</param>
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
var feed = new SyndicationFeed(
|
||||
"SpankBang - New Videos",
|
||||
"SpankBang Most Recent Videos",
|
||||
new Uri(TargetUrl)
|
||||
);
|
||||
var items = new List<SyndicationItem>();
|
||||
|
||||
try
|
||||
{
|
||||
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
|
||||
|
||||
// 既存フィードの読み込み(再生数変動による未読化防止および高速化)
|
||||
var existingEntries = LoadExistingEntries(FileName);
|
||||
|
||||
var document = await CmnUtil.GetDocumentFlareSolverr(client, TargetUrl, session: sessionId);
|
||||
if (document == null)
|
||||
{
|
||||
LogManager.AddLog("[警告] 【spankbang】 ドキュメントの取得に失敗しました。");
|
||||
return;
|
||||
}
|
||||
|
||||
// 動画カードを取得 (data-testid="video-item" または class に js-video-item を含む div)
|
||||
var videoElements = document.QuerySelectorAll("div[data-testid='video-item'], div.js-video-item");
|
||||
var linkList = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
int itemIndex = 0;
|
||||
foreach (var videoDiv in videoElements)
|
||||
{
|
||||
// 動画リンクを取得
|
||||
var linkElement = videoDiv.QuerySelector("a[href*='/video/']");
|
||||
var rawHref = linkElement?.GetAttribute("href")?.Trim() ?? string.Empty;
|
||||
if (string.IsNullOrEmpty(rawHref))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var fullUrl = rawHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
|
||||
? rawHref
|
||||
: $"{BaseUrl.TrimEnd('/')}/{rawHref.TrimStart('/')}";
|
||||
|
||||
// 重複URLのスキップ
|
||||
if (!linkList.Add(fullUrl))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var guid = CmnUtil.CreateGuid(fullUrl);
|
||||
var itemUri = new Uri(fullUrl);
|
||||
|
||||
existingEntries.TryGetValue(fullUrl, out var prevEntry);
|
||||
if (prevEntry == null && !string.IsNullOrEmpty(guid))
|
||||
{
|
||||
existingEntries.TryGetValue(guid, out prevEntry);
|
||||
}
|
||||
|
||||
SyndicationItem item;
|
||||
if (prevEntry != null && !string.IsNullOrEmpty(prevEntry.SummaryHtml))
|
||||
{
|
||||
// 【未更新記事】
|
||||
// 前回の本文HTMLおよび日時(PublishDate / LastUpdatedTime)を完全維持
|
||||
// これにより再生数 views の増加による本文ハッシュ変化を防止し、FreshRSSの未読化を完全抑止
|
||||
item = new SyndicationItem(
|
||||
prevEntry.Title,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
prevEntry.LastUpdatedTime
|
||||
)
|
||||
{
|
||||
PublishDate = prevEntry.PublishDate,
|
||||
LastUpdatedTime = prevEntry.LastUpdatedTime,
|
||||
Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
foreach (var cat in prevEntry.Categories)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(cat));
|
||||
}
|
||||
}
|
||||
else
|
||||
{
|
||||
// 【新規記事】
|
||||
// タイトルを取得
|
||||
var title = videoDiv.QuerySelector("p a[title]")?.GetAttribute("title")?.Trim()
|
||||
?? videoDiv.QuerySelector("p a")?.TextContent?.Trim()
|
||||
?? videoDiv.QuerySelector("picture img, img")?.GetAttribute("alt")?.Trim()
|
||||
?? "タイトルなし";
|
||||
|
||||
// サムネイル画像URLを取得
|
||||
var imgElement = videoDiv.QuerySelector("picture img, img");
|
||||
var imageSrc = imgElement?.GetAttribute("src")?.Trim();
|
||||
if (string.IsNullOrEmpty(imageSrc))
|
||||
{
|
||||
imageSrc = imgElement?.GetAttribute("data-src")?.Trim();
|
||||
}
|
||||
|
||||
// プレビュー動画URL (.mp4) を取得
|
||||
var sourceElement = videoDiv.QuerySelector("video source");
|
||||
var previewVideoSrc = sourceElement?.GetAttribute("data-src")?.Trim();
|
||||
if (string.IsNullOrEmpty(previewVideoSrc))
|
||||
{
|
||||
previewVideoSrc = sourceElement?.GetAttribute("src")?.Trim();
|
||||
}
|
||||
|
||||
// メタ情報: 長さ、画質、タグ/カテゴリ、再生数
|
||||
var length = videoDiv.QuerySelector("div[data-testid='video-item-length']")?.TextContent?.Trim();
|
||||
var resolution = videoDiv.QuerySelector("div[data-testid='video-item-resolution']")?.TextContent?.Trim();
|
||||
var tag = videoDiv.QuerySelector("span[data-badge='tag'] ~ a[data-testid='title'], a[href^='/s/']")?.TextContent?.Trim();
|
||||
var views = videoDiv.QuerySelector("span[data-testid='views']")?.TextContent?.Trim();
|
||||
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
var previewVideoUri = !string.IsNullOrEmpty(previewVideoSrc) ? new Uri(previewVideoSrc) : null;
|
||||
|
||||
// WebImageViewer統一リンクの生成 (https://udukipc-web.armonica-vps.work/?url=[ページURL])
|
||||
string viewerUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(fullUrl)}";
|
||||
|
||||
// RSS 本文 HTML (Summary) の構築
|
||||
var body = new StringBuilder();
|
||||
|
||||
// 1. WebImageViewer への再生リンク & 外部リンク
|
||||
body.Append($@"<div style=""margin-bottom: 12px; padding: 10px 14px; background: rgba(225, 29, 72, 0.08); border-radius: 8px; border-left: 4px solid #e11d48;"">");
|
||||
body.Append($@"<p style=""margin: 0 0 6px 0;""><a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: bold; font-size: 1.1em; color: #e11d48; text-decoration: none;"">▶ WebImageViewerで動画を再生する</a></p>");
|
||||
body.Append($@"<p style=""margin: 0; font-size: 0.9em; color: #64748b;""><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">SpankBang公式ページで開く</a></p>");
|
||||
body.Append($@"</div>");
|
||||
|
||||
// タイトルリンク
|
||||
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"" style=""font-size: 1.1em; font-weight: bold; text-decoration: none;"">{WebUtility.HtmlEncode(title)}</a></div>");
|
||||
|
||||
// プレビュー動画の埋め込み (取得できた場合)
|
||||
if (previewVideoUri != null)
|
||||
{
|
||||
body.Append($@"<div style=""margin-bottom: 10px;"">");
|
||||
body.Append($@"<video controls poster=""{imageUri}"" preload=""metadata"" referrerpolicy=""no-referrer"" style=""max-width: 100%; height: auto; border-radius: 6px;"">");
|
||||
body.Append($@"<source src=""{previewVideoUri}"" type=""video/mp4"">");
|
||||
body.Append($@"<p><a href=""{previewVideoUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">プレビュー動画を再生 (.mp4)</a></p>");
|
||||
body.Append($@"</video>");
|
||||
body.Append($@"</div>");
|
||||
}
|
||||
else if (imageUri != null)
|
||||
{
|
||||
body.Append($@"<div style=""margin-bottom: 10px;"">");
|
||||
body.Append($@"<a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">");
|
||||
body.Append($@"<img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; border-radius: 6px;"">");
|
||||
body.Append($@"</a>");
|
||||
body.Append($@"</div>");
|
||||
}
|
||||
|
||||
// 個別動画ページから正確な公開時間(投稿日時)を取得
|
||||
DateTimeOffset? publishedDateOffset = null;
|
||||
try
|
||||
{
|
||||
var detailDoc = await CmnUtil.GetDocumentFlareSolverr(client, fullUrl, session: sessionId);
|
||||
if (detailDoc != null)
|
||||
{
|
||||
var timeElement = detailDoc.QuerySelector("time[datetime]");
|
||||
var dateTimeStr = timeElement?.GetAttribute("datetime");
|
||||
if (!string.IsNullOrEmpty(dateTimeStr) && DateTimeOffset.TryParse(dateTimeStr, out var parsedDto))
|
||||
{
|
||||
publishedDateOffset = parsedDto;
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] spankbang 詳細ページ取得失敗 ({fullUrl}): {ex.Message}");
|
||||
}
|
||||
|
||||
// メタ情報一覧
|
||||
body.Append(@"<ul style=""font-size: 0.9em; color: #555; list-style-type: none; padding-left: 0; margin: 6px 0;"">");
|
||||
if (publishedDateOffset != null)
|
||||
{
|
||||
body.Append($@"<li>📅 <strong>公開日:</strong> {publishedDateOffset.Value.LocalDateTime:yyyy/MM/dd HH:mm:ss}</li>");
|
||||
}
|
||||
if (!string.IsNullOrEmpty(length))
|
||||
{
|
||||
body.Append($@"<li>⏱ <strong>時間:</strong> {WebUtility.HtmlEncode(length)}</li>");
|
||||
}
|
||||
if (!string.IsNullOrEmpty(resolution))
|
||||
{
|
||||
body.Append($@"<li>📺 <strong>画質:</strong> {WebUtility.HtmlEncode(resolution)}</li>");
|
||||
}
|
||||
if (!string.IsNullOrEmpty(tag))
|
||||
{
|
||||
body.Append($@"<li>🏷 <strong>タグ:</strong> {WebUtility.HtmlEncode(tag)}</li>");
|
||||
}
|
||||
if (!string.IsNullOrEmpty(views))
|
||||
{
|
||||
body.Append($@"<li>👁 <strong>再生数:</strong> {WebUtility.HtmlEncode(views)}</li>");
|
||||
}
|
||||
body.Append(@"</ul>");
|
||||
|
||||
// 下部リンク
|
||||
body.Append($@"<p style=""margin-top: 10px;""><a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: bold; color: #e11d48;"">▶ WebImageViewerで動画を再生する</a> | <a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">SpankBang公式で視聴する</a></p>");
|
||||
|
||||
var itemPubDate = publishedDateOffset ?? new DateTimeOffset(DateTime.Now.AddSeconds(-itemIndex));
|
||||
itemIndex++;
|
||||
|
||||
item = new SyndicationItem(
|
||||
title,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
itemPubDate
|
||||
)
|
||||
{
|
||||
PublishDate = itemPubDate,
|
||||
LastUpdatedTime = itemPubDate,
|
||||
Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
// カテゴリ
|
||||
if (!string.IsNullOrEmpty(tag))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(tag));
|
||||
}
|
||||
if (!string.IsNullOrEmpty(resolution))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(resolution));
|
||||
}
|
||||
}
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
|
||||
feed.Items = items;
|
||||
await CmnUtil.ExportXMLFileAsync(FileName, feed, client, filter24Hours: false);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【spankbang】 {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Private)
|
||||
|
||||
/// <summary>
|
||||
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。
|
||||
/// </summary>
|
||||
/// <param name="fileName">XML ファイル名</param>
|
||||
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
|
||||
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||||
{
|
||||
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||||
try
|
||||
{
|
||||
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
|
||||
if (!File.Exists(xmlPath))
|
||||
{
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
using var reader = XmlReader.Create(xmlPath);
|
||||
var existingFeed = SyndicationFeed.Load(reader);
|
||||
if (existingFeed?.Items != null)
|
||||
{
|
||||
foreach (var item in existingFeed.Items)
|
||||
{
|
||||
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||
var guid = item.Id;
|
||||
|
||||
var entry = new ExistingFeedEntry
|
||||
{
|
||||
Title = item.Title?.Text?.Trim() ?? string.Empty,
|
||||
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
|
||||
PublishDate = item.PublishDate != DateTimeOffset.MinValue
|
||||
? item.PublishDate
|
||||
: (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now),
|
||||
LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue
|
||||
? item.LastUpdatedTime
|
||||
: (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now),
|
||||
Categories = item.Categories.Select(c => c.Name).ToList()
|
||||
};
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
|
||||
{
|
||||
existingEntries[linkUrl] = entry;
|
||||
}
|
||||
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
|
||||
{
|
||||
existingEntries[guid] = entry;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[情報] spankbang 既存エントリ読み込みスキップ: {ex.Message}");
|
||||
}
|
||||
|
||||
return existingEntries;
|
||||
}
|
||||
|
||||
#endregion
|
||||
}
|
||||
@@ -0,0 +1,216 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml.Linq;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.X;
|
||||
|
||||
/// <summary>
|
||||
/// x.com (Twitter) のリストから RSS フィードを生成・統合するクラスです。
|
||||
/// </summary>
|
||||
internal class x_list
|
||||
{
|
||||
#region □定数(Private)
|
||||
|
||||
private const string BASE_URL = "https://rsshub.armonica-vps.work/twitter/list";
|
||||
private const string QUERY1 = "showEmojiForRetweetAndReply=1?filterout_title=%5E%28🔁%7CRT%29";
|
||||
private const string QUERY2 = "showEmojiForRetweetAndReply=1?filter_title=%5E%28🔁%7CRT%29";
|
||||
|
||||
#endregion
|
||||
|
||||
#region □メソッド(Public)
|
||||
|
||||
/// <summary>
|
||||
/// 各対象リストの RSS を順次生成します。
|
||||
/// </summary>
|
||||
/// <param name="client">HTTP 通信用 HttpClient</param>
|
||||
/// <returns>非同期タスク</returns>
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
// メモリ消費を最小化するため、各リストを1つずつ順次処理
|
||||
var targets = new (string ListId, string FileName)[]
|
||||
{
|
||||
("2076742238231818243", "granbluefantasy"),
|
||||
("1695011723005280535", "AI"),
|
||||
("1573473287333560321", "R18"),
|
||||
("2070669317667217577", "VR"),
|
||||
("1573916143969976320", "VTuber"),
|
||||
("2070673943057539507", "AnimeReal"),
|
||||
("1599409403743961088", "AnimeOther"),
|
||||
("2070670309846655252", "NormalIllust")
|
||||
};
|
||||
|
||||
foreach (var (listId, fileName) in targets)
|
||||
{
|
||||
try
|
||||
{
|
||||
await CreateSub1(client, listId, fileName);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【x_list】 Xリスト生成失敗 ({fileName}): {ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 単一リストの通常ツイートとRTツイートの RSS を生成します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient</param>
|
||||
/// <param name="listId">リストID</param>
|
||||
/// <param name="fileName">出力ファイル名(プレフィックス)</param>
|
||||
/// <returns>非同期タスク</returns>
|
||||
public static async Task CreateSub1(HttpClient client, string listId, string fileName)
|
||||
{
|
||||
await CreateSub2(client, listId, QUERY1, $"{fileName}");
|
||||
await CreateSub2(client, listId, QUERY2, $"{fileName}RT");
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 指定されたクエリ条件で RSS を取得・整形して出力します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient</param>
|
||||
/// <param name="listId">リストID</param>
|
||||
/// <param name="query">クエリ文字列</param>
|
||||
/// <param name="fileName">出力ファイル名</param>
|
||||
/// <returns>非同期タスク</returns>
|
||||
public static async Task CreateSub2(HttpClient client, string listId, string query, string fileName)
|
||||
{
|
||||
try
|
||||
{
|
||||
var listURL = $"{BASE_URL}/{listId}";
|
||||
var allItems = await CmnUtil.GetFeedItems(client, $"{listURL}/{query}");
|
||||
|
||||
// 簡潔なRSSに整形
|
||||
var simplifiedItems = allItems.OrderByDescending(x => x.PublishDate).Select(originalItem =>
|
||||
{
|
||||
// リンクの取得
|
||||
var link = originalItem.Links.FirstOrDefault()?.Uri;
|
||||
|
||||
// 著者の取得 (originalItem.Authors または dc:creator から取得)
|
||||
string? authorName = originalItem.Authors.FirstOrDefault()?.Name;
|
||||
if (string.IsNullOrWhiteSpace(authorName))
|
||||
{
|
||||
// ElementExtensions から dc:creator を取得
|
||||
foreach (var ext in originalItem.ElementExtensions)
|
||||
{
|
||||
if (string.Equals(ext.OuterName, "creator", StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
try
|
||||
{
|
||||
authorName = ext.GetObject<XElement>()?.Value?.Trim();
|
||||
if (!string.IsNullOrEmpty(authorName))
|
||||
{
|
||||
break;
|
||||
}
|
||||
}
|
||||
catch
|
||||
{
|
||||
try
|
||||
{
|
||||
using var reader = ext.GetReader();
|
||||
authorName = reader.ReadElementContentAsString()?.Trim();
|
||||
if (!string.IsNullOrEmpty(authorName))
|
||||
{
|
||||
break;
|
||||
}
|
||||
}
|
||||
catch
|
||||
{
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// リンクURLからスクリーン名を抽出(例: https://x.com/PeroVRC/status/... -> @PeroVRC)
|
||||
string? screenName = null;
|
||||
if (link != null)
|
||||
{
|
||||
var match = Regex.Match(link.AbsoluteUri, @"(?:x|twitter)\.com/([^/]+)/status/", RegexOptions.IgnoreCase);
|
||||
if (match.Success)
|
||||
{
|
||||
screenName = match.Groups[1].Value;
|
||||
}
|
||||
}
|
||||
|
||||
if (string.IsNullOrWhiteSpace(authorName) && !string.IsNullOrWhiteSpace(screenName))
|
||||
{
|
||||
authorName = screenName;
|
||||
}
|
||||
|
||||
// 本文(Summary)にも著者情報を上部に付与して各種リーダーで確実に可視化
|
||||
var rawSummary = originalItem.Summary?.Text ?? string.Empty;
|
||||
string authorHeader = "";
|
||||
if (!string.IsNullOrWhiteSpace(authorName))
|
||||
{
|
||||
string authorDisplay = !string.IsNullOrWhiteSpace(screenName) && !string.Equals(authorName, screenName, StringComparison.OrdinalIgnoreCase)
|
||||
? $"{WebUtility.HtmlEncode(authorName)} (@{screenName})"
|
||||
: WebUtility.HtmlEncode(authorName);
|
||||
|
||||
string authorUrl = !string.IsNullOrWhiteSpace(screenName)
|
||||
? $"https://x.com/{screenName}"
|
||||
: (link?.AbsoluteUri ?? "#");
|
||||
|
||||
authorHeader = $"<p style=\"font-size: 0.95em; color: #475569; margin-bottom: 8px;\"><strong>👤 投稿者:</strong> <a href=\"{authorUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">{authorDisplay}</a></p>\n";
|
||||
}
|
||||
|
||||
var newItem = new SyndicationItem
|
||||
{
|
||||
Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title"),
|
||||
Id = CmnUtil.CreateGuid(originalItem.Id),
|
||||
PublishDate = originalItem.PublishDate,
|
||||
LastUpdatedTime = originalItem.LastUpdatedTime,
|
||||
Summary = new TextSyndicationContent(authorHeader + rawSummary, TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
// リンクを引き継ぐ
|
||||
if (link != null)
|
||||
{
|
||||
newItem.Links.Add(new SyndicationLink(link));
|
||||
}
|
||||
|
||||
// 元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
|
||||
foreach (var category in originalItem.Categories)
|
||||
{
|
||||
category.Scheme = null;
|
||||
newItem.Categories.Add(category);
|
||||
}
|
||||
|
||||
// 著者の設定 (Atom用 Authors および RSS 2.0 Dublin Core用 dc:creator)
|
||||
if (!string.IsNullOrWhiteSpace(authorName))
|
||||
{
|
||||
newItem.Authors.Add(new SyndicationPerson { Name = authorName });
|
||||
newItem.ElementExtensions.Add(new XElement(
|
||||
XName.Get("creator", "http://purl.org/dc/elements/1.1/"),
|
||||
authorName
|
||||
));
|
||||
}
|
||||
|
||||
return newItem;
|
||||
});
|
||||
|
||||
// 新しい統合フィードを作成
|
||||
var mergedFeed = new SyndicationFeed(
|
||||
fileName,
|
||||
"",
|
||||
new Uri("https://x.com/i/lists/2070669317667217577"),
|
||||
simplifiedItems
|
||||
);
|
||||
|
||||
// X (Twitter) は画像リンクを Base64 変換せず、通常の画像リンクとして出力する
|
||||
await CmnUtil.ExportXMLFileAsync($"{fileName}.xml", mergedFeed, client, addDir: "x.com", embedBase64: false);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【x_list】 {fileName}: {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
#endregion
|
||||
}
|
||||
@@ -0,0 +1,205 @@
|
||||
using AngleSharp.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.IO;
|
||||
using System.Linq;
|
||||
using System.Net.Http;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.YahooBaseball;
|
||||
|
||||
/// <summary>
|
||||
/// 広島東洋カープ(スポーツナビ)のニュースタイムラインからRSSフィードを生成するクラス
|
||||
/// </summary>
|
||||
internal class npb_6
|
||||
{
|
||||
/// <summary>
|
||||
/// 広島東洋カープの最新情報を取得し、npb_6.xml として出力します。
|
||||
/// 既存フィードを読み込み、過去の公開日時および本文HTMLを維持することで、FreshRSSにおける不要な未読化を防ぎます。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
/// <param name="sessionId">FlareSolverr セッションID(任意)</param>
|
||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||
{
|
||||
var feed = new SyndicationFeed("広島東洋カープ - プロ野球 - スポーツナビ", "広島東洋カープの最新ニュース・タイムライン", new Uri("https://baseball.yahoo.co.jp/npb/teams/6/top"));
|
||||
var items = new List<SyndicationItem>();
|
||||
|
||||
try
|
||||
{
|
||||
var pageURL = "https://baseball.yahoo.co.jp/npb/teams/6/top";
|
||||
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
|
||||
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
|
||||
|
||||
// 既存フィードを読み込み、過去の公開日時・更新日時・本文HTMLを引き継ぐ
|
||||
var existingEntries = LoadExistingEntries("npb_6.xml");
|
||||
var mergedDict = new Dictionary<string, SyndicationItem>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
// 既存フィードの全アイテムを登録
|
||||
foreach (var kvp in existingEntries)
|
||||
{
|
||||
var entry = kvp.Value;
|
||||
if (!mergedDict.ContainsKey(entry.Guid))
|
||||
{
|
||||
var synItem = new SyndicationItem(
|
||||
entry.Title,
|
||||
(string?)null,
|
||||
!string.IsNullOrEmpty(entry.Link) ? new Uri(entry.Link) : null,
|
||||
entry.Guid,
|
||||
entry.PublishDate != DateTimeOffset.MinValue ? entry.PublishDate : entry.LastUpdatedTime
|
||||
)
|
||||
{
|
||||
PublishDate = entry.PublishDate != DateTimeOffset.MinValue ? entry.PublishDate : entry.LastUpdatedTime,
|
||||
LastUpdatedTime = entry.LastUpdatedTime != DateTimeOffset.MinValue ? entry.LastUpdatedTime : entry.PublishDate,
|
||||
Summary = new TextSyndicationContent(entry.SummaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
foreach (var author in entry.Authors)
|
||||
{
|
||||
synItem.Authors.Add(new SyndicationPerson { Name = author });
|
||||
}
|
||||
mergedDict[entry.Guid] = synItem;
|
||||
}
|
||||
}
|
||||
|
||||
if (document != null)
|
||||
{
|
||||
var elements = document.QuerySelectorAll("li.sn-timeLine__item");
|
||||
foreach (var div in elements)
|
||||
{
|
||||
var linkElement = div.QuerySelector("a");
|
||||
if (linkElement == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
var titleElement = div.QuerySelector(".sn-timeLine__itemTitle");
|
||||
var imgElement = div.QuerySelector("img");
|
||||
var elemCredit = div.QuerySelector(".sn-timeLine__itemCredit");
|
||||
var elemTime = div.QuerySelector(".sn-timeLine__itemTime");
|
||||
|
||||
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
|
||||
var linkHref = linkElement?.GetAttribute("href") ?? string.Empty;
|
||||
var imageSrc = imgElement?.GetAttribute("src");
|
||||
|
||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
string guid = CmnUtil.CreateGuid(linkHref);
|
||||
|
||||
var body = new StringBuilder();
|
||||
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
|
||||
if (imageUri != null)
|
||||
{
|
||||
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||
}
|
||||
|
||||
// 既存エントリが存在する場合は前回の公開日時・本文HTMLを最優先で維持
|
||||
DateTimeOffset itemDate;
|
||||
string summaryHtml = body.ToString();
|
||||
|
||||
if (existingEntries.TryGetValue(guid, out var existing))
|
||||
{
|
||||
itemDate = existing.PublishDate != DateTimeOffset.MinValue ? existing.PublishDate : existing.LastUpdatedTime;
|
||||
if (!string.IsNullOrWhiteSpace(existing.SummaryHtml))
|
||||
{
|
||||
summaryHtml = existing.SummaryHtml;
|
||||
}
|
||||
}
|
||||
else
|
||||
{
|
||||
if (DateTime.TryParse(elemTime?.TextContent?.Trim(), out DateTime parsedTime))
|
||||
{
|
||||
itemDate = new DateTimeOffset(parsedTime);
|
||||
}
|
||||
else
|
||||
{
|
||||
itemDate = DateTimeOffset.Now;
|
||||
}
|
||||
}
|
||||
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
(string?)null,
|
||||
itemUri,
|
||||
guid,
|
||||
itemDate
|
||||
)
|
||||
{
|
||||
PublishDate = itemDate,
|
||||
LastUpdatedTime = itemDate,
|
||||
Summary = new TextSyndicationContent(summaryHtml, TextSyndicationContentKind.Html)
|
||||
};
|
||||
|
||||
var credit = elemCredit?.TextContent?.Trim();
|
||||
if (!string.IsNullOrEmpty(credit))
|
||||
{
|
||||
item.Authors.Add(new SyndicationPerson { Name = credit });
|
||||
}
|
||||
|
||||
mergedDict[guid] = item;
|
||||
}
|
||||
}
|
||||
|
||||
// 重複除外とソート(新しい順)
|
||||
var finalItems = mergedDict.Values
|
||||
.OrderByDescending(x => x.PublishDate != DateTimeOffset.MinValue ? x.PublishDate : x.LastUpdatedTime)
|
||||
.Take(100)
|
||||
.ToList();
|
||||
|
||||
feed.Items = finalItems;
|
||||
|
||||
await CmnUtil.ExportXMLFileAsync("npb_6.xml", feed, client, filter24Hours: false);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【npb_6】 {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 既存の npb_6.xml を読み込み、GUIDおよびURLをキーとするキャッシュ辞書を返します。
|
||||
/// </summary>
|
||||
private static Dictionary<string, (string Guid, string Link, string Title, string SummaryHtml, DateTimeOffset PublishDate, DateTimeOffset LastUpdatedTime, List<string> Authors)> LoadExistingEntries(string fileName)
|
||||
{
|
||||
var dict = new Dictionary<string, (string Guid, string Link, string Title, string SummaryHtml, DateTimeOffset PublishDate, DateTimeOffset LastUpdatedTime, List<string> Authors)>(StringComparer.OrdinalIgnoreCase);
|
||||
var filePath = CmnUtil.GetExportXmlPath(fileName);
|
||||
if (!File.Exists(filePath)) return dict;
|
||||
|
||||
try
|
||||
{
|
||||
using var reader = XmlReader.Create(filePath);
|
||||
var feed = SyndicationFeed.Load(reader);
|
||||
if (feed?.Items != null)
|
||||
{
|
||||
foreach (var item in feed.Items)
|
||||
{
|
||||
string guid = item.Id ?? string.Empty;
|
||||
string link = item.Links.FirstOrDefault()?.Uri?.ToString() ?? string.Empty;
|
||||
string title = item.Title?.Text ?? string.Empty;
|
||||
string summary = item.Summary?.Text ?? string.Empty;
|
||||
DateTimeOffset pubDate = item.PublishDate;
|
||||
DateTimeOffset lastUpdated = item.LastUpdatedTime;
|
||||
var authors = item.Authors.Select(a => a.Name).Where(n => !string.IsNullOrEmpty(n)).ToList();
|
||||
|
||||
var entry = (guid, link, title, summary, pubDate, lastUpdated, authors);
|
||||
|
||||
if (!string.IsNullOrEmpty(guid) && !dict.ContainsKey(guid))
|
||||
{
|
||||
dict[guid] = entry;
|
||||
}
|
||||
if (!string.IsNullOrEmpty(link) && !dict.ContainsKey(link))
|
||||
{
|
||||
dict[link] = entry;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 【npb_6】 既存フィード読み込み失敗 ({fileName}): {ex.Message}");
|
||||
}
|
||||
return dict;
|
||||
}
|
||||
}
|
||||
+35
-4
@@ -1,6 +1,8 @@
|
||||
using System.Collections.Generic;
|
||||
using System.Threading.Tasks;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.RSS.YouTube;
|
||||
namespace rss_generator.Class.YouTube;
|
||||
|
||||
/// <summary>
|
||||
/// YouTubeフィード生成の設定情報
|
||||
@@ -8,14 +10,42 @@ namespace rss_generator.Class.RSS.YouTube;
|
||||
public static class YouTubeConfig
|
||||
{
|
||||
/// <summary>
|
||||
/// 出力対象とするYouTubeチャンネル・ユーザーの固定一覧。
|
||||
/// ここにチャンネルID(UC...)またはハンドル(@...)を追加してください。
|
||||
/// 設定ファイル名(C:\feeds\src\youtube.json)
|
||||
/// </summary>
|
||||
public static readonly List<YouTubeChannelTarget> Channels = new()
|
||||
public const string ConfigFileName = "youtube.json";
|
||||
|
||||
/// <summary>
|
||||
/// 出力対象とするYouTubeチャンネル・ユーザーの一覧。
|
||||
/// 外部ファイル(C:\feeds\src\youtube.json)から読み込まれます。
|
||||
/// </summary>
|
||||
public static List<YouTubeChannelTarget> Channels { get; private set; }
|
||||
|
||||
static YouTubeConfig()
|
||||
{
|
||||
Channels = new(DefaultChannels);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 外部ファイル(C:\feeds\src\youtube.json)から最新のチャンネル設定を読み込みます。
|
||||
/// ファイルが存在しない場合は DefaultChannels の内容で自動作成されます。
|
||||
/// </summary>
|
||||
public static async Task LoadAsync()
|
||||
{
|
||||
Channels = await ExternalFeedConfigManager.LoadTargetsAsync<YouTubeChannelTarget>(
|
||||
ConfigFileName,
|
||||
DefaultChannels
|
||||
);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 初期移行用およびフォールバック用のデフォルトチャンネル一覧
|
||||
/// </summary>
|
||||
public static readonly List<YouTubeChannelTarget> DefaultChannels = new()
|
||||
{
|
||||
// === ゲームカテゴリ ===
|
||||
new YouTubeChannelTarget { IdOrHandle = "UC4jVPBw6dP3mXCGJvRi3Xbw", Name = "0m0ti channel", Category = "ゲーム" },
|
||||
new YouTubeChannelTarget { IdOrHandle = "UCbNycyGQrscpF1TD9xJ8Gig", Name = "78 moco", Category = "ゲーム" },
|
||||
new YouTubeChannelTarget { IdOrHandle = "UCDirLAyBL7m8sYxvchargpQ", Name = "Ao Game Channel", Category = "ゲーム" },
|
||||
new YouTubeChannelTarget { IdOrHandle = "UCLezUXWjiJNxKqmAj6y-6FQ", Name = "asdfgame", Category = "ゲーム" },
|
||||
new YouTubeChannelTarget { IdOrHandle = "UCpjv8V_jiIO9SdXfqp3lUDA", Name = "Bell's Workshop 2号店", Category = "ゲーム" },
|
||||
new YouTubeChannelTarget { IdOrHandle = "UC0VoI57B2_63MErt_1QBpxA", Name = "EXAM", Category = "ゲーム" },
|
||||
@@ -50,6 +80,7 @@ public static class YouTubeConfig
|
||||
new YouTubeChannelTarget { IdOrHandle = "UCeVxYzfdg2hJlwXsx3vcIfA", Name = "れもん", Category = "ゲーム" },
|
||||
new YouTubeChannelTarget { IdOrHandle = "UC08BWOux8OI84Zg5O8lzPLw", Name = "ろぉれわち", Category = "ゲーム" },
|
||||
new YouTubeChannelTarget { IdOrHandle = "UCo1RH7pR_wdgY_9LKONxXvA", Name = "エナメル巻きで食べるサラダ", Category = "ゲーム" },
|
||||
new YouTubeChannelTarget { IdOrHandle = "UC8mdqNhvFF6396bcF_0vNjw", Name = "クロカツゲーム(白猫)ch", Category = "ゲーム" },
|
||||
new YouTubeChannelTarget { IdOrHandle = "UCbC7w818ZosPu6OtXsrEnow", Name = "クワトロ【GBF】 quwatoro", Category = "ゲーム" },
|
||||
new YouTubeChannelTarget { IdOrHandle = "UCfxC2jkCQn3SEMYYtprPQ4w", Name = "タコ丸 / 村人狂【マイクラ 小ネタ 検証 茶番】", Category = "ゲーム" },
|
||||
new YouTubeChannelTarget { IdOrHandle = "UCmIxgPt36VRqcvu8cJRgl3g", Name = "ニグチャンネル", Category = "ゲーム" },
|
||||
+113
-29
@@ -1,4 +1,4 @@
|
||||
using System;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
@@ -7,8 +7,9 @@ using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml.Linq;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.RSS.YouTube;
|
||||
namespace rss_generator.Class.YouTube;
|
||||
|
||||
/// <summary>
|
||||
/// YouTubeのライブ配信・通常動画・ショート動画を分離してRSS(XML)を生成・出力するマネージャークラス
|
||||
@@ -21,16 +22,19 @@ public static class YouTubeFeedManager
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
LogManager.AddLog("[情報] YouTubeフィード生成を開始します");
|
||||
LogManager.AddLog("[情報] 【YouTube】 YouTubeフィード生成を開始します");
|
||||
|
||||
try
|
||||
{
|
||||
// 外部ファイル(C:\feeds\src\youtube.json)から最新のチャンネル設定を読み込み
|
||||
await YouTubeConfig.LoadAsync();
|
||||
|
||||
var allLiveItems = new List<YouTubeVideoItem>();
|
||||
var allVideoItems = new List<YouTubeVideoItem>();
|
||||
var allShortsItems = new List<YouTubeVideoItem>();
|
||||
|
||||
// YouTubeからのレート制限を防ぐため、同時並行数を安全な値(6)に制御
|
||||
using var semaphore = new System.Threading.SemaphoreSlim(6);
|
||||
// メモリ消費とレート制限を抑えるため、同時並行数を2に制御
|
||||
using var semaphore = new System.Threading.SemaphoreSlim(2);
|
||||
|
||||
var channelTasks = YouTubeConfig.Channels.Select(async channel =>
|
||||
{
|
||||
@@ -41,7 +45,7 @@ public static class YouTubeFeedManager
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] チャンネル処理失敗 ({channel.Name ?? channel.IdOrHandle}): {ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【YouTube】 チャンネル処理失敗 ({channel.Name ?? channel.IdOrHandle}): {ex.Message}");
|
||||
}
|
||||
finally
|
||||
{
|
||||
@@ -72,21 +76,21 @@ public static class YouTubeFeedManager
|
||||
|
||||
string catTitleSuffix = $" - {category}";
|
||||
|
||||
ExportMergedFeed(catLive, YouTubeFeedType.Live, liveFile, $"YouTube Live{catTitleSuffix}");
|
||||
ExportMergedFeed(catVideo, YouTubeFeedType.Video, videoFile, $"YouTube Videos{catTitleSuffix}");
|
||||
ExportMergedFeed(catShorts, YouTubeFeedType.Shorts, shortsFile, $"YouTube Shorts{catTitleSuffix}");
|
||||
await ExportMergedFeedAsync(client, catLive, YouTubeFeedType.Live, liveFile, $"YouTube Live{catTitleSuffix}");
|
||||
await ExportMergedFeedAsync(client, catVideo, YouTubeFeedType.Video, videoFile, $"YouTube Videos{catTitleSuffix}");
|
||||
await ExportMergedFeedAsync(client, catShorts, YouTubeFeedType.Shorts, shortsFile, $"YouTube Shorts{catTitleSuffix}");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] カテゴリ出力失敗 ({category}): {ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【YouTube】 カテゴリ出力失敗 ({category}): {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
LogManager.AddLog("[情報] YouTubeフィード生成が完了しました");
|
||||
LogManager.AddLog("[情報] 【YouTube】 YouTubeフィード生成が完了しました");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] YouTubeFeedManager.CreateRSSAsync: {ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【YouTube】 YouTubeFeedManager.CreateRSSAsync: {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
}
|
||||
@@ -137,7 +141,7 @@ public static class YouTubeFeedManager
|
||||
int totalCount = liveItems.Count + videoItems.Count + shortsItems.Count;
|
||||
if (totalCount == 0)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 取得アイテム0件 【{channelDisplayName}】 ({channel.IdOrHandle})");
|
||||
LogManager.AddLog($"[警告] 【YouTube】 取得アイテム0件 【{channelDisplayName}】 ({channel.IdOrHandle})");
|
||||
}
|
||||
|
||||
// 統合フィード用に蓄積
|
||||
@@ -148,7 +152,7 @@ public static class YouTubeFeedManager
|
||||
catch (Exception ex)
|
||||
{
|
||||
// チャンネルごとのエラーを出力して処理を続行
|
||||
LogManager.AddLog($"[エラー] チャンネル処理失敗 【{channelDisplayName}】 ({channel.IdOrHandle}): {ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【YouTube】 チャンネル処理失敗 【{channelDisplayName}】 ({channel.IdOrHandle}): {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
@@ -172,7 +176,7 @@ public static class YouTubeFeedManager
|
||||
using var response = await client.SendAsync(request);
|
||||
if (!response.IsSuccessStatusCode)
|
||||
{
|
||||
LogManager.AddLog($"[警告] タブ取得HTTPエラー 【{channelDisplayName}】({feedType}) [{(int)response.StatusCode} {response.StatusCode}]: {url}");
|
||||
LogManager.AddLog($"[警告] 【YouTube】 タブ取得HTTPエラー 【{channelDisplayName}】({feedType}) [{(int)response.StatusCode} {response.StatusCode}]: {url}");
|
||||
return new List<YouTubeVideoItem>();
|
||||
}
|
||||
|
||||
@@ -184,7 +188,7 @@ public static class YouTubeFeedManager
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] タブ取得失敗 【{channelDisplayName}】({feedType}): {ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【YouTube】 タブ取得失敗 【{channelDisplayName}】({feedType}): {ex.Message}");
|
||||
return new List<YouTubeVideoItem>();
|
||||
}
|
||||
}
|
||||
@@ -323,7 +327,8 @@ public static class YouTubeFeedManager
|
||||
/// <summary>
|
||||
/// 全チャンネル統合フィードを出力します。
|
||||
/// </summary>
|
||||
private static void ExportMergedFeed(
|
||||
private static async Task ExportMergedFeedAsync(
|
||||
HttpClient client,
|
||||
List<YouTubeVideoItem> items,
|
||||
YouTubeFeedType feedType,
|
||||
string fileName,
|
||||
@@ -337,29 +342,91 @@ public static class YouTubeFeedManager
|
||||
_ => "フィード"
|
||||
};
|
||||
|
||||
// 公開日時の新しい順にソートし、重複を除外
|
||||
var distinctItems = items
|
||||
// 既存フィードを読み込み、過去の公開日時・本文HTML・タイトルを引き継げるようにする
|
||||
var existingDict = LoadExistingFeedItems(fileName, YouTubeConfig.OutputSubDir);
|
||||
|
||||
// 重複を除外
|
||||
var distinctRawItems = items
|
||||
.GroupBy(i => i.VideoId)
|
||||
.Select(g => g.First())
|
||||
.OrderByDescending(i => i.PublishedDate)
|
||||
.ToList();
|
||||
|
||||
var syndicationItems = new List<SyndicationItem>();
|
||||
foreach (var video in distinctRawItems)
|
||||
{
|
||||
string guid = CmnUtil.CreateGuid(video.Url);
|
||||
existingDict.TryGetValue(guid, out var existingItem);
|
||||
if (existingItem == null && !string.IsNullOrWhiteSpace(video.Url))
|
||||
{
|
||||
existingDict.TryGetValue(video.Url, out existingItem);
|
||||
}
|
||||
|
||||
var synItem = CreateSyndicationItem(video, existingItem, feedType);
|
||||
syndicationItems.Add(synItem);
|
||||
}
|
||||
|
||||
// 公開日時の新しい順にソートし、最大件数に制限
|
||||
var finalItems = syndicationItems
|
||||
.OrderByDescending(i => i.PublishDate)
|
||||
.Take(YouTubeConfig.MaxItemsPerFeed * 3)
|
||||
.Select(CreateSyndicationItem)
|
||||
.ToList();
|
||||
|
||||
var feed = new SyndicationFeed(
|
||||
$"{feedTitle} ({typeLabel})",
|
||||
$"登録チャンネル全件の {typeLabel} 統合RSSフィード",
|
||||
new Uri("https://www.youtube.com"),
|
||||
distinctItems
|
||||
finalItems
|
||||
);
|
||||
|
||||
CmnUtil.ExportXMLFile(fileName, feed, YouTubeConfig.OutputSubDir);
|
||||
// YouTube は画像リンクを Base64 変換せず、通常の画像リンクとして出力する(filter24Hours: false で全件維持)
|
||||
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, YouTubeConfig.OutputSubDir, embedBase64: false, filter24Hours: false);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 既存のXMLファイルから SyndicationItem を読み込み、GUIDおよびURLをキーとする辞書を返します。
|
||||
/// </summary>
|
||||
private static Dictionary<string, SyndicationItem> LoadExistingFeedItems(string fileName, string subDir)
|
||||
{
|
||||
var dict = new Dictionary<string, SyndicationItem>(StringComparer.OrdinalIgnoreCase);
|
||||
var filePath = CmnUtil.GetExportXmlPath(fileName, subDir);
|
||||
if (!System.IO.File.Exists(filePath)) return dict;
|
||||
|
||||
try
|
||||
{
|
||||
using var reader = System.Xml.XmlReader.Create(filePath);
|
||||
var feed = SyndicationFeed.Load(reader);
|
||||
if (feed?.Items != null)
|
||||
{
|
||||
foreach (var item in feed.Items)
|
||||
{
|
||||
if (!string.IsNullOrWhiteSpace(item.Id) && !dict.ContainsKey(item.Id))
|
||||
{
|
||||
dict[item.Id] = item;
|
||||
}
|
||||
var link = item.Links.FirstOrDefault()?.Uri?.ToString();
|
||||
if (!string.IsNullOrWhiteSpace(link) && !dict.ContainsKey(link))
|
||||
{
|
||||
dict[link] = item;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] 【YouTube】 既存フィード読み込み失敗 ({fileName}): {ex.Message}");
|
||||
}
|
||||
return dict;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// YouTubeVideoItemからSyndicationItemを生成します。
|
||||
/// 既存アイテムが存在する場合は、前回のPublishDateおよびSummaryHtmlを最優先で維持し、
|
||||
/// 再生回数の増加や「○時間前」の更新によるFreshRSSの未読化を防ぎます。
|
||||
/// </summary>
|
||||
private static SyndicationItem CreateSyndicationItem(YouTubeVideoItem video)
|
||||
private static SyndicationItem CreateSyndicationItem(
|
||||
YouTubeVideoItem video,
|
||||
SyndicationItem? existingItem = null,
|
||||
YouTubeFeedType feedType = YouTubeFeedType.Video)
|
||||
{
|
||||
// フィードタイトルの先頭にチャンネル・ユーザー名を付与(例: 【白上フブキ】 動画タイトル)
|
||||
string channelName = !string.IsNullOrWhiteSpace(video.ChannelTitle) ? video.ChannelTitle.Trim() : "";
|
||||
@@ -373,12 +440,21 @@ public static class YouTubeFeedManager
|
||||
}
|
||||
}
|
||||
|
||||
// 既存アイテムが存在する場合、ライブ配信以外は前回の公開日時を完全に維持
|
||||
var pubDate = (existingItem != null && existingItem.PublishDate != DateTimeOffset.MinValue && feedType != YouTubeFeedType.Live)
|
||||
? existingItem.PublishDate
|
||||
: video.PublishedDate;
|
||||
|
||||
var lastUpdate = (existingItem != null && existingItem.LastUpdatedTime != DateTimeOffset.MinValue && feedType != YouTubeFeedType.Live)
|
||||
? existingItem.LastUpdatedTime
|
||||
: pubDate;
|
||||
|
||||
var item = new SyndicationItem
|
||||
{
|
||||
Title = new TextSyndicationContent(displayTitle),
|
||||
Id = CmnUtil.CreateGuid(video.Url),
|
||||
PublishDate = video.PublishedDate,
|
||||
LastUpdatedTime = video.PublishedDate
|
||||
PublishDate = pubDate,
|
||||
LastUpdatedTime = lastUpdate
|
||||
};
|
||||
|
||||
item.Links.Add(new SyndicationLink(new Uri(video.Url)));
|
||||
@@ -390,15 +466,23 @@ public static class YouTubeFeedManager
|
||||
|
||||
item.Categories.Add(new SyndicationCategory(video.FeedType.ToString()));
|
||||
|
||||
// HTML形式のSummaryを生成
|
||||
// 既存エントリがあり、かつライブ配信でない場合は、前回のSummary(本文HTML)をそのまま引き継ぐ
|
||||
// (再生回数や相対日時の変化による本文ハッシュ変動を100%防止)
|
||||
if (existingItem?.Summary != null && !string.IsNullOrWhiteSpace(existingItem.Summary.Text) && feedType != YouTubeFeedType.Live)
|
||||
{
|
||||
item.Summary = new TextSyndicationContent(existingItem.Summary.Text, TextSyndicationContentKind.Html);
|
||||
return item;
|
||||
}
|
||||
|
||||
// 新規アイテムまたはライブ配信の場合の本文HTML生成
|
||||
var body = new StringBuilder();
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(video.ThumbnailUrl))
|
||||
{
|
||||
body.Append($@"<div><a href=""{video.Url}""><img src=""{video.ThumbnailUrl}"" alt=""{WebUtility.HtmlEncode(video.Title)}"" style=""max-width: 100%; height: auto; margin-bottom: 8px; border-radius: 6px;"" /></a></div>");
|
||||
body.Append($@"<div><a href=""{video.Url}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{video.ThumbnailUrl}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(video.Title)}"" style=""max-width: 100%; height: auto; margin-bottom: 8px; border-radius: 6px;"" /></a></div>");
|
||||
}
|
||||
|
||||
body.Append($@"<div style=""margin-bottom: 4px;""><strong>タイトル:</strong> <a href=""{video.Url}"">{WebUtility.HtmlEncode(video.Title)}</a></div>");
|
||||
body.Append($@"<div style=""margin-bottom: 4px;""><strong>タイトル:</strong> <a href=""{video.Url}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{WebUtility.HtmlEncode(video.Title)}</a></div>");
|
||||
body.Append($@"<div style=""margin-bottom: 4px;""><strong>チャンネル:</strong> {WebUtility.HtmlEncode(video.ChannelTitle)}</div>");
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(video.PublishedText))
|
||||
+26
-13
@@ -1,6 +1,8 @@
|
||||
using System;
|
||||
using System.Text.Json.Serialization;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.RSS.YouTube;
|
||||
namespace rss_generator.Class.YouTube;
|
||||
|
||||
/// <summary>
|
||||
/// YouTubeフィードの種類(ライブ配信・通常動画・ショート動画)
|
||||
@@ -17,31 +19,42 @@ public enum YouTubeFeedType
|
||||
|
||||
/// <summary>
|
||||
/// 監視対象チャンネル・ユーザーの設定情報
|
||||
/// 共通モデル ExternalFeedTarget を継承し、YouTube固有のURL生成ロジックを持ちます。
|
||||
/// </summary>
|
||||
public class YouTubeChannelTarget
|
||||
public class YouTubeChannelTarget : ExternalFeedTarget
|
||||
{
|
||||
/// <summary>
|
||||
/// チャンネルID(例: "UCdn5BQ06XqgXoAxIhbqw5Rg")またはハンドル名(例: "@ShirakamiFubuki")
|
||||
/// 旧プロパティ名との後方互換用エイリアス(Urlと同じ値を参照・設定)
|
||||
/// </summary>
|
||||
public string IdOrHandle { get; set; } = "";
|
||||
[JsonIgnore]
|
||||
public string IdOrHandle
|
||||
{
|
||||
get => Url;
|
||||
set => Url = value;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// チャンネル名(未指定の場合は自動取得またはIdOrHandleを使用)
|
||||
/// JSON読み込み時の旧フォーマット(idOrHandle)対応用プロパティ
|
||||
/// 書き出し時は出力されません
|
||||
/// </summary>
|
||||
public string? Name { get; set; }
|
||||
|
||||
/// <summary>
|
||||
/// 出力カテゴリ名(例: "その他", "野球", "ゲーム", "音楽", "ニュース" 等)
|
||||
/// カテゴリごとに独立したRSSフィード(XML)が出力されます。
|
||||
/// </summary>
|
||||
public string Category { get; set; } = "その他";
|
||||
[JsonPropertyName("idOrHandle")]
|
||||
public string? LegacyIdOrHandle
|
||||
{
|
||||
set
|
||||
{
|
||||
if (!string.IsNullOrEmpty(value) && string.IsNullOrEmpty(Url))
|
||||
{
|
||||
Url = value;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 指定したタブ種別に応じたURLを取得します。
|
||||
/// </summary>
|
||||
public string GetTabUrl(YouTubeFeedType type)
|
||||
{
|
||||
string baseTarget = IdOrHandle.Trim();
|
||||
string baseTarget = (Url ?? "").Trim();
|
||||
string baseUrl;
|
||||
|
||||
if (baseTarget.StartsWith("@"))
|
||||
+4
-3
@@ -1,10 +1,11 @@
|
||||
using System;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Globalization;
|
||||
using System.Text.Json;
|
||||
using System.Text.RegularExpressions;
|
||||
using rss_generator.Class.Common;
|
||||
|
||||
namespace rss_generator.Class.RSS.YouTube;
|
||||
namespace rss_generator.Class.YouTube;
|
||||
|
||||
/// <summary>
|
||||
/// YouTubeのHTMLからytInitialDataを抽出・解析するパーサークラス
|
||||
@@ -96,7 +97,7 @@ public static class YouTubeParser
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] YouTubeParser.ParseTabContent: {ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【YouTube】 YouTubeParser.ParseTabContent: {ex.Message}");
|
||||
}
|
||||
|
||||
return items;
|
||||
@@ -6,10 +6,11 @@ using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Web;
|
||||
using System.Xml;
|
||||
using static rss_generator.Class.CmnDefine;
|
||||
using static rss_generator.Class.LogManager;
|
||||
using rss_generator.Class.Common;
|
||||
using static rss_generator.Class.Common.CmnDefine;
|
||||
using static rss_generator.Class.Common.LogManager;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
namespace rss_generator.Class.YouTube;
|
||||
|
||||
internal class Youtube
|
||||
{
|
||||
@@ -50,13 +51,14 @@ internal class Youtube
|
||||
items
|
||||
);
|
||||
|
||||
CmnUtil.ExportXMLFile($"{fileName}.xml", mergedFeed, "youtube");
|
||||
// YouTube は画像リンクを Base64 変換せず、通常の画像リンクとして出力する
|
||||
await CmnUtil.ExportXMLFileAsync($"{fileName}.xml", mergedFeed, client, "youtube", embedBase64: false);
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
AddLog($"[エラー] Youtube:{ex.Message}");
|
||||
AddLog($"StackTrace\n{ex.StackTrace}");
|
||||
AddLog($"[エラー] 【YouTube】 {ex.Message}");
|
||||
AddLog($"[エラー] 【YouTube】 StackTrace\n{ex.StackTrace}");
|
||||
}
|
||||
}
|
||||
|
||||
@@ -76,7 +78,7 @@ internal class Youtube
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
AddLog($"[エラー] {url} の取得に失敗: {ex.Message}");
|
||||
AddLog($"[エラー] 【YouTube】 {url} の取得に失敗: {ex.Message}");
|
||||
return Enumerable.Empty<SyndicationItem>();
|
||||
}
|
||||
}
|
||||
+149
-68
@@ -1,13 +1,30 @@
|
||||
using Microsoft.Extensions.DependencyInjection;
|
||||
using rss_generator.Class;
|
||||
using rss_generator.Class.RSS;
|
||||
using rss_generator.Class.RSS.e_hentai;
|
||||
using rss_generator.Class.RSS.hitomi_la;
|
||||
using rss_generator.Class.RSS.Pixiv;
|
||||
using rss_generator.Class.RSS.YouTube;
|
||||
using Microsoft.Extensions.DependencyInjection;
|
||||
using rss_generator.Class.AnigeSokuhou;
|
||||
using rss_generator.Class.AuraHentai;
|
||||
using rss_generator.Class.CiEn;
|
||||
using rss_generator.Class.Common;
|
||||
using rss_generator.Class.Danbooru;
|
||||
using rss_generator.Class.EHentai;
|
||||
using rss_generator.Class.Eroterest;
|
||||
using rss_generator.Class.HentaiPaw;
|
||||
using rss_generator.Class.HitomiLa;
|
||||
using rss_generator.Class.JapaneseAvi;
|
||||
using rss_generator.Class.Javtwi;
|
||||
using rss_generator.Class.Jpfiles;
|
||||
using rss_generator.Class.KimochiInfo;
|
||||
using rss_generator.Class.Mangalear;
|
||||
using rss_generator.Class.MissAV;
|
||||
using rss_generator.Class.MissAV123;
|
||||
using rss_generator.Class.Momonga;
|
||||
using rss_generator.Class.Pixiv;
|
||||
using rss_generator.Class.Ryuugames;
|
||||
using rss_generator.Class.Skebetter;
|
||||
using rss_generator.Class.SpankBang;
|
||||
using rss_generator.Class.X;
|
||||
using rss_generator.Class.YahooBaseball;
|
||||
using rss_generator.Class.YouTube;
|
||||
using System.Diagnostics;
|
||||
|
||||
|
||||
// 1. 同期スレッド等の未処理例外
|
||||
AppDomain.CurrentDomain.UnhandledException += (sender, e) =>
|
||||
{
|
||||
@@ -36,102 +53,166 @@ var serviceProvider = services.BuildServiceProvider();
|
||||
// ファクトリインスタンスを取り出す
|
||||
var httpClientFactory = serviceProvider.GetRequiredService<IHttpClientFactory>();
|
||||
|
||||
LogManager.AddLog($"[情報] rss-generatorの起動");
|
||||
// 定期実行とファイル変更監視トリガーとの排他制御用セマフォ
|
||||
var executionLock = new SemaphoreSlim(1, 1);
|
||||
|
||||
// 実行したい指定の「分」を配列で設定(例:毎時 0分 と 30分)
|
||||
int[] targetMinutes = new int[] { 0, 30 };
|
||||
// 外部設定ファイル(C:\feeds\src\*.json)の変更監視を開始
|
||||
using var configWatcher = new ExternalConfigWatcher(httpClientFactory, executionLock);
|
||||
configWatcher.RegisterHandler(YouTubeConfig.ConfigFileName, "YouTube", client => YouTubeFeedManager.CreateRSSAsync(client));
|
||||
configWatcher.Start();
|
||||
|
||||
LogManager.AddLog($"[情報] 【Program】 rss-generatorの起動");
|
||||
var isFirst = true;
|
||||
|
||||
// 生成完了後の待機時間(固定で30分)
|
||||
TimeSpan waitInterval = TimeSpan.FromMinutes(30);
|
||||
|
||||
while (true)
|
||||
{
|
||||
var nowDate = DateTime.Now;
|
||||
|
||||
if (isFirst)
|
||||
{
|
||||
isFirst = false;
|
||||
}
|
||||
else
|
||||
{
|
||||
#if DEBUG
|
||||
#else
|
||||
// 次に実行すべき指定時刻を取得
|
||||
var nextRunTime = CmnUtil.GetNextTargetTime(nowDate, targetMinutes);
|
||||
// 次の時刻までの待ち時間(TimeSpan)を計算
|
||||
TimeSpan delay = nextRunTime - nowDate;
|
||||
var nextRunTime = DateTime.Now.Add(waitInterval);
|
||||
LogManager.AddLog($"[情報] 【Program】 次回実行予定: {nextRunTime:HH:mm:ss} (固定で30分待機)");
|
||||
|
||||
LogManager.AddLog($"[情報] 次回実行予定: {nextRunTime:HH:mm:ss} (あと {delay.TotalMinutes:F1} 分待機)");
|
||||
|
||||
// 指定時刻まで完全に処理を停止(非同期スリープ)
|
||||
await Task.Delay(delay);
|
||||
// 生成完了後、固定で30分待機(非同期スリープ)
|
||||
await Task.Delay(waitInterval);
|
||||
#endif
|
||||
}
|
||||
|
||||
// 定期実行の排他ロックを取得
|
||||
await executionLock.WaitAsync();
|
||||
// 指定時刻になったら処理を実行
|
||||
Stopwatch totalSw = Stopwatch.StartNew();
|
||||
Stopwatch sw = Stopwatch.StartNew();
|
||||
LogManager.AddLog("[情報] 全フィードの取得処理を開始します");
|
||||
LogManager.AddLog("[情報] 【Program】 全フィードの取得処理を開始します");
|
||||
try
|
||||
{
|
||||
using var client = httpClientFactory.CreateClient("webClient");
|
||||
client.DefaultRequestHeaders.UserAgent.Clear();
|
||||
// ここでブラウザのUser-Agentを偽装(最新のChromeを偽装)
|
||||
client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
|
||||
// サイトによってはAcceptヘッダーがないと弾く場合もあるため、念のため追加
|
||||
client.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
|
||||
// =====================================================================
|
||||
// 1. FlareSolverr を利用しない RSS 群(非同期で同時に取得処理を実行)
|
||||
// =====================================================================
|
||||
var nonFlareActions = new List<(string Name, Func<HttpClient, Task> Action)>();
|
||||
|
||||
List<Task> tasks = new List<Task>();
|
||||
#if DEBUG
|
||||
nonFlareActions.Add(("YouTube", client => YouTubeFeedManager.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("ryuugames", client => ryuugames.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("japaneseavi", client => japaneseavi.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("jpfiles", client => jpfiles.CreateRSSAsync(client)));
|
||||
#else
|
||||
// ※ movie.eroterest.net は取得処理停止のため除外
|
||||
nonFlareActions.Add(("ryuugames", client => ryuugames.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("YouTube", client => YouTubeFeedManager.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("X (Twitter)", client => x_list.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("kimochiinfo", client => kimochiinfo.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("japaneseavi", client => japaneseavi.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("jpfiles", client => jpfiles.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("ci_en", client => ci_en.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("javtwi", client => javtwi.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("mangalear", client => mangalear.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("e_hentai_ai", client => e_hentai_ai.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("e_hentai_non_ai", client => e_hentai_non_ai.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("pixiv_non_r18_non_ai", client => pixiv_non_r18_non_ai.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("pixiv_non_r18_ai", client => pixiv_non_r18_ai.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("pixiv_r18_non_ai", client => pixiv_r18_non_ai.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("pixiv_r18_ai", client => pixiv_r18_ai.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("momonga_fanzine", client => momonga_fanzine.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("momonga_magazine", client => momonga_magazine.CreateRSSAsync(client)));
|
||||
nonFlareActions.Add(("anige_sokuhouvip", client => anige_sokuhouvip.CreateRSSAsync(client)));
|
||||
#endif
|
||||
|
||||
DateTime from = new DateTime(nowDate.Year, nowDate.Month, nowDate.Day, 5, 0, 0);
|
||||
DateTime to = new DateTime(nowDate.Year, nowDate.Month, nowDate.Day, 7, 15, 0);
|
||||
if (from < nowDate && nowDate < to)
|
||||
LogManager.AddLog($"[情報] 【Program】 非FlareSolverrフィード ({nonFlareActions.Count} 件) の非同期同時取得を開始します");
|
||||
var nonFlareSw = Stopwatch.StartNew();
|
||||
|
||||
var nonFlareTasks = nonFlareActions.Select(async item =>
|
||||
{
|
||||
tasks.Add(momonga_fanzine.CreateRSSAsync(client));
|
||||
tasks.Add(momonga_magazine.CreateRSSAsync(client));
|
||||
}
|
||||
// 各タスクに独立した HttpClient インスタンスを割り当てて競合・Cookie漏れを防止
|
||||
using var taskClient = httpClientFactory.CreateClient("webClient");
|
||||
taskClient.DefaultRequestHeaders.UserAgent.Clear();
|
||||
taskClient.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
|
||||
taskClient.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
|
||||
|
||||
var taskSw = Stopwatch.StartNew();
|
||||
LogManager.AddLog($"[情報] 【{item.Name}】 取得開始");
|
||||
try
|
||||
{
|
||||
await item.Action(taskClient);
|
||||
taskSw.Stop();
|
||||
LogManager.AddLog($"[情報] 【{item.Name}】 完了 ({taskSw.Elapsed.TotalSeconds:0.##}秒)");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【{item.Name}】 実行時エラー: {ex.Message}");
|
||||
}
|
||||
});
|
||||
|
||||
// 非FlareSolverrフィードをすべて同時に実行し、完了を待機
|
||||
await Task.WhenAll(nonFlareTasks);
|
||||
nonFlareSw.Stop();
|
||||
LogManager.AddLog($"[情報] 【Program】 非FlareSolverrフィードの取得がすべて完了しました ({nonFlareSw.Elapsed.TotalSeconds:0.##}秒)");
|
||||
|
||||
// メモリ積極回収
|
||||
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
|
||||
GC.WaitForPendingFinalizers();
|
||||
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
|
||||
|
||||
#if DEBUG
|
||||
#else
|
||||
// =====================================================================
|
||||
// 2. FlareSolverr を利用する RSS 群
|
||||
// (非FlareSolverr完了後に実行。全体セッションを共有し単一Chromiumインスタンスで順次実行)
|
||||
// =====================================================================
|
||||
LogManager.AddLog("[情報] 【Program】 FlareSolverr 利用フィードの取得を開始します");
|
||||
using var flareClient = httpClientFactory.CreateClient("webClient");
|
||||
flareClient.DefaultRequestHeaders.UserAgent.Clear();
|
||||
flareClient.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
|
||||
flareClient.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
|
||||
|
||||
try
|
||||
{
|
||||
await FlareSolverrFeedManager.CreateAllRSSAsync(flareClient);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 【Program】 FlareSolverrタスク全体エラー: {ex.Message}");
|
||||
}
|
||||
finally
|
||||
{
|
||||
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
|
||||
GC.WaitForPendingFinalizers();
|
||||
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
|
||||
}
|
||||
#endif
|
||||
tasks.Add(YouTubeFeedManager.CreateRSSAsync(client));
|
||||
tasks.Add(rss_generator.Class.RSS.X.x_list.CreateRSSAsync(client));
|
||||
tasks.Add(kimochiinfo.CreateRSSAsync(client));
|
||||
tasks.Add(ci_en.CreateRSSAsync(client));
|
||||
tasks.Add(javtwi.CreateRSSAsync(client));
|
||||
tasks.Add(mangalear.CreateRSSAsync(client));
|
||||
tasks.Add(e_hentai_ai.CreateRSSAsync(client));
|
||||
tasks.Add(e_hentai_non_ai.CreateRSSAsync(client));
|
||||
tasks.Add(pixiv_non_r18_non_ai.CreateRSSAsync(client));
|
||||
tasks.Add(pixiv_non_r18_ai.CreateRSSAsync(client));
|
||||
tasks.Add(pixiv_r18_non_ai.CreateRSSAsync(client));
|
||||
tasks.Add(pixiv_r18_ai.CreateRSSAsync(client));
|
||||
|
||||
// FlareSolverr 利用タスク群(単一セッションで順次実行し、完了後に破棄してメモリ最小化)
|
||||
tasks.Add(FlareSolverrFeedManager.CreateAllRSSAsync(client));
|
||||
|
||||
|
||||
await Task.WhenAll(tasks);
|
||||
|
||||
sw.Stop();
|
||||
LogManager.AddLog($"[情報] RSS生成完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
|
||||
sw.Restart();
|
||||
|
||||
// /bin/bash /usr/local/bin/update_rss.sh
|
||||
LogManager.AddLog($"[情報] 【Program】 RSS生成完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
|
||||
#if DEBUG
|
||||
sw.Stop();
|
||||
totalSw.Stop();
|
||||
LogManager.AddLog($"[情報] 全処理完了 トータル実行時間:{totalSw.Elapsed.TotalSeconds:0.##}秒");
|
||||
LogManager.AddLog($"[情報] デバッグ完了");
|
||||
LogManager.AddLog($"[情報] 【Program】 全処理完了 トータル実行時間:{totalSw.Elapsed.TotalSeconds:0.##}秒");
|
||||
LogManager.AddLog($"[情報] 【Program】 デバッグ完了");
|
||||
|
||||
await LogManager.FlushAndCloseAsync();
|
||||
break;
|
||||
#else
|
||||
LogManager.AddLog($"[情報] FreshRSS 更新開始");
|
||||
await CmnUtil.RunCommandAsync("/bin/bash", "/usr/local/bin/update_rss.sh", "");
|
||||
|
||||
sw.Stop();
|
||||
LogManager.AddLog($"[情報] FreshRSS 更新完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
|
||||
|
||||
totalSw.Stop();
|
||||
LogManager.AddLog($"[情報] 全処理完了 トータル実行時間:{totalSw.Elapsed.TotalSeconds:0.##}秒");
|
||||
LogManager.AddLog($"[情報] 【Program】 全処理完了 トータル実行時間:{totalSw.Elapsed.TotalSeconds:0.##}秒");
|
||||
#endif
|
||||
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
// 途中でエラーが起きてもプログラム全体がクラッシュして止まらないように保護
|
||||
LogManager.AddLog($"[エラー] main:{ex.Message}");
|
||||
LogManager.AddLog($"[エラー] 【Program】 main:{ex.Message}");
|
||||
LogManager.AddLog($"{ex.StackTrace}");
|
||||
//await LogManager.FlushAndCloseAsync();
|
||||
}
|
||||
}
|
||||
finally
|
||||
{
|
||||
executionLock.Release();
|
||||
}
|
||||
}
|
||||
@@ -1,4 +1,4 @@
|
||||
<Project Sdk="Microsoft.NET.Sdk">
|
||||
<Project Sdk="Microsoft.NET.Sdk">
|
||||
|
||||
<PropertyGroup>
|
||||
<OutputType>Exe</OutputType>
|
||||
@@ -6,6 +6,11 @@
|
||||
<RootNamespace>rss_generator</RootNamespace>
|
||||
<ImplicitUsings>enable</ImplicitUsings>
|
||||
<Nullable>enable</Nullable>
|
||||
<!-- サーバーGCを無効化し、省メモリなワークステーションGCを使用 -->
|
||||
<ServerGarbageCollection>false</ServerGarbageCollection>
|
||||
<ConcurrentGarbageCollection>true</ConcurrentGarbageCollection>
|
||||
<!-- 使用済み仮想メモリをOSに速やかに返却 -->
|
||||
<RetainVMGarbageCollection>false</RetainVMGarbageCollection>
|
||||
</PropertyGroup>
|
||||
|
||||
<ItemGroup>
|
||||
@@ -20,15 +25,19 @@
|
||||
<PackageReference Include="System.ServiceModel.Syndication" Version="10.0.11" />
|
||||
</ItemGroup>
|
||||
|
||||
<ItemGroup>
|
||||
<Folder Include="Class\RSS\Pixiv\" />
|
||||
</ItemGroup>
|
||||
|
||||
|
||||
<!-- 発行後にローカルPCのDocker Desktopへ自動デプロイ -->
|
||||
<Target Name="PostPublishDeploy" AfterTargets="Publish">
|
||||
<Message Text="=== [VPS Deploy] Starting Deploy via MSBuild ===" Importance="high" />
|
||||
<Exec Command="ssh -p 22321 armonica@162.43.79.113 "mkdir -p /home/armonica/docker/rss-generator/app"" />
|
||||
<Exec Command="scp -P 22321 -r "$(ProjectDir)bin\publish\*" armonica@162.43.79.113:/home/armonica/docker/rss-generator/app/" />
|
||||
<Exec Command="ssh -p 22321 armonica@162.43.79.113 "cd /home/armonica/docker/rss-generator && docker compose up -d --build rss-generator"" />
|
||||
<Message Text="=== [VPS Deploy] All processes completed successfully! ===" Importance="high" />
|
||||
<Message Text="=== [Local Docker Deploy] Starting Deploy via MSBuild ===" Importance="high" />
|
||||
<!-- 配置先ディレクトリ C:\docker\rss-generator\app の存在確認と作成 -->
|
||||
<Exec Command="powershell -Command "if (!(Test-Path 'C:\docker\rss-generator\app')) { New-Item -ItemType Directory -Force -Path 'C:\docker\rss-generator\app' }"" />
|
||||
<!-- 発行済みファイルを C:\docker\rss-generator\app に同期(Visual Studio発行プロファイル・CLI共通対応) -->
|
||||
<Exec Command="robocopy "$(PublishDir)." "C:\docker\rss-generator\app" /MIR /NP /NFL /NDL" IgnoreExitCode="true" />
|
||||
<!-- Dockerfile と compose.yaml を最新同期 -->
|
||||
<Exec Command="powershell -Command "Copy-Item -Path '$(SolutionDir)Dockerfile', '$(SolutionDir)compose.yaml' -Destination 'C:\docker\rss-generator\' -Force"" />
|
||||
<!-- ローカルDocker Desktopでコンテナをビルド・起動(常駐) -->
|
||||
<Exec Command="docker compose -f C:\docker\rss-generator\compose.yaml up -d --build" />
|
||||
<Message Text="=== [Local Docker Deploy] All processes completed successfully! ===" Importance="high" />
|
||||
</Target>
|
||||
</Project>
|
||||
Reference in new issue
Block a user