Compare commits

...
40 Commits
Author SHA1 Message Date
armonica 39eb1fef31 更新: GUIDのSHA512ハッシュ化統一、日本時間(JST)パース修正、およびAGENTS.mdへの共通フィード出力規則の明文化 2026-11-11 17:49:40 +09:00
armonica d2f3bb4a6e 新規追加: jpfiles.net向けRSSフィード生成機能(ダイレクトダウンロード直リンクボタン化・フォルダ名整形・ドメイン分離) 2026-11-11 17:38:28 +09:00
armonica 80ba9afcc1 新規追加: japaneseavi.blogspot.com向けRSSフィード生成機能(タイトル整形・直下ダウンロードグリッド・ドメイン分離) 2026-11-11 17:22:40 +09:00
armonica 32786ca023 更新: kimochi.infoの外部ストレージ直リンク解決・整形およびryuugamesのグリッドレイアウト整形 2026-11-11 15:52:48 +09:00
armonica 0e82c7a2b7 更新: Ryuugamesの外部ストレージ直接URL(Mediafire等)自動解決およびaタグ直リンク化 2026-11-11 15:19:21 +09:00
armonica 2eb067ff8f 更新: ダウンロードリンクの通常aタグ化および日本語・英語タイトル直下への配置移動 2026-11-11 14:43:25 +09:00
armonica 62738928fd 更新: 個別フィードの言語タグ除外、製品ID(RJ等)除外とバージョン保持、本文直下へのフォルダ名用タイトル配置 2026-11-11 13:50:32 +09:00
armonica 20ff5b2eac 更新: タイトルのWindows禁止文字全角置換および本文先頭への日本語タイトル配置 2026-11-11 13:34:10 +09:00
armonica 6be0d060bf 更新: Ryuugamesのタイトルを日本語タイトル優先・サークル名付きに変更し英語タイトルを本文先頭に配置 2026-11-11 13:29:25 +09:00
armonica 86f6e6cf16 機能改善: RSS本文への作品解説およびダウンロードセクション(直リンク・アップローダー・パスワード)の追加
- 記事詳細ページ内の作品解説(DESCRIPTION)の全段落を整形して本文へ出力
- LINK DOWNLOADセクション(容量、RyuuCloud直リンク、無料サーバーMediafire/Mega/PixelDrain等のPOSTボタン、解凍パスワード)を本文HTMLへ追加
- 新フォーマット(ryuu-dl-section)に基づきキャッシュの自動アップグレードに対応
2026-11-11 13:20:35 +09:00
armonica 95e16189cc 機能改善: 日本語カテゴリの複数ページ巡回による日本語版フィード件数の拡充
- 日本語 (RAW) カテゴリページを純粋な日本語版候補が十分集まるまで2ページ目以降(最大10ページ)巡回するよう改良
- ryuugames_jp.xml の出力件数を最低10件以上(実績20件)へ拡充
- スラグ(eng-/mtl-)に基づく事前判定による効率的な巡回制御
2026-11-11 13:13:52 +09:00
armonica 9b5953fbca 規則制定・修正: ドメイン毎の出力先フォルダ分離規則の制定およびRyuugamesの対応
- プロジェクト固有規則ファイル AGENTS.md を作成し、ドメイン毎のサブフォルダ作成・出力規則を明文化
- ryuugames.cs の出力先およびキャッシュ読込先を ryuugames.com サブディレクトリに変更
- C:\feeds\ryuugames.com\ 配下への正常出力を確認
2026-11-11 13:07:10 +09:00
armonica e4aa86589c 機能追加: RyuugamesのRSS自動生成および言語判別機能の実装
- Ryuugames (ryuugames.com) から新着情報を収集し、日本語版と海外向け翻訳版を自動判別
- ryuugames.xml (全件), ryuugames_jp.xml (日本語限定), ryuugames_trans.xml (翻訳限定) の3フィードを出力
- タイトルへの言語タグ付与およびリッチな本文HTML整形(カバー画像、INFO表、あらすじ、スクリーンショット)
- 既存XML読み込みキャッシュによる未読維持
- Program.cs の非FlareSolverrフィード一覧への登録
2026-11-11 12:02:56 +09:00
armonica 4800d98223 fix(hitomi-npb): hitomi.laおよびスポーツナビの既存XMLキャッシュ引き継ぎによる未読化防止対応 2026-11-06 22:44:48 +09:00
armonica 0fe359cf17 fix(eroterest): 本文からのクリック数・相対表記除外と既存エントリ優先マージによる未読化防止対応 2026-11-06 22:44:37 +09:00
armonica 4302fee3fe fix(youtube): 既存フィードキャッシュ引き継ぎによる再生回数変動に伴うFreshRSS未読化防止対応 2026-11-06 22:44:25 +09:00
armonica 70b5bfa088 fix(video-feeds): MissAV/123AV/SpankBangのFreshRSS未読化防止対応(キャッシュ引き継ぎと動的情報除去) 2026-11-06 22:44:12 +09:00
armonica 2a9e4c4218 fix(kimochiinfo): FreshRSSでの更新未読化防止対応(キャッシュ引き継ぎと広告除去) 2026-11-06 22:44:00 +09:00
armonica 3b856f6cbf feat(skebetter): 本文フッターにポスト自体のリンクを追記 2026-11-06 22:43:49 +09:00
armonica f2b2edc247 fix(x): RSSの著者(dc:creator)取得と本文リンク表示に対応 2026-11-06 22:43:32 +09:00
armonica c788acaeca feat(momonga): フィード著者にアーティスト(作者)およびサークルの値を追加しFreshRSSでの個別検索に対応
- momonga_fanzine.cs, momonga_magazine.cs において本文メタデータから「サークル」「作者」を抽出し、著者の箇所(Authors)にそれぞれ追加
- 複数作者や複数サークルがある場合はカンマ区切りで個別登録し、重複を排除
- FreshRSS上でサークル名・アーティスト名のそれぞれで絞り込み検索が可能になるよう改善
- リファクタリングおよびログ出力プレフィックスの統一
2026-10-28 11:32:45 +09:00
armonica a5d796e099 fix(ci-en): メンテナンス画面リダイレクト時の安全ハンドリングとエラー解消 2026-10-22 10:48:42 +09:00
armonica f0e6a1f1e8 feat(anige-sokuhou): アニゲー速報VIPのRSS取得とURLに基づく一意GUID生成による重複防止対応 2026-10-22 10:48:28 +09:00
armonica 61239f067f 修正(ci-en): Nuxt 3移行に伴う新着記事API直接取得への改修 2026-10-21 01:12:02 +09:00
armonica 522b53467b feat(pixiv): 自前CaddyリバースプロキシによるPixiv画像のオンデマンド高速配信に対応
- FreshRSSでのBase64画像サニタイズによる本文非表示バグを解消するためBase64埋め込みを停止
- 外部プロキシ(i.pixiv.re)の遅延(約9秒)およびローカルファイル蓄積を回避するため自前のCaddyオンデマンドプロキシ(feeds.armonica-vps.work/pximg)を採用
- ローカルストレージを一切消費せず、Pixiv公式CDNからの直接中継により数十ミリ秒の高速表示と過去記事の永続表示を実現
2026-10-20 17:48:31 +09:00
armonica 2512df13f7 feat(gallery): WebImageViewerの統一URL形式(?url=)に合わせてコミック・ギャラリー系RSSリンクを更新 2026-10-01 10:27:53 +09:00
armonica 7161129bf5 feat(video): WebImageViewerの統一URL形式(?url=)に合わせて動画系RSSリンクを更新 2026-10-01 10:27:49 +09:00
armonica 200ae9334f fix(docker): 不要なapt-get処理を削除しコンテナビルドを修正 2026-10-01 10:27:45 +09:00
armonica aa76a3d868 refactor: 定期実行間隔を30分から5分に短縮・設定監視を統合・ログ改善
- Program.cs:
  - 待機時間を 30 分から 5 分に変更
  - ExternalConfigWatcher の初期化・ハンドラ登録・Start() を追加
  - executionLock(SemaphoreSlim)による定期実行と設定変更トリガーの排他制御
  - DEBUG ビルド時のテスト対象フィードを YouTube に変更
  - finally ブロックで executionLock を確実にリリース

- LogManager.cs:
  - コンソール出力時に TrimEnd の代わりに text 変数を直接使用するよう修正
2026-10-01 09:36:14 +09:00
armonica 7243b64cdc feat: 外部設定ファイルによる YouTube チャンネル設定の動的管理に対応
- ExternalFeedConfigManager.cs: 新規追加
  - C:\feeds\src\ 配下の JSON ファイルから設定を読み込む共通マネージャー
  - ファイル不存在時はデフォルト値で自動生成

- ExternalConfigWatcher.cs: 新規追加
  - FileSystemWatcher による設定ファイルの変更監視
  - 変更検知時に登録ハンドラを呼び出しRSS即時再生成をトリガー
  - 定期実行との排他制御(SemaphoreSlim)に対応

- YouTubeConfig.cs: 外部ファイル読み込み対応にリファクタ
  - Channels を静的リストから LoadAsync() で動的ロードする方式に変更
  - DefaultChannels として既存のハードコード一覧を保持

- YouTubeModels.cs: YouTubeChannelTarget を ExternalFeedTarget 継承に変更
  - IdOrHandle を Url プロパティのエイリアスとして再定義
  - 旧 JSON フォーマット(idOrHandle キー)との後方互換性を維持

- YouTubeFeedManager.cs: 実行前に YouTubeConfig.LoadAsync() を呼び出すよう変更
2026-10-01 09:36:03 +09:00
armonica 5157a175c1 feat(youtube): ゲームカテゴリに クロカツゲーム(白猫)ch (@kurokatsu_wcat) を追加 2026-09-14 04:17:11 +09:00
armonica 6b9cd3b372 feat(youtube): ゲームカテゴリに Ao Game Channel (@AoKurage-965) を追加 2026-09-14 03:54:40 +09:00
armonica 63fd421550 feat: EroterestCrawlerの探索10階層化・403時FlareSolverr対応、skebetterの常時FlareSolverr化、タグ別RSS生成およびキーワードcategory追加 2026-09-10 18:23:25 +09:00
armonica ca164a4ef2 feat: VJAV/FC2/LAXD/XVIDEOS等の登録動画サイトの埋め込みplayパラメータ生成を最優先化 2026-09-09 19:27:30 +09:00
armonica ebeff9a65f feat: galgaldogaの動画の再生はこちらからリンク抽出およびInPorn/BDSMxリゾルバー追加 2026-09-09 19:10:31 +09:00
armonica badf29f569 feat: Senzuri/TXXX/HClips/Upornia/YouJizzの公式インラインembed埋め込みパラメータの付与 2026-09-09 18:37:53 +09:00
armonica 1e3cac0452 fix: クローラーのページカウント・探索打ち切り不具合の修正、WebPサムネイル正規化、Senzuri等の動画直リンク即時解決 2026-09-09 18:24:53 +09:00
armonica 838ff22c5e feat: movie.eroterest.netの多階層動画探索エンジンおよびサイト別フォルダ・クラス構成の実装 2026-09-09 17:46:15 +09:00
armonica 0e095c8fa3 feat: movie.eroterest.net の記事公開日および元動画公開日の取得とRSSへの反映 2026-09-09 17:13:25 +09:00
armonica 740c57624c feat: movie.eroterest.net の RSS 自動生成および動画リンク探索機能を追加 2026-09-09 17:00:23 +09:00
61 changed files with 8456 additions and 1029 deletions

No files matched your search

+3 -1
View File
@@ -1,7 +1,9 @@
################################################################################
################################################################################
# この .gitignore ファイルは Microsoft(R) Visual Studio によって自動的に作成されました。
################################################################################
/.vs
/rss-generator/bin
/rss-generator/obj
/app
/publish
+145
View File
@@ -0,0 +1,145 @@
# プロジェクト固有規則(rss-generator)
本プロジェクト(`rss-generator`)におけるコード記述およびフィード生成処理では、以下のプロジェクト固有規則を厳格に遵守してください。
---
## 1. ドメイン毎の出力先フォルダ分離規則(必須)
RSSフィード(XMLファイル)を出力する際は、`output` ディレクトリ直下に直接配置せず、**必ず対象サイトのドメイン名等に応じたサブディレクトリを作成し、その中にXMLファイルを出力してください**。
### 1.1 命名規則および具体例
- 対象サイトのドメイン名(FQDN)またはサービス識別子をサブディレクトリ名として使用します。
- `ryuugames.com` → `output/ryuugames.com/ryuugames.xml`
- `kimochi.info` → `output/kimochi.info/kimochiinfo.xml`
- `japaneseavi.blogspot.com` → `output/japaneseavi.blogspot.com/japaneseavi.xml`
- `jpfiles.net` → `output/jpfiles.net/jpfiles.xml`
- `pixiv.net` → `output/pixiv.net/...`
- `x.com` → `output/x.com/...`
- `e-hentai.org` → `output/e-hentai.org/...`
- `momon-ga.com` → `output/momon-ga.com/...`
- `skebetter.com` → `output/skebetter.com/...`
- `danbooru` → `output/danbooru/...`
- `youtube` → `output/youtube/...`
### 1.2 実装方法(C#)
- フィード出力メソッド `CmnUtil.ExportXMLFileAsync` を呼び出す際は、必ず `addDir` 引数に対象ドメインサブディレクトリ名を指定してください。
```csharp
// 例: ryuugames.com の場合
private const string DomainDir = "ryuugames.com";
await CmnUtil.ExportXMLFileAsync(
fileName,
feed,
client,
addDir: DomainDir,
embedBase64: false,
filter24Hours: false);
```
- 既存XMLファイルを読み込むキャッシュ処理(`LoadExistingEntries` 等)を実装する場合も、`CmnUtil.GetExportXmlPath(fileName, addDir)` を使用して該当ドメインサブフォルダ内のXMLファイルを探索・読み込んでください。
---
## 2. GUID(一意識別子)の標準ハッシュ化規則(必須)
各記事エントリの一意識別子(RSS 2.0 の `<guid isPermaLink="false">`、`SyndicationItem.Id`)には、生のURL文字列をそのまま設定せず、**必ず `CmnUtil.CreateGuid(articleUrl)` で生成した SHA512 ハッシュ文字列(小文字16進数)を設定してください**。
### 2.1 実装方法
```csharp
var guid = CmnUtil.CreateGuid(articleUrl);
var item = new SyndicationItem(
cleanTitle,
summaryHtml,
new Uri(articleUrl),
guid, // 生URLではなく CmnUtil.CreateGuid によるハッシュ値を指定
publishDate)
{
PublishDate = publishDate,
LastUpdatedTime = lastUpdatedTime
};
```
- キャッシュ再利用時および既存フィードマージ時も、必ず `CmnUtil.CreateGuid(url)` によるハッシュIDを付与してください。
---
## 3. 日付・時刻(pubDate / LastUpdatedTime)の日本時間(JST)統一規則(必須)
RSSフィード内の `<pubDate>` は、**必ず正確な日本時間(JST = UTC+9)として解釈・出力してください**。UTC時刻のまま `+0900` が付与されて時間がズレる(例: UTC 02:22 に `+0900` が付いて深夜2時になってしまう現象)ことを厳重に防止してください。
### 3.1 取得元形式別の変換実装
- **サイト現地日時(JST表記、タイムゾーンなし文字列)の場合**:
`DateTime.TryParse` 後、オフセット `TimeSpan.FromHours(9)` を明示して `DateTimeOffset` を構築します。
```csharp
if (DateTime.TryParse(dateStr, out var parsedLocal))
{
pubDate = new DateTimeOffset(parsedLocal, TimeSpan.FromHours(9));
}
```
- **UTC日時(`date_gmt` や `Z` 付き文字列)の場合**:
`DateTimeKind.Utc` を明示し、`ToOffset(TimeSpan.FromHours(9))` で日本時間に変換します。
```csharp
if (DateTime.TryParse(dateGmtStr, out var parsedGmt))
{
var utc = DateTime.SpecifyKind(parsedGmt, DateTimeKind.Utc);
pubDate = new DateTimeOffset(utc).ToOffset(TimeSpan.FromHours(9));
}
```
- **HTMLメタタグ(`meta property="article:published_time"` 等)の場合**:
`CmnUtil.GetPublishedTimeAsJst(doc)` または `CmnUtil.GetModifiedTimeAsJst(doc)` を使用してください。
### 3.2 本文内の日本時間表示
本文(SummaryHtml)ヘッダー部分にも、リーダー画面で直感的に確認できるよう日本時間を明記してください:
```html
<span style="font-size: 11px; color: #6c757d; font-weight: bold;">📅 2026/11/11 11:22:27 (JST)</span>
```
---
## 4. タイトル整形および Windows フォルダ名用タイトルの提供規則(必須)
ユーザーが記事タイトルをそのままWindowsの保存用フォルダ名として利用できるよう、以下の整形処理とワンクリックコピー枠を必ず提供してください。
### 4.1 タイトル整形仕様
1. **Windows 禁止文字の全角置換**:
`\ / : * ? " < > |` は必ず全角文字 `¥ / : * ? ” < > |` に置換してください。
2. **タイトル構成フォーマット**:
原則として `[サークル名・発売元・カテゴリ・品番] タイトル (バージョン情報)` の形式に整形してください。
### 4.2 本文最上部へのワンクリックコピー枠の配置
本文(SummaryHtml)の先頭に、クリックするだけで文字列全体が選択(`onclick="this.select();"`)される入力欄を必ず配置してください:
```html
<div style="margin-bottom: 16px; background-color: #f8f9fa; border: 1px solid #ced4da; border-radius: 6px; padding: 10px;">
<div style="font-size: 11px; color: #6c757d; font-weight: bold; margin-bottom: 4px;">📁 フォルダ名用タイトル(クリックで全選択)</div>
<input type="text" readonly value="{WebUtility.HtmlEncode(cleanTitle)}" onclick="this.select();" style="width: 100%; padding: 6px 10px; font-size: 13px; font-family: Consolas, monospace; background-color: #ffffff; border: 1px solid #adb5bd; border-radius: 4px; box-sizing: border-box; cursor: pointer; color: #212529;" />
</div>
```
---
## 5. ダウンロードリンクの直リンク化および直下グリッド配置規則(必須)
### 5.1 直リンク化の徹底
- 外部ストレージ・アップローダーへのリンクは、中継短縮URL(adfly等)や不要なサイト内中継ページを可能な限りバイパス・自動解決し、**目的のストレージ(Mediafire, Mega, Rapidgator, Katfile, Nitroflare, Frdl 等)のダウンロードページURLを直接出力してください**。
- ボタンではなく、RSSリーダー上で確実にクリック遷移可能な標準の `<a href="...">` タグで出力してください。
### 5.2 タイトル直下へのグリッドレイアウト配置
- ダウンロードリンクは本文の奥深くに埋もれさせず、**タイトル・フォルダ名コピー枠のすぐ直下に配置してください**。
- 1行に押し込めず、押しやすいボタングリッド(`display: flex; flex-wrap: wrap; gap: 8px;`)として並べてください。
- プロバイダー別にブランドカラーを設定してください(例: Rapidgator=青 `#1976d2`, Katfile=オレンジ `#f57c00`, Nitroflare=赤 `#d32f2f`, Frdl=緑 `#388e3c`, Mediafire=紺 `#00539b`)。
- 分割ファイルの場合は、ファイルパート番号(`Part 1`, `Part 2` 等)を自動判定してボタンに表記してください。
---
## 6. カバー画像表示規則(必須)
- 記事内のカバー画像・サムネイル(Pixhost, TurboImageHost, ブログ内画像等)は、本文中央にセンタリング配置してください。
- サムネイル画像をクリックした際、高解像度の元画像ページ(例: Pixhost の `show` ページ等)を別タブで開けるようにアンカータグ(`<a href="元画像URL" target="_blank"><img src="サムネイルURL" /></a>`)でラップしてください。
---
## 7. 既存XMLキャッシュとの連携および差分マージ規則(必須)
- 各フィード処理では、起動時に該当ドメインサブディレクトリ内の既存 XML を読み込む `LoadExistingEntries` を実装してください。
- 最新フォーマット識別タグ(例: `domain-format-vX`)を持つ記事は解析処理をスキップして高速に再利用してください。
- サイト側の最新一覧から押し出された過去記事も、重複排除(URLおよびGUIDによるチェック)を行った上でマージし、フィード全体として最大件数(50〜100件程度)を安定して保持してください。
+1 -8
View File
@@ -2,14 +2,7 @@
FROM mcr.microsoft.com/dotnet/runtime:10.0 AS runtime
WORKDIR /app
# タイムゾーン設定 (JST) および必要なツールのインストール
RUN apt-get update && apt-get install -y --no-install-recommends \
tzdata \
ca-certificates \
curl \
&& rm -rf /var/lib/apt/lists/*
# 日本時間に設定
# 日本時間に設定 (ベースイメージに tzdata は組み込み済み)
ENV TZ=Asia/Tokyo
# 発行済みバイナリをコンテナ内へ配置
@@ -0,0 +1,248 @@
using AngleSharp.Html.Parser;
using rss_generator.Class.Common;
using System.ServiceModel.Syndication;
using System.Text;
using System.Xml.Linq;
namespace rss_generator.Class.AnigeSokuhou;
/// <summary>
/// アニゲー速報VIP (http://www.anige-sokuhouvip.com/) のフィードを取得・再構成し、
/// 記事URLに基づいた一意なGUIDを割り当てたRSSフィードを生成するクラスです。
/// FreshRSS等での同一記事の重複登録を防止します。
/// </summary>
internal static class anige_sokuhouvip
{
#region "□定数(Private)"
/// <summary>
/// 元となるアニゲー速報VIPのRSS 1.0 (RDF) フィードURL
/// </summary>
private const string FeedUrl = "http://www.anige-sokuhouvip.com/?xml";
/// <summary>
/// アニゲー速報VIPのトップページURL
/// </summary>
private const string SiteUrl = "http://www.anige-sokuhouvip.com/";
/// <summary>
/// フィードタイトル
/// </summary>
private const string FeedTitle = "アニゲー速報";
/// <summary>
/// フィード説明文
/// </summary>
private const string FeedDescription = "アニゲー速報のRSSフィード";
/// <summary>
/// 出力先XMLファイル名
/// </summary>
private const string OutputFileName = "anige_sokuhouvip.xml";
#endregion
#region "□メソッド(Public)"
/// <summary>
/// アニゲー速報VIPのフィードを取得し、URLから一意のGUIDを設定したRSS 2.0フィードを非同期で生成・出力します。
/// </summary>
/// <param name="client">HTTPリクエストに使用するHttpClient</param>
/// <returns>非同期タスク</returns>
public static async Task CreateRSSAsync(HttpClient client)
{
try
{
// 1. 元フィード (RSS 1.0 / RDF) の取得
using var response = await client.GetAsync(FeedUrl);
response.EnsureSuccessStatusCode();
using var stream = await response.Content.ReadAsStreamAsync();
var xdoc = await XDocument.LoadAsync(stream, LoadOptions.None, CancellationToken.None);
var root = xdoc.Root;
if (root == null)
{
LogManager.AddLog("[警告] 【anige_sokuhouvip】 XMLルート要素が存在しません。");
return;
}
// 名前空間の定義
XNamespace rss = "http://purl.org/rss/1.0/";
XNamespace rdf = "http://www.w3.org/1999/02/22-rdf-syntax-ns#";
XNamespace dc = "http://purl.org/dc/elements/1.1/";
XNamespace content = "http://purl.org/rss/1.0/modules/content/";
// <item> 要素の一覧取得(名前空間付き、またはフォールバック)
var itemElements = root.Elements(rss + "item");
if (!itemElements.Any())
{
itemElements = root.Descendants().Where(e => e.Name.LocalName == "item");
}
var items = new List<SyndicationItem>();
var seenUrls = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
foreach (var itemElem in itemElements)
{
var link = itemElem.Element(rss + "link")?.Value?.Trim()
?? itemElem.Attribute(rdf + "about")?.Value?.Trim()
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "link")?.Value?.Trim()
?? string.Empty;
if (string.IsNullOrWhiteSpace(link))
{
continue;
}
// 同一フィード内のURL重複を除外
if (!seenUrls.Add(link))
{
continue;
}
var title = itemElem.Element(rss + "title")?.Value?.Trim()
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "title")?.Value?.Trim()
?? "タイトルなし";
// 公開日時の解析(ISO 8601形式: 例 2026-10-22T09:45:33+09:00)
var dateStr = itemElem.Element(dc + "date")?.Value?.Trim()
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "date")?.Value?.Trim();
var itemDate = DateTimeOffset.Now;
if (!string.IsNullOrWhiteSpace(dateStr) && DateTimeOffset.TryParse(dateStr, out var parsedDate))
{
itemDate = parsedDate;
}
// 記事本文・HTMLの取得(content:encoded 優先、無ければ description)
var rawBodyHtml = itemElem.Element(content + "encoded")?.Value
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "encoded")?.Value
?? itemElem.Element(rss + "description")?.Value
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "description")?.Value
?? string.Empty;
var formattedBody = FormatHtmlBody(rawBodyHtml, link, title);
// URLから一意のGUIDを生成(他フィードと同様にSHA512ハッシュによる一意識別子)
var guid = CmnUtil.CreateGuid(link);
var itemUri = new Uri(link);
var syndicationItem = new SyndicationItem(
title,
string.Empty,
itemUri,
guid,
itemDate
)
{
PublishDate = itemDate,
LastUpdatedTime = itemDate,
Summary = new TextSyndicationContent(formattedBody, TextSyndicationContentKind.Html)
};
// カテゴリ(dc:subject)
var subject = itemElem.Element(dc + "subject")?.Value?.Trim()
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "subject")?.Value?.Trim();
if (!string.IsNullOrWhiteSpace(subject))
{
syndicationItem.Categories.Add(new SyndicationCategory(subject));
}
// 作成者(dc:creator)
var creator = itemElem.Element(dc + "creator")?.Value?.Trim()
?? itemElem.Elements().FirstOrDefault(e => e.Name.LocalName == "creator")?.Value?.Trim();
if (!string.IsNullOrWhiteSpace(creator))
{
syndicationItem.Authors.Add(new SyndicationPerson { Name = creator });
}
items.Add(syndicationItem);
}
var feed = new SyndicationFeed(FeedTitle, FeedDescription, new Uri(SiteUrl))
{
Items = items,
Language = "ja-JP",
LastUpdatedTime = DateTimeOffset.Now
};
// RSS 2.0 形式で出力(filter24Hours: false で全件維持、embedBase64: false で画像リンク維持)
await CmnUtil.ExportXMLFileAsync(OutputFileName, feed, client, embedBase64: false, filter24Hours: false);
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 【anige_sokuhouvip】 フィード生成失敗: {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
#endregion
#region "□メソッド(Private)"
/// <summary>
/// 記事HTMLのリンク属性や画像属性を調整し、整形したHTML文字列を生成します。
/// </summary>
/// <param name="rawHtml">元のHTML文字列</param>
/// <param name="articleUrl">記事のURL</param>
/// <param name="articleTitle">記事のタイトル</param>
/// <returns>整形後のHTML文字列</returns>
private static string FormatHtmlBody(string rawHtml, string articleUrl, string articleTitle)
{
var sb = new StringBuilder();
sb.Append($@"<div><a href=""{articleUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{articleTitle}</a></div>");
if (string.IsNullOrWhiteSpace(rawHtml))
{
return sb.ToString();
}
try
{
var parser = new HtmlParser();
var document = parser.ParseDocument($"<div id=\"content-root\">{rawHtml}</div>");
var rootDiv = document.QuerySelector("#content-root");
if (rootDiv != null)
{
// 不要なスクリプトタグの除去
var scriptTags = rootDiv.QuerySelectorAll("script").ToList();
foreach (var script in scriptTags)
{
script.Remove();
}
// リンクタグの属性調整
foreach (var a in rootDiv.QuerySelectorAll("a"))
{
a.SetAttribute("target", "_blank");
a.SetAttribute("rel", "noopener noreferrer");
a.SetAttribute("referrerpolicy", "no-referrer");
}
// 画像タグの属性調整
foreach (var img in rootDiv.QuerySelectorAll("img"))
{
img.SetAttribute("referrerpolicy", "no-referrer");
var currentStyle = img.GetAttribute("style") ?? string.Empty;
if (!currentStyle.Contains("max-width", StringComparison.OrdinalIgnoreCase))
{
img.SetAttribute("style", $"{currentStyle}; max-width: 100%; height: auto;".Trim(';', ' '));
}
}
sb.Append(rootDiv.InnerHtml);
return sb.ToString();
}
}
catch
{
// パース失敗時は元のHTMLをフォールバックとして追記
}
sb.Append(rawHtml);
return sb.ToString();
}
#endregion
}
+13 -30
View File
@@ -1,4 +1,4 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using System;
using System.Collections.Generic;
@@ -46,33 +46,18 @@ internal class aurahentai
// 既存の aurahentai.xml から過去に出力した各記事の内容(タイトル・本文・日時)を読み込む
var existingEntries = LoadExistingEntries("aurahentai.xml");
// 外部からセッションが渡されなかった場合は自前で作成
bool ownSession = sessionId == null;
if (ownSession)
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
for (int pageId = 1; pageId <= 5; pageId++)
{
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
}
try
{
for (int pageId = 1; pageId <= 5; pageId++)
var pageURL = $"{baseURL}?page={pageId}";
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
if (document == null)
{
var pageURL = $"{baseURL}?page={pageId}";
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
if (document == null)
{
continue;
}
continue;
}
var newItems = await CreateFeedItemsFromListPageAsync(client, sessionId, document, pageId, existingEntries);
items.AddRange(newItems);
}
}
finally
{
if (ownSession && sessionId != null)
{
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
}
var newItems = await CreateFeedItemsFromListPageAsync(client, sessionId, document, pageId, existingEntries);
items.AddRange(newItems);
}
// ID 重複排除
@@ -197,12 +182,10 @@ internal class aurahentai
// 5. 本文 HTML の生成
var body = new StringBuilder();
// ギャラリー表示リンク
var match = Regex.Match(linkHref, @"/gallery/([^/]+)", RegexOptions.IgnoreCase);
if (match.Success)
if (!string.IsNullOrEmpty(linkHref))
{
string galleryId = match.Groups[1].Value;
string galleryUrl = $"https://udukipc-web.armonica-vps.work/aurahentai/{galleryId}/";
// WebImageViewer統一リンク (https://udukipc-web.armonica-vps.work/?url=[ページURL])
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(linkHref)}";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
+121 -54
View File
@@ -1,81 +1,134 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using AngleSharp.Html.Parser;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Net;
using System.Net.Http;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.Json;
using System.Threading.Tasks;
using rss_generator.Class.Common;
using static rss_generator.Class.Common.LogManager;
namespace rss_generator.Class.CiEn;
/// <summary>
/// Ci-en(シエン)のマイページ新着記事からRSSフィードを生成するクラスです。
/// </summary>
internal class ci_en
{
#region □定数(Private)
/// <summary>
/// Ci-en マイページ新着記事一覧取得用APIエンドポイント
/// </summary>
private const string RecentApiUrl = "https://ci-en.dlsite.com/api/mypage/recent";
/// <summary>
/// Ci-en マイページURL(リファラーおよびフィードURL用)
/// </summary>
private const string MypageRecentUrl = "https://ci-en.dlsite.com/mypage/recent";
/// <summary>
/// Ci-en ログイン認証用Cookie文字列
/// </summary>
private const string CookieString = @"dlloginjp=1; _vwo_uuid_v2=DE0A491AF4C7D82F5A0E36EE05FB9DCC4|1c75fec8568c82f554ce0bf05b184323; _fbp=fb.1.1744889132407.755153059380374410; _gaid=368068859.1744048157; _tt_enable_cookie=1; _ttp=01JS1QYDMMCWME95G944M64YBH_.tt.1; carted=1; accepted_rating=r18g; _ga_BZK47NSH6M=GS2.1.s1773681391$o1$g1$t1773683085$j60$l0$h0; _ga_5V5XC0P05K=GS2.1.s1773925565$o1$g1$t1773925597$j28$l0$h0; _ga_FT5XDNCSST=GS2.1.s1774009996$o1$g1$t1774010041$j15$l0$h0; recommend_device_id=4242537564.1775488541; locale=ja-jp; _trust360_=%7B%22pid%22%3A%22GZOmvAwr%22%2C%22vid%22%3A%22MNNC1CLRTKMZA453FZJ2AKYY%22%2C%22v%22%3A1%2C%22accepted%22%3A7%2C%22it%22%3A1775488544271%7D; adultchecked=1; _ga_QQPE5BRL8Y=GS2.1.s1776218873$o1$g1$t1776218883$j50$l0$h0; _twpid=tw.1776384373659.787621302594603318; _ga_MYZL3283YG=GS2.1.s1776533403$o5$g1$t1776533425$j38$l0$h0; i18n_redirected=ja-jp; _ga_57HC74EGYW=GS2.1.s1776877012$o3$g0$t1776877014$j58$l0$h0; _ga_FGNPZ32399=GS2.1.s1776963447$o3$g1$t1776963496$j11$l0$h0; _ga_CKDD79YY5K=GS2.1.s1777130134$o2$g1$t1777130163$j31$l0$h0; _ga_SLMZ0ZXNJ1=GS2.1.s1788801244$o2$g1$t1788801256$j48$l0$h0; uhashjp=8a9768d1bc66b3cb5d302ada2c95724cbab9eeeb; iom_jp=SFT000002128873; uid_jp=SFT000002128873; remember_web_59ba36addc2b2f9401580f014c7f58ea4e30989d=2045064%7CtfkLIcqxXZDJ8bpsXA8nOZcofF9qGIiUeo8T8eWSTesxR7BjTKvlzj2JjKFI%7CtfkLIcqxXZDJ8bpsXA8nOZcofF9qGIiUeo8T8eWSTesxR7BjTKvlzj2JjKFI; _ga_9SB79WF4BD=GS2.1.s1779791861$o4$g1$t1779792797$j60$l0$h0; _ga_140=GS2.1.s1779805620$o17$g1$t1779805764$j60$l0$h0; _ga_EZN33JX2LQ=GS2.1.s1780220071$o8$g1$t1780220111$j20$l0$h0; _ga_NSFZEVF70Z=GS2.1.s1780660225$o13$g1$t1780660251$j34$l0$h0; client_id=5296163acabf6608213b4e6f7e9ebd60; _unv_aid=183806e4-d24d-4d1d-958e-0044749aebab; _ga_YJ8NCCZMYD=GS2.1.s1782302356$o5$g1$t1782302393$j23$l0$h0; _ga_H29V5427MF=GS2.1.s1782311562$o7$g0$t1782311570$j52$l0$h0; _vwo_uuid=D0095974371256A8657ECF68E198C5817; _ga_166H7ZBJJ6=GS2.1.s1782579077$o7$g1$t1782579130$j7$l0$h0; _ga_FYQ837TCLF=GS2.1.s1782643016$o3$g1$t1782643097$j47$l0$h0; _ga_ZWB2Z5E0V2=GS2.1.s1782821894$o7$g0$t1782821903$j51$l0$h0; ttcsid_D0DFBO3C77U626LJDL6G=1782837386436::cRvgniZAyWEaSNF3mVpx.43.1782837438327.1; ttcsid_CKRMHGRC77U81CKC8HNG=1782837386443::vABiN78hXjyU_a3pz7XK.43.1782837438334.1; ttcsid_CLVT5NRC77U95UC4O12G=1782837386446::MF_CNvJ_wXnnaUYSTF1e.43.1782837438340.1; ttcsid_CPLBGI3C77U3S3PJLFRG=1782837386450::1QYS6mg4SHJnwBkWzvvm.43.1782837438346.1; ttcsid_CQ3QNNBC77U0CETNEGNG=1782837386454::Zx5dDGKm5RKyQqEMQmtp.43.1782837438353.1; ttcsid_D02V363C77U9GIBTNP9G=1782837386457::OMcsULq6hpuuJ2x1B0r2.43.1782837438359.1; ttcsid=1782837386438::1pxUgLoa6xq6svEKpaD3.203.1782837438357.0::1.36619.41937::0.0.0.0::51807.20.3300; _ga_3Q3ERY250G=GS2.1.s1782837523$o1$g1$t1782837803$j60$l0$h0; _vwo_ds=3%241782551443%3A50.02909166%3A%3A%3A%3A%3A1782902051%3A1782897550%3A18; _vis_opt_s=20%7C; _ga_HEQQ3BGXDL=GS2.1.s1782902045$o7$g1$t1782902059$j46$l0$h0; _ga=GA1.1.368068859.1744048157; _ga_CWG6LEYWHN=GS2.1.s1783181099$o4$g1$t1783181119$j40$l0$h0; vendor_design=normal; session_state=3f33774fce7cb6c51d66cf8c4bef7642173dce3c7e4ef82310b9752b9ad2c6b7.40x3nks7uaww4800o4wkc0wgg; loginchecked=1; __DLsite_SID=htvqf2s9ge8o313nolr7edcrfd; _ga_MB2PT3FWW8=GS2.1.s1783268429$o15$g1$t1783268531$j56$l0$h0; _ga_1CQ9479B3Z=GS2.1.s1783688876$o6$g0$t1783688878$j58$l0$h0; _inflow_params=%7B%22referrer_uri%22%3A%22www.anime-sharing.com%22%7D; _ga_1Z1SYS3CQ4=GS2.1.s1783858175$o12$g0$t1783858180$j55$l0$h0; _ga_6VLJ921530=GS2.1.s1784047289$o19$g1$t1784047430$j57$l0$h0; _ga_SEMVGMN3H2=GS2.1.s1784223465$o5$g1$t1784223531$j58$l0$h0; consent_terms_vivion_id_SFT000002128873=2026-07-19T12:57:22.011Z; consent_privacy_vivion_id_SFT000002128873=2026-07-19T12:57:22.011Z; consent_terms_dlsite_SFT000002128873=2026-07-19T12:57:22.011Z; consent_privacy_dlsite_SFT000002128873=2026-07-19T12:57:22.011Z; DL_PTAFID=twitternukomajin; utm_c=sns_link; _inflow_ad_params=%7B%22product_id%22%3A%22RJ01009083%22%2C%22utm_medium%22%3A%22affiliate%22%2C%22utm_campaign%22%3A%22sns_link%22%2C%22utm_content%22%3A%22RJ01009083%22%2C%22utm_source%22%3A%22t.co%2F%22%7D; _gcl_au=1.1.302635706.1783464784.999250299.1784474157.1784474157.93176051.1784474157.1784474157; DL_PRODUCT_LOG=RJ196116%2CRJ01632273%2CRJ01668630%2CRJ01670035%2CRJ01671421%2CRJ01673489%2CRJ01657229%2CRJ01009083%2CRJ01648715%2CRJ01644999%2CRJ01604830%2CRJ01625582%2CRJ01605765%2CRJ236734%2CRJ071090%2CRJ01623421%2CRJ145373%2CRJ01570227%2CRJ01665800%2CRJ01669480%2CRJ01212879%2CRJ01606779%2CRJ01605618%2CRJ01610188%2CRJ01648963%2CRJ01484365%2CRJ362203%2CRJ01509772%2CRJ01450546%2CRJ01271060%2CRJ01123284%2CRJ01516172%2CRJ01576032%2CRJ01375307%2CRJ01622268%2CRJ01496131%2CRJ01550550%2CRJ01650691%2CRJ01647232%2CRJ01585232%2CRJ01657316%2CRJ01622380%2CRJ01387722%2CRJ01409387%2CRJ01449864%2CRJ01509009%2CRJ212283%2CRJ01638705%2CRJ01653149%2CRJ01633249; last_wishlist_check=0; _inflow_dlsite_params=%7B%22dlsite_referrer_url%22%3A%22https%3A%2F%2Fwww.dlsite.com%2Fmaniax Line truncated
#endregion
#region □メソッド(Public)
/// <summary>
/// Ci-enのマイページ新着記事一覧APIから新着記事を取得し、RSSフィード(XML)を非同期で生成・出力します。
/// </summary>
/// <param name="client">HTTPクライアントインスタンス</param>
/// <returns>非同期タスク</returns>
public static async Task CreateRSSAsync(HttpClient client)
{
var cookie = @"dlloginjp=1; _vwo_uuid_v2=DE0A491AF4C7D82F5A0E36EE05FB9DCC4|1c75fec8568c82f554ce0bf05b184323; _fbp=fb.1.1744889132407.755153059380374410; _gaid=368068859.1744048157; _tt_enable_cookie=1; _ttp=01JS1QYDMMCWME95G944M64YBH_.tt.1; carted=1; accepted_rating=r18g; _ga_BZK47NSH6M=GS2.1.s1773681391$o1$g1$t1773683085$j60$l0$h0; _ga_5V5XC0P05K=GS2.1.s1773925565$o1$g1$t1773925597$j28$l0$h0; _ga_FT5XDNCSST=GS2.1.s1774009996$o1$g1$t1774010041$j15$l0$h0; recommend_device_id=4242537564.1775488541; locale=ja-jp; _trust360_=%7B%22pid%22%3A%22GZOmvAwr%22%2C%22vid%22%3A%22MNNC1CLRTKMZA453FZJ2AKYY%22%2C%22v%22%3A1%2C%22accepted%22%3A7%2C%22it%22%3A1775488544271%7D; adultchecked=1; _ga_QQPE5BRL8Y=GS2.1.s1776218873$o1$g1$t1776218883$j50$l0$h0; _twpid=tw.1776384373659.787621302594603318; _ga_MYZL3283YG=GS2.1.s1776533403$o5$g1$t1776533425$j38$l0$h0; i18n_redirected=ja-jp; _ga_57HC74EGYW=GS2.1.s1776877012$o3$g0$t1776877014$j58$l0$h0; _ga_FGNPZ32399=GS2.1.s1776963447$o3$g1$t1776963496$j11$l0$h0; _ga_CKDD79YY5K=GS2.1.s1777130134$o2$g1$t1777130163$j31$l0$h0; _ga_SLMZ0ZXNJ1=GS2.1.s1778801244$o2$g1$t1778801256$j48$l0$h0; uhashjp=8a9768d1bc66b3cb5d302ada2c95724cbab9eeeb; iom_jp=SFT000002128873; uid_jp=SFT000002128873; remember_web_59ba36addc2b2f9401580f014c7f58ea4e30989d=2045064%7CtfkLIcqxXZDJ8bpsXA8nOZcofF9qGIiUeo8T8eWSTesxR7BjTKvlzj2JjKFI%7CtfkLIcqxXZDJ8bpsXA8nOZcofF9qGIiUeo8T8eWSTesxR7BjTKvlzj2JjKFI; _ga_9SB79WF4BD=GS2.1.s1779791861$o4$g1$t1779792797$j60$l0$h0; _ga_140=GS2.1.s1779805620$o17$g1$t1779805764$j60$l0$h0; _ga_EZN33JX2LQ=GS2.1.s1780220071$o8$g1$t1780220111$j20$l0$h0; _ga_NSFZEVF70Z=GS2.1.s1780660225$o13$g1$t1780660251$j34$l0$h0; client_id=5296163acabf6608213b4e6f7e9ebd60; _unv_aid=183806e4-d24d-4d1d-958e-0044749aebab; _ga_YJ8NCCZMYD=GS2.1.s1782302356$o5$g1$t1782302393$j23$l0$h0; _ga_H29V5427MF=GS2.1.s1782311562$o7$g0$t1782311570$j52$l0$h0; _vwo_uuid=D0095974371256A8657ECF68E198C5817; _ga_166H7ZBJJ6=GS2.1.s1782579077$o7$g1$t1782579130$j7$l0$h0; _ga_FYQ837TCLF=GS2.1.s1782643016$o3$g1$t1782643097$j47$l0$h0; _ga_ZWB2Z5E0V2=GS2.1.s1782821894$o7$g0$t1782821903$j51$l0$h0; ttcsid_D0DFBO3C77U626LJDL6G=1782837386436::cRvgniZAyWEaSNF3mVpx.43.1782837438327.1; ttcsid_CKRMHGRC77U81CKC8HNG=1782837386443::vABiN78hXjyU_a3pz7XK.43.1782837438334.1; ttcsid_CLVT5NRC77U95UC4O12G=1782837386446::MF_CNvJ_wXnnaUYSTF1e.43.1782837438340.1; ttcsid_CPLBGI3C77U3S3PJLFRG=1782837386450::1QYS6mg4SHJnwBkWzvvm.43.1782837438346.1; ttcsid_CQ3QNNBC77U0CETNEGNG=1782837386454::Zx5dDGKm5RKyQqEMQmtp.43.1782837438353.1; ttcsid_D02V363C77U9GIBTNP9G=1782837386457::OMcsULq6hpuuJ2x1B0r2.43.1782837438359.1; ttcsid=1782837386438::1pxUgLoa6xq6svEKpaD3.203.1782837438357.0::1.36619.41937::0.0.0.0::51807.20.3300; _ga_3Q3ERY250G=GS2.1.s1782837523$o1$g1$t1782837803$j60$l0$h0; _vwo_ds=3%241782551443%3A50.02909166%3A%3A%3A%3A%3A1782902051%3A1782897550%3A18; _vis_opt_s=20%7C; _ga_HEQQ3BGXDL=GS2.1.s1782902045$o7$g1$t1782902059$j46$l0$h0; _ga=GA1.1.368068859.1744048157; _ga_CWG6LEYWHN=GS2.1.s1783181099$o4$g1$t1783181119$j40$l0$h0; vendor_design=normal; session_state=3f33774fce7cb6c51d66cf8c4bef7642173dce3c7e4ef82310b9752b9ad2c6b7.40x3nks7uaww4800o4wkc0wgg; loginchecked=1; __DLsite_SID=htvqf2s9ge8o313nolr7edcrfd; _ga_MB2PT3FWW8=GS2.1.s1783268429$o15$g1$t1783268531$j56$l0$h0; _ga_1CQ9479B3Z=GS2.1.s1783688876$o6$g0$t1783688878$j58$l0$h0; _inflow_params=%7B%22referrer_uri%22%3A%22www.anime-sharing.com%22%7D; _ga_1Z1SYS3CQ4=GS2.1.s1783858175$o12$g0$t1783858180$j55$l0$h0; _ga_6VLJ921530=GS2.1.s1784047289$o19$g1$t1784047430$j57$l0$h0; _ga_SEMVGMN3H2=GS2.1.s1784223465$o5$g1$t1784223531$j58$l0$h0; consent_terms_vivion_id_SFT000002128873=2026-07-19T12:57:22.011Z; consent_privacy_vivion_id_SFT000002128873=2026-07-19T12:57:22.011Z; consent_terms_dlsite_SFT000002128873=2026-07-19T12:57:22.011Z; consent_privacy_dlsite_SFT000002128873=2026-07-19T12:57:22.011Z; DL_PTAFID=twitternukomajin; utm_c=sns_link; _inflow_ad_params=%7B%22product_id%22%3A%22RJ01009083%22%2C%22utm_medium%22%3A%22affiliate%22%2C%22utm_campaign%22%3A%22sns_link%22%2C%22utm_content%22%3A%22RJ01009083%22%2C%22utm_source%22%3A%22t.co%2F%22%7D; _gcl_au=1.1.302635706.1783464784.999250299.1784474157.1784474157.93176051.1784474157.1784474157; DL_PRODUCT_LOG=RJ196116%2CRJ01632273%2CRJ01668630%2CRJ01670035%2CRJ01671421%2CRJ01673489%2CRJ01657229%2CRJ01009083%2CRJ01648715%2CRJ01644999%2CRJ01604830%2CRJ01625582%2CRJ01605765%2CRJ236734%2CRJ071090%2CRJ01623421%2CRJ145373%2CRJ01570227%2CRJ01665800%2CRJ01669480%2CRJ01212879%2CRJ01606779%2CRJ01605618%2CRJ01610188%2CRJ01648963%2CRJ01484365%2CRJ362203%2CRJ01509772%2CRJ01450546%2CRJ01271060%2CRJ01123284%2CRJ01516172%2CRJ01576032%2CRJ01375307%2CRJ01622268%2CRJ01496131%2CRJ01550550%2CRJ01650691%2CRJ01647232%2CRJ01585232%2CRJ01657316%2CRJ01622380%2CRJ01387722%2CRJ01409387%2CRJ01449864%2CRJ01509009%2CRJ212283%2CRJ01638705%2CRJ01653149%2CRJ01633249; last_wishlist_check=0; _inflow_dlsite_params=%7B%22dlsite_referrer_url%22%3A%22https%3A%2F%2Fwww.dlsite.com%2Fmaniax%2Fwork%2F%3D%2Fpro Line truncated
var feed = new SyndicationFeed("Ci-en", "", new Uri("https://ci-en.dlsite.com/mypage/recent"));
var feed = new SyndicationFeed("Ci-en", "", new Uri(MypageRecentUrl));
var items = new List<SyndicationItem>();
try
{
var pageURL = $"https://ci-en.dlsite.com/mypage/recent";
var rssUrl = $"{pageURL}";
using var request = new HttpRequestMessage(HttpMethod.Get, RecentApiUrl);
request.Headers.Add("Cookie", CookieString);
request.Headers.Add("Accept", "application/json");
request.Headers.Add("Referer", MypageRecentUrl);
if (client.DefaultRequestHeaders.Contains("Cookie"))
using var response = await client.SendAsync(request);
response.EnsureSuccessStatusCode();
// リダイレクト先URLがメンテナンスページであるか検証
var responseUri = response.RequestMessage?.RequestUri?.ToString() ?? string.Empty;
if (responseUri.Contains("maintenance", StringComparison.OrdinalIgnoreCase))
{
client.DefaultRequestHeaders.Remove("Cookie");
AddLog($"[情報] 【ci_en】 Ci-enは現在システムメンテナンス中です ({responseUri})。メンテナンス完了後に自動再開されます。");
return;
}
var responseString = await response.Content.ReadAsStringAsync();
var trimmedContent = responseString.TrimStart();
// レスポンスがJSONではなくHTML(メンテナンス画面やログイン画面等)の場合の安全ハンドリング
if (trimmedContent.StartsWith('<'))
{
if (trimmedContent.Contains("メンテナンス") || trimmedContent.Contains("maintenance", StringComparison.OrdinalIgnoreCase))
{
AddLog("[情報] 【ci_en】 Ci-enは現在システムメンテナンス中です。サービスの再開後に自動取得されます。");
}
else
{
AddLog("[警告] 【ci_en】 APIからJSONではなくHTMLが返却されました。セッションCookieの有効期限切れ、またはリダイレクトの可能性があります。");
}
return;
}
using var jsonDoc = JsonDocument.Parse(responseString);
if (!jsonDoc.RootElement.TryGetProperty("items", out var itemsElem) ||
!itemsElem.TryGetProperty("data", out var dataElem))
{
AddLog("[警告] 【ci_en】 items.data プロパティが存在しません。");
return;
}
client.DefaultRequestHeaders.Add("Cookie", cookie);
var document = await CmnUtil.GetDocument(client, rssUrl);
var elemArticles = document.QuerySelectorAll(".c-card-article");
var parser = new HtmlParser();
var cutoff = DateTimeOffset.Now.AddHours(-24);
foreach (var elemArticle in elemArticles)
foreach (var elem in dataElem.EnumerateArray())
{
var item = new SyndicationItem();
var href = "";
var href = elem.TryGetProperty("path", out var pathElem) ? pathElem.GetString() ?? "" : "";
var rawTitle = elem.TryGetProperty("title", out var titleElem) ? titleElem.GetString() ?? "" : "";
var creatorName = elem.TryGetProperty("creator", out var creatorElem) &&
creatorElem.TryGetProperty("creator_name", out var cNameElem)
? cNameElem.GetString() ?? ""
: "";
if (!string.IsNullOrEmpty(href))
{
if (elemArticle.QuerySelector("a.c-cardLink") is IHtmlAnchorElement element)
{
item.Links.Add(new SyndicationLink(new Uri(element.Href)));
href = element.Href;
}
item.Links.Add(new SyndicationLink(new Uri(href)));
}
var name = "";
item.Authors.Add(new SyndicationPerson { Name = "Ci-en" });
if (!string.IsNullOrEmpty(creatorName))
{
if (elemArticle.QuerySelector(".e-abbreviation a") is IHtmlAnchorElement element)
{
name = element.TextContent.Trim() ?? "";
item.Authors.Add(new SyndicationPerson() { Name = "Ci-en" });
item.Authors.Add(new SyndicationPerson() { Name = name });
}
item.Authors.Add(new SyndicationPerson { Name = creatorName });
}
var title = "";
var title = !string.IsNullOrEmpty(creatorName) ? $"{creatorName} : {rawTitle}" : rawTitle;
item.Title = new TextSyndicationContent(title);
var releasedAtStr = elem.TryGetProperty("released_at", out var relElem) ? relElem.GetString() : null;
var updateTime = DateTimeOffset.Now;
if (!string.IsNullOrEmpty(releasedAtStr) && DateTimeOffset.TryParse(releasedAtStr, out var parsedDate))
{
if (elemArticle.QuerySelector(".is-articleCard") is IHtmlHeadingElement element)
{
title = $"{name} : {element.TextContent.Trim()}";
item.Title = new TextSyndicationContent(title);
}
}
{
if (elemArticle.QuerySelector(".e-date") is IHtmlSpanElement element)
{
var updateTime = DateTime.Now;
if (DateTime.TryParse(element.TextContent.Trim(), out DateTime itemTime))
{
updateTime = itemTime;
}
item.LastUpdatedTime = updateTime;
}
updateTime = parsedDate;
}
item.LastUpdatedTime = updateTime;
// 24時間判定(カットオフより古い記事は本文取得を行わずスキップ)
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
@@ -86,6 +139,12 @@ internal class ci_en
var body = new StringBuilder();
if (!string.IsNullOrEmpty(href))
{
if (client.DefaultRequestHeaders.Contains("Cookie"))
{
client.DefaultRequestHeaders.Remove("Cookie");
}
client.DefaultRequestHeaders.Add("Cookie", CookieString);
var docContents = await CmnUtil.GetDocument(client, href);
var divDetail = docContents.QuerySelector("article");
@@ -152,18 +211,24 @@ internal class ci_en
a.SetAttribute("referrerpolicy", "no-referrer");
}
// 4. カバー画像/アイキャッチ画像の配置
string? coverImageUrl = null;
if (elemArticle.QuerySelector("img.image, img") is IHtmlImageElement coverElem && !string.IsNullOrEmpty(coverElem.Source) && !coverElem.Source.Contains("no_image") && !coverElem.Source.Contains("logo_"))
// 4. カバー画像/アイキャッチ画像の配置(API返却の image_src を最優先)
var coverImageUrl = elem.TryGetProperty("image_src", out var imgElem) ? imgElem.GetString() : null;
if (string.IsNullOrEmpty(coverImageUrl))
{
coverImageUrl = coverElem.Source;
}
else
{
var metaOgImage = docContents.QuerySelector("meta[property='og:image']")?.GetAttribute("content");
if (!string.IsNullOrEmpty(metaOgImage) && !metaOgImage.Contains("logo_") && !metaOgImage.Contains("no_image"))
if (docContents.QuerySelector("img.image, img") is IHtmlImageElement coverElem &&
!string.IsNullOrEmpty(coverElem.Source) &&
!coverElem.Source.Contains("no_image") &&
!coverElem.Source.Contains("logo_"))
{
coverImageUrl = metaOgImage;
coverImageUrl = coverElem.Source;
}
else
{
var metaOgImage = docContents.QuerySelector("meta[property='og:image']")?.GetAttribute("content");
if (!string.IsNullOrEmpty(metaOgImage) && !metaOgImage.Contains("logo_") && !metaOgImage.Contains("no_image"))
{
coverImageUrl = metaOgImage;
}
}
}
@@ -177,11 +242,11 @@ internal class ci_en
}
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
// ID
item.Id = CmnUtil.CreateGuid($"{href}");
item.Id = CmnUtil.CreateGuid(href);
items.Add(item);
}
feed.Items = items;
// ci_en は画像リンクを Base64 変換せず、通常の画像リンクとして出力する
@@ -189,8 +254,10 @@ internal class ci_en
}
catch (Exception ex)
{
AddLog($"[エラー] [ci_en]:{ex.Message}");
AddLog($"[エラー] 【ci_en】 {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
#endregion
}
+35 -21
View File
@@ -1,4 +1,4 @@
using AngleSharp;
using AngleSharp;
using AngleSharp.Dom;
using AngleSharp.Html.Parser;
using PuppeteerSharp;
@@ -427,7 +427,7 @@ public class CmnUtil
int count = feed.Items?.Count() ?? 0;
string displayFileName = System.IO.Path.GetFileName(filePath);
LogManager.AddLog($"[情報] {displayFileName} を正常に出力しました (記事数: {count})");
LogManager.AddLog($"[情報] 【CmnUtil】 {displayFileName} を正常に出力しました (記事数: {count})");
}
/// <summary>
@@ -459,7 +459,7 @@ public class CmnUtil
int count = feed.Items?.Count() ?? 0;
string displayFileName = System.IO.Path.GetFileName(filePath);
LogManager.AddLog($"[情報] {displayFileName} を正常に出力しました (記事数: {count})");
LogManager.AddLog($"[情報] 【CmnUtil】 {displayFileName} を正常に出力しました (記事数: {count})");
}
/// <summary>
@@ -482,7 +482,7 @@ public class CmnUtil
{
// 404の場合などのログをここに書くことも可能
//AddLog($"[HTTP Error] Status Code: {response.StatusCode} for {url}");
LogManager.AddLog($"[HTTP Error] Status Code: {response.StatusCode} for {url}");
LogManager.AddLog($"[エラー] 【CmnUtil】 HTTP Error Status Code: {response.StatusCode} for {url}");
return null;
}
@@ -492,7 +492,7 @@ public class CmnUtil
catch (HttpRequestException ex)
{
// ネットワーク不通やタイムアウトなどの例外処理
LogManager.AddLog($"[Network Error] {ex.Message}");
LogManager.AddLog($"[エラー] 【CmnUtil】 Network Error {ex.Message}");
return null;
}
catch (Exception)
@@ -550,10 +550,19 @@ public class CmnUtil
}
// 5. ストリームによるレスポンス受信と直接パース(ResponseHeadersRead で中間バッファリングと巨大文字列生成を排除)
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, cancellationToken);
using var linkedCts = CancellationTokenSource.CreateLinkedTokenSource(cancellationToken);
linkedCts.CancelAfter(TimeSpan.FromSeconds(15)); // ハング防止の最大15秒タイムアウト
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, linkedCts.Token);
// 403 Forbidden が返された場合は自動的に FlareSolverr 経由で取得
if (response.StatusCode == HttpStatusCode.Forbidden)
{
LogManager.AddLog($"[情報] [CmnUtil] 403 Forbidden を検知したため、FlareSolverr 経由で取得します: {pageURL}");
return await GetDocumentFlareSolverr(client, pageURL);
}
response.EnsureSuccessStatusCode();
await using var stream = await response.Content.ReadAsStreamAsync(cancellationToken);
await using var stream = await response.Content.ReadAsStreamAsync(linkedCts.Token);
// Content-Type (charset 等) を取得して AngleSharp に通知
var contentType = response.Content.Headers.ContentType?.ToString();
@@ -591,6 +600,11 @@ public class CmnUtil
/// </summary>
private static readonly SemaphoreSlim FlareSolverrSemaphore = new(1, 1);
/// <summary>
/// アプリケーション全体で共有・使い回す FlareSolverr セッションID
/// </summary>
public static string? SharedFlareSolverrSessionId { get; set; }
/// <summary>
/// FlareSolverr 経由で対象 URL の HTML を取得し、AngleSharp の IDocument を生成して返します。
/// 排他制御および最大3回の自動リトライ(セッション無効化フォールバック・待機付き)を備えています。
@@ -612,7 +626,7 @@ public class CmnUtil
try
{
const int maxRetries = 3;
string? currentSession = session;
string? currentSession = session ?? SharedFlareSolverrSessionId;
for (int attempt = 1; attempt <= maxRetries; attempt++)
{
@@ -643,7 +657,7 @@ public class CmnUtil
// セッション不整合による500の可能性があるため、次回はセッションなしでリトライ
if (currentSession != null)
{
LogManager.AddLog($"[情報] セッション {currentSession} を解除して次回セッションなしで再試行します。");
LogManager.AddLog($"[情報] 【CmnUtil】 セッション {currentSession} を解除して次回セッションなしで再試行します。");
currentSession = null;
}
@@ -665,7 +679,7 @@ public class CmnUtil
if (!string.Equals(flareResponse.Status, "ok", StringComparison.OrdinalIgnoreCase))
{
string errorMsg = $"FlareSolverr エラー (Status: {flareResponse.Status}, Message: {flareResponse.Message}): {pageURL}";
LogManager.AddLog($"[警告] {errorMsg}");
LogManager.AddLog($"[警告] 【CmnUtil】 {errorMsg}");
if (attempt < maxRetries)
{
@@ -690,7 +704,7 @@ public class CmnUtil
}
catch (Exception ex) when (attempt < maxRetries && ex is not OperationCanceledException)
{
LogManager.AddLog($"[警告] FlareSolverr リクエスト再試行 (試行 {attempt}/{maxRetries}, URL: {pageURL}): {ex.Message}");
LogManager.AddLog($"[警告] 【CmnUtil】 FlareSolverr リクエスト再試行 (試行 {attempt}/{maxRetries}, URL: {pageURL}): {ex.Message}");
currentSession = null;
await Task.Delay(attempt * 2500);
}
@@ -725,7 +739,7 @@ public class CmnUtil
try
{
const int maxRetries = 3;
string? currentSession = session;
string? currentSession = session ?? SharedFlareSolverrSessionId;
for (int attempt = 1; attempt <= maxRetries; attempt++)
{
@@ -755,7 +769,7 @@ public class CmnUtil
if (currentSession != null)
{
LogManager.AddLog($"[情報] セッション {currentSession} を解除して次回セッションなしで再試行します。");
LogManager.AddLog($"[情報] 【CmnUtil】 セッション {currentSession} を解除して次回セッションなしで再試行します。");
currentSession = null;
}
@@ -777,7 +791,7 @@ public class CmnUtil
if (!string.Equals(flareResponse.Status, "ok", StringComparison.OrdinalIgnoreCase))
{
string errorMsg = $"FlareSolverr エラー (Status: {flareResponse.Status}, Message: {flareResponse.Message}): {url}";
LogManager.AddLog($"[警告] {errorMsg}");
LogManager.AddLog($"[警告] 【CmnUtil】 {errorMsg}");
if (attempt < maxRetries)
{
@@ -802,7 +816,7 @@ public class CmnUtil
}
catch (Exception ex) when (attempt < maxRetries && ex is not OperationCanceledException)
{
LogManager.AddLog($"[警告] FlareSolverr リクエスト再試行 (試行 {attempt}/{maxRetries}, URL: {url}): {ex.Message}");
LogManager.AddLog($"[警告] 【CmnUtil】 FlareSolverr リクエスト再試行 (試行 {attempt}/{maxRetries}, URL: {url}): {ex.Message}");
currentSession = null;
await Task.Delay(attempt * 2500);
}
@@ -840,7 +854,7 @@ public class CmnUtil
Cmd = "request.get",
Url = url,
MaxTimeout = maxTimeout,
Session = session
Session = session ?? SharedFlareSolverrSessionId
};
using var request = new HttpRequestMessage(HttpMethod.Post, flareSolverrEndpoint)
@@ -865,7 +879,7 @@ public class CmnUtil
if (!string.Equals(flareResponse.Status, "ok", StringComparison.OrdinalIgnoreCase))
{
string errorMsg = $"FlareSolverr エラー (Status: {flareResponse.Status}, Message: {flareResponse.Message}): {url}";
LogManager.AddLog($"[エラー] {errorMsg}");
LogManager.AddLog($"[エラー] 【CmnUtil】 {errorMsg}");
throw new InvalidOperationException(errorMsg);
}
@@ -897,7 +911,7 @@ public class CmnUtil
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] FlareSolverr フィード {url} の取得に失敗: {ex.Message}");
LogManager.AddLog($"[エラー] 【CmnUtil】 FlareSolverr フィード {url} の取得に失敗: {ex.Message}");
PrintCallStackToEvent(ex);
return Enumerable.Empty<SyndicationItem>();
}
@@ -1109,7 +1123,7 @@ public class CmnUtil
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] {url} の取得に失敗: {ex.Message}");
LogManager.AddLog($"[エラー] 【CmnUtil】 {url} の取得に失敗: {ex.Message}");
return Enumerable.Empty<SyndicationItem>();
}
}
@@ -1362,7 +1376,7 @@ public class CmnUtil
if (process.ExitCode != 0)
{
// エラー時は StandardError と StandardOutput の両方をログに出力する
LogManager.AddLog($"[エラー] コマンド実行失敗 (ExitCode: {process.ExitCode}, Cmd: {command} {arguments})\n" +
LogManager.AddLog($"[エラー] 【CmnUtil】 コマンド実行失敗 (ExitCode: {process.ExitCode}, Cmd: {command} {arguments})\n" +
$"STDERR: {(string.IsNullOrEmpty(error) ? "(なし)" : error)}\n" +
$"STDOUT: {(string.IsNullOrEmpty(output) ? "(なし)" : output)}");
}
@@ -1376,7 +1390,7 @@ public class CmnUtil
}
else
{
LogManager.AddLog($"[エラー] プロセスの起動に失敗しました: {command}");
LogManager.AddLog($"[エラー] 【CmnUtil】 プロセスの起動に失敗しました: {command}");
}
}
@@ -0,0 +1,282 @@
using System;
using System.Collections.Concurrent;
using System.Collections.Generic;
using System.Diagnostics;
using System.IO;
using System.Net.Http;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Common;
/// <summary>
/// 外部設定ファイル(C:\feeds\src\*.json)の変更を監視し、
/// 変更されたファイルに対応するRSS生成アクションを即座に実行するウォッチャークラス
/// </summary>
public class ExternalConfigWatcher : IDisposable
{
/// <summary>
/// ファイル名に対応するハンドラー情報
/// </summary>
private readonly Dictionary<string, (string DisplayName, Func<HttpClient, Task> Action)> _handlers =
new(StringComparer.OrdinalIgnoreCase);
/// <summary>
/// 各ファイルの最終更新日時(UTC)記録用(ポーリング監視および重複発火防止用)
/// </summary>
private readonly ConcurrentDictionary<string, DateTime> _lastWriteTimes =
new(StringComparer.OrdinalIgnoreCase);
/// <summary>
/// 変更検知後のデバウンス用キュー(ファイル名 -> 検知時刻)
/// </summary>
private readonly ConcurrentDictionary<string, DateTime> _pendingTriggers =
new(StringComparer.OrdinalIgnoreCase);
private readonly IHttpClientFactory _httpClientFactory;
private readonly SemaphoreSlim _executionLock;
private readonly CancellationTokenSource _cts = new();
private FileSystemWatcher? _watcher;
private Task? _monitorTask;
private bool _disposed;
/// <summary>
/// コンストラクタ
/// </summary>
/// <param name="httpClientFactory">HttpClientFactory インスタンス</param>
/// <param name="executionLock">定期実行との競合を防ぐ排他ロックセマフォ</param>
public ExternalConfigWatcher(IHttpClientFactory httpClientFactory, SemaphoreSlim executionLock)
{
_httpClientFactory = httpClientFactory ?? throw new ArgumentNullException(nameof(httpClientFactory));
_executionLock = executionLock ?? throw new ArgumentNullException(nameof(executionLock));
}
/// <summary>
/// 監視対象ファイルと、変更時に実行するアクションを登録します。
/// </summary>
/// <param name="fileName">監視する設定ファイル名(例: "youtube.json")</param>
/// <param name="displayName">ログ表示用の名称(例: "YouTube")</param>
/// <param name="action">実行するRSS生成非同期メソッド</param>
public void RegisterHandler(string fileName, string displayName, Func<HttpClient, Task> action)
{
_handlers[fileName] = (displayName, action);
}
/// <summary>
/// 監視を開始します。
/// </summary>
public void Start()
{
string watchDir = ExternalFeedConfigManager.GetConfigDirectory();
if (!Directory.Exists(watchDir))
{
Directory.CreateDirectory(watchDir);
}
// 初期ファイルの最終更新日時を記録(起動直後の誤検知を防止)
RecordInitialFileTimes(watchDir);
// 1. FileSystemWatcher による即時検知(Windowsホスト環境等向け)
try
{
_watcher = new FileSystemWatcher(watchDir, "*.json")
{
NotifyFilter = NotifyFilters.LastWrite | NotifyFilters.FileName | NotifyFilters.Size,
IncludeSubdirectories = false,
EnableRaisingEvents = true
};
_watcher.Changed += OnFileEvent;
_watcher.Created += OnFileEvent;
_watcher.Renamed += (s, e) => OnFileEvent(s, new FileSystemEventArgs(WatcherChangeTypes.Changed, watchDir, e.Name));
LogManager.AddLog($"[情報] 【ExternalConfigWatcher】 FileSystemWatcher による設定ファイル監視を開始しました: {watchDir}");
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] 【ExternalConfigWatcher】 FileSystemWatcher の初期化に失敗(ポーリングのみで監視を継続します): {ex.Message}");
}
// 2. バックグラウンドポーリングタスク(Dockerバインドマウント環境でも確実に検知するため2.5秒間隔で更新日時を走査)
_monitorTask = Task.Run(() => PollingLoopAsync(watchDir, _cts.Token));
LogManager.AddLog($"[情報] 外部設定ファイル監視ループを開始しました: {watchDir}");
}
/// <summary>
/// 起動時の既存ファイル更新日時を記録します。
/// </summary>
private void RecordInitialFileTimes(string watchDir)
{
try
{
var files = Directory.GetFiles(watchDir, "*.json");
foreach (var filePath in files)
{
string fileName = Path.GetFileName(filePath);
var lastWrite = File.GetLastWriteTimeUtc(filePath);
_lastWriteTimes[fileName] = lastWrite;
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] 初期ファイル一覧の確認失敗: {ex.Message}");
}
}
/// <summary>
/// FileSystemWatcher イベントハンドラ
/// </summary>
private void OnFileEvent(object sender, FileSystemEventArgs e)
{
if (string.IsNullOrEmpty(e.Name)) return;
string fileName = Path.GetFileName(e.Name);
if (_handlers.ContainsKey(fileName))
{
// デバウンス用キューに記録(現在時刻で更新)
_pendingTriggers[fileName] = DateTime.UtcNow;
}
}
/// <summary>
/// バックグラウンドポーリングおよびデバウンス処理ループ
/// </summary>
private async Task PollingLoopAsync(string watchDir, CancellationToken ct)
{
while (!ct.IsCancellationRequested)
{
try
{
await Task.Delay(500, ct);
// ディレクトリ内の .json ファイルの最終更新日時をポーリング
if (Directory.Exists(watchDir))
{
var files = Directory.GetFiles(watchDir, "*.json");
foreach (var filePath in files)
{
string fileName = Path.GetFileName(filePath);
if (!_handlers.ContainsKey(fileName)) continue;
DateTime currentWriteTime;
try
{
currentWriteTime = File.GetLastWriteTimeUtc(filePath);
}
catch
{
continue;
}
if (_lastWriteTimes.TryGetValue(fileName, out var prevWriteTime))
{
if (currentWriteTime > prevWriteTime)
{
// 変更検知
_lastWriteTimes[fileName] = currentWriteTime;
_pendingTriggers[fileName] = DateTime.UtcNow;
}
}
else
{
// 新規作成ファイル
_lastWriteTimes[fileName] = currentWriteTime;
_pendingTriggers[fileName] = DateTime.UtcNow;
}
}
}
// デバウンス待機完了(変更検知から500ms以上経過したトリガー)の処理
var now = DateTime.UtcNow;
foreach (var kvp in _pendingTriggers.ToArray())
{
string fileName = kvp.Key;
DateTime triggeredTime = kvp.Value;
// 変更検知から500ms以上経過していたら実行
if ((now - triggeredTime).TotalMilliseconds >= 500)
{
_pendingTriggers.TryRemove(fileName, out _);
// 最新の更新日時を反映
string filePath = Path.Combine(watchDir, fileName);
if (File.Exists(filePath))
{
try { _lastWriteTimes[fileName] = File.GetLastWriteTimeUtc(filePath); } catch { }
}
// 非同期タスクとして排他実行
_ = Task.Run(async () => await ExecuteTriggerAsync(fileName), ct);
}
}
}
catch (OperationCanceledException)
{
break;
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 【ExternalConfigWatcher】 外部設定ファイル監視ループ例外: {ex.Message}");
}
}
}
/// <summary>
/// ファイル変更に伴う該当フィードの個別取得処理を実行します。
/// </summary>
private async Task ExecuteTriggerAsync(string fileName)
{
if (!_handlers.TryGetValue(fileName, out var handler))
{
return;
}
LogManager.AddLog($"[情報] 【ExternalConfigWatcher】 外部設定ファイルの変更を検知しました: {fileName} -> 【{handler.DisplayName}】のRSS生成を開始します");
// 定期実行または他トリガーとの排他ロックを取得
await _executionLock.WaitAsync();
Stopwatch sw = Stopwatch.StartNew();
try
{
using var client = _httpClientFactory.CreateClient("webClient");
client.DefaultRequestHeaders.UserAgent.Clear();
client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
client.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
await handler.Action(client);
sw.Stop();
LogManager.AddLog($"[情報] 【ExternalConfigWatcher】 【{handler.DisplayName}】 外部設定変更に伴うRSS生成完了 ({sw.Elapsed.TotalSeconds:0.##}秒)");
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 【{handler.DisplayName}】 外部設定変更トリガー実行時エラー: {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
finally
{
// メモリ回収
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
GC.WaitForPendingFinalizers();
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
_executionLock.Release();
}
}
public void Dispose()
{
if (_disposed) return;
_disposed = true;
_cts.Cancel();
_cts.Dispose();
if (_watcher != null)
{
_watcher.EnableRaisingEvents = false;
_watcher.Dispose();
}
}
}
@@ -0,0 +1,173 @@
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Runtime.InteropServices;
using System.Text.Encodings.Web;
using System.Text.Json;
using System.Text.Json.Serialization;
using System.Threading.Tasks;
namespace rss_generator.Class.Common;
/// <summary>
/// 外部フィード設定の共通ターゲットモデル
/// YouTubeや他の各種サイトにおける監視対象URL・チャンネル等の外部定義情報
/// </summary>
public class ExternalFeedTarget
{
/// <summary>
/// 対象URL(またはチャンネルID・識別子)
/// </summary>
[JsonPropertyName("url")]
public string Url { get; set; } = string.Empty;
/// <summary>
/// 対象名(チャンネル名・サイト名・ユーザー名など)
/// </summary>
[JsonPropertyName("name")]
public string? Name { get; set; }
/// <summary>
/// 出力カテゴリ名(例: "ゲーム", "野球", "音楽", "公式", "その他" など)
/// </summary>
[JsonPropertyName("category")]
public string Category { get; set; } = "その他";
/// <summary>
/// 有効フラグ(falseの場合は取得対象から除外)
/// </summary>
[JsonPropertyName("enabled")]
public bool Enabled { get; set; } = true;
}
/// <summary>
/// 外部設定ファイル(JSON)の読み込み・保存を管理する共通クラス
/// </summary>
public static class ExternalFeedConfigManager
{
/// <summary>
/// JSONシリアライズ/デシリアライズの共通オプション
/// 日本語文字列をUnicodeエスケープ(\uXXXX)せずにそのまま出力します
/// </summary>
private static readonly JsonSerializerOptions JsonOptions = new()
{
WriteIndented = true,
Encoder = JavaScriptEncoder.UnsafeRelaxedJsonEscaping,
PropertyNameCaseInsensitive = true,
ReadCommentHandling = JsonCommentHandling.Skip,
AllowTrailingCommas = true,
DefaultIgnoreCondition = JsonIgnoreCondition.WhenWritingNull
};
/// <summary>
/// 設定ファイルの格納ディレクトリパスを取得します。
/// Windowsホスト実行時は C:\feeds\src、Dockerコンテナ実行時はマウント先の /app/output/src を自動判定します。
/// </summary>
public static string GetConfigDirectory()
{
if (RuntimeInformation.IsOSPlatform(OSPlatform.Windows))
{
return @"C:\feeds\src";
}
// Dockerコンテナ内(/app/output がホストの C:\feeds にマウントされている環境)
string containerPath = Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "output", "src");
if (Directory.Exists(containerPath) || Directory.Exists(Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "output")))
{
return containerPath;
}
return "/app/output/src";
}
/// <summary>
/// 設定ファイルの絶対パスを取得します。
/// </summary>
/// <param name="fileName">ファイル名(例: "youtube.json")</param>
public static string GetConfigFilePath(string fileName)
{
return Path.Combine(GetConfigDirectory(), fileName);
}
/// <summary>
/// 指定された設定ファイル(JSON)からターゲット一覧を読み込みます。
/// ファイルが存在しない場合、defaultTargets が指定されていれば初期ファイルとして自動保存します。
/// </summary>
/// <typeparam name="T">ターゲットモデルの型(ExternalFeedTargetの派生クラス)</typeparam>
/// <param name="fileName">設定ファイル名(例: "youtube.json")</param>
/// <param name="defaultTargets">ファイルが存在しない場合のデフォルトリスト</param>
/// <param name="onlyEnabled">有効(Enabled == true)なターゲットのみ取得するかどうか</param>
/// <returns>読み込まれたターゲット一覧</returns>
public static async Task<List<T>> LoadTargetsAsync<T>(
string fileName,
IEnumerable<T>? defaultTargets = null,
bool onlyEnabled = true) where T : ExternalFeedTarget, new()
{
string filePath = GetConfigFilePath(fileName);
try
{
if (!File.Exists(filePath))
{
if (defaultTargets != null && defaultTargets.Any())
{
LogManager.AddLog($"[情報] 【ExternalFeedConfigManager】 設定ファイルが存在しないため、デフォルト設定を書き出します: {filePath}");
await SaveTargetsAsync(fileName, defaultTargets);
var defaults = defaultTargets.ToList();
return onlyEnabled ? defaults.Where(t => t.Enabled).ToList() : defaults;
}
LogManager.AddLog($"[警告] 【ExternalFeedConfigManager】 設定ファイルが見つかりません: {filePath}");
return new List<T>();
}
using var stream = File.OpenRead(filePath);
var items = await JsonSerializer.DeserializeAsync<List<T>>(stream, JsonOptions);
if (items == null)
{
LogManager.AddLog($"[警告] 【ExternalFeedConfigManager】 設定ファイルの内容が空または不正です: {filePath}");
return new List<T>();
}
LogManager.AddLog($"[情報] 【ExternalFeedConfigManager】 外部設定ファイル読み込み完了: {fileName} ({items.Count}件)");
return onlyEnabled ? items.Where(t => t.Enabled).ToList() : items;
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 【ExternalFeedConfigManager】 外部設定ファイル読み込み失敗 ({filePath}): {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
// 読み込みに失敗した場合、デフォルトが指定されていればフォールバック
if (defaultTargets != null && defaultTargets.Any())
{
LogManager.AddLog($"[情報] 【ExternalFeedConfigManager】 デフォルト設定をフォールバックとして使用します: {fileName}");
var defaults = defaultTargets.ToList();
return onlyEnabled ? defaults.Where(t => t.Enabled).ToList() : defaults;
}
return new List<T>();
}
}
/// <summary>
/// ターゲット一覧を外部設定ファイル(JSON)に整形して保存します。
/// </summary>
/// <typeparam name="T">ターゲットモデルの型</typeparam>
/// <param name="fileName">設定ファイル名(例: "youtube.json")</param>
/// <param name="targets">保存するターゲット一覧</param>
public static async Task SaveTargetsAsync<T>(string fileName, IEnumerable<T> targets)
{
string dir = GetConfigDirectory();
if (!Directory.Exists(dir))
{
Directory.CreateDirectory(dir);
}
string filePath = Path.Combine(dir, fileName);
using var stream = File.Create(filePath);
await JsonSerializer.SerializeAsync(stream, targets, JsonOptions);
LogManager.AddLog($"[情報] 【ExternalFeedConfigManager】 設定ファイルを保存しました: {filePath}");
}
}
@@ -1,4 +1,4 @@
using System;
using System;
using System.Diagnostics;
using System.Net.Http;
using System.Threading.Tasks;
@@ -8,6 +8,7 @@ using rss_generator.Class.HentaiPaw;
using rss_generator.Class.HitomiLa;
using rss_generator.Class.MissAV;
using rss_generator.Class.MissAV123;
using rss_generator.Class.Skebetter;
using rss_generator.Class.SpankBang;
using rss_generator.Class.YahooBaseball;
@@ -26,7 +27,7 @@ internal static class FlareSolverrFeedManager
/// <param name="client">HttpClient インスタンス</param>
public static async Task CreateAllRSSAsync(HttpClient client)
{
LogManager.AddLog("[情報] FlareSolverr フィード生成(単一セッション順次実行)を開始します");
LogManager.AddLog("[情報] 【FlareSolverrFeedManager】 FlareSolverr フィード生成(単一セッション順次実行)を開始します");
var sw = Stopwatch.StartNew();
string? sessionId = null;
@@ -37,7 +38,8 @@ internal static class FlareSolverrFeedManager
// 1. 全タスク共通の単一 FlareSolverr セッションを作成(Chromium 1インスタンスのみ起動)
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
LogManager.AddLog($"[情報] 共通 FlareSolverr セッションを作成しました (Session: {sessionId ?? "none"})");
CmnUtil.SharedFlareSolverrSessionId = sessionId;
LogManager.AddLog($"[情報] 【FlareSolverrFeedManager】 共通 FlareSolverr セッションを作成しました (Session: {sessionId ?? "none"})");
// 2. メモリ節約のため、1つのセッションを使い回して直列(同期)で順番に実行
// 個別のエラーで全体が止まらないよう各タスクを保護
@@ -49,7 +51,7 @@ internal static class FlareSolverrFeedManager
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] npb_6 実行失敗: {ex.Message}");
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 npb_6 実行失敗: {ex.Message}");
}
// aurahentai
@@ -59,7 +61,7 @@ internal static class FlareSolverrFeedManager
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] aurahentai 実行失敗: {ex.Message}");
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 aurahentai 実行失敗: {ex.Message}");
}
// Danbooru rank
@@ -69,7 +71,7 @@ internal static class FlareSolverrFeedManager
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] Danbooru.rank 実行失敗: {ex.Message}");
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 Danbooru.rank 実行失敗: {ex.Message}");
}
// missav
@@ -79,7 +81,7 @@ internal static class FlareSolverrFeedManager
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] missav 実行失敗: {ex.Message}");
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 missav 実行失敗: {ex.Message}");
}
// missav123
@@ -89,7 +91,7 @@ internal static class FlareSolverrFeedManager
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] missav123 実行失敗: {ex.Message}");
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 missav123 実行失敗: {ex.Message}");
}
// hitomi.la
@@ -99,7 +101,7 @@ internal static class FlareSolverrFeedManager
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] hitomi.la 実行失敗: {ex.Message}");
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 hitomi.la 実行失敗: {ex.Message}");
}
// spankbang
@@ -109,7 +111,7 @@ internal static class FlareSolverrFeedManager
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] spankbang 実行失敗: {ex.Message}");
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 spankbang 実行失敗: {ex.Message}");
}
// hentaipaw (エロモフ)
@@ -119,30 +121,41 @@ internal static class FlareSolverrFeedManager
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] hentaipaw 実行失敗: {ex.Message}");
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 hentaipaw 実行失敗: {ex.Message}");
}
// skebetter
try
{
await skebetter.CreateRSSAsync(client, sessionId);
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 skebetter 実行失敗: {ex.Message}");
}
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] 共通セッション処理中に例外発生: {ex.Message}");
LogManager.AddLog($"[エラー] 【FlareSolverrFeedManager】 共通セッション処理中に例外発生: {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
finally
{
// 3. すべて取得完了後にセッション(Chromiumインスタンス)を確実に破棄してメモリ・CPUを完全解放
CmnUtil.SharedFlareSolverrSessionId = null;
// 個別の sessionId 破棄に加え、万が一の残留セッションも一括破棄
try
{
await CmnUtil.DestroyAllFlareSolverrSessions(client);
LogManager.AddLog($"[情報] [FlareSolverrFeedManager] FlareSolverr セッションクリーンアップ完了");
LogManager.AddLog($"[情報] 【FlareSolverrFeedManager】 FlareSolverr セッションクリーンアップ完了");
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [FlareSolverrFeedManager] セッションクリーンアップ中にエラー: {ex.Message}");
LogManager.AddLog($"[警告] 【FlareSolverrFeedManager】 セッションクリーンアップ中にエラー: {ex.Message}");
}
sw.Stop();
LogManager.AddLog($"[情報] FlareSolverr フィード生成完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
LogManager.AddLog($"[情報] 【FlareSolverrFeedManager】 FlareSolverr フィード生成完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
}
}
}
+3 -1
View File
@@ -37,10 +37,12 @@ internal static class LogManager // 実際のクラス名に合わせてくだ
/// </summary>
public static void AddLog(string? message)
{
string text = message?.TrimEnd('\r', '\n') ?? string.Empty;
Console.WriteLine($"[{DateTime.Now:HH:mm:ss}] {text}");
var log = new LogMessage
{
Message = message!.TrimEnd('\r', '\n'),
Message = text,
Timestamp = DateTime.Now // ログが発生した瞬間の時間を保持
};
+25 -40
View File
@@ -1,4 +1,4 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using AngleSharp.Html.Parser;
using System;
@@ -24,55 +24,40 @@ internal class rank
try
{
// 外部からセッションが渡されなかった場合は自前で作成
bool ownSession = sessionId == null;
if (ownSession)
{
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
}
try
{
// FlareSolverr 経由で Atom フィードアイテムを取得
var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId);
var simplifiedItems = new List<SyndicationItem>();
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
// FlareSolverr 経由で Atom フィードアイテムを取得
var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId);
var simplifiedItems = new List<SyndicationItem>();
var cutoff = DateTimeOffset.Now.AddHours(-24);
foreach (var item in items)
var cutoff = DateTimeOffset.Now.AddHours(-24);
foreach (var item in items)
{
// 24時間以上前の記事は詳細スクレイピングをスキップ
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
{
// 24時間以上前の記事は詳細スクレイピングをスキップ
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
{
continue;
}
var simplified = await Simplified(client, item, sessionId);
if (simplified != null)
{
simplifiedItems.Add(simplified);
}
continue;
}
// 新しい統合フィードを作成
var mergedFeed = new SyndicationFeed(
"Danbooru",
"Danbooru Rank Posts",
new Uri("https://danbooru.donmai.us/posts?tags=order%3Arank"),
simplifiedItems
);
await CmnUtil.ExportXMLFileAsync("rank.xml", mergedFeed, client, "danbooru");
}
finally
{
if (ownSession && sessionId != null)
var simplified = await Simplified(client, item, sessionId);
if (simplified != null)
{
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
simplifiedItems.Add(simplified);
}
}
// 新しい統合フィードを作成
var mergedFeed = new SyndicationFeed(
"Danbooru",
"Danbooru Rank Posts",
new Uri("https://danbooru.donmai.us/posts?tags=order%3Arank"),
simplifiedItems
);
await CmnUtil.ExportXMLFileAsync("rank.xml", mergedFeed, client, "danbooru");
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] danbooru:{ex.Message}");
LogManager.AddLog($"[エラー] 【Danbooru】 {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
+2 -2
View File
@@ -1,4 +1,4 @@
using System;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Net.Http;
@@ -35,7 +35,7 @@ internal class e_hentai_ai
);
// XML ファイルとして出力
await CmnUtil.ExportXMLFileAsync("e_hentai_ai.xml", feed, client);
await CmnUtil.ExportXMLFileAsync("e_hentai_ai.xml", feed, client, addDir: "e-hentai.org");
}
catch (Exception ex)
{
@@ -1,4 +1,4 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using AngleSharp.Html.Parser;
using System;
@@ -65,7 +65,7 @@ internal static class e_hentai_common
using var response = await client.SendAsync(request);
if (!response.IsSuccessStatusCode)
{
LogManager.AddLog($"[警告] E-Hentai 一覧取得失敗 (URL={currentUrl}, Status={response.StatusCode})");
LogManager.AddLog($"[警告] 【EHentai】 E-Hentai 一覧取得失敗 (URL={currentUrl}, Status={response.StatusCode})");
break;
}
@@ -247,7 +247,7 @@ internal static class e_hentai_common
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] ギャラリー詳細取得エラー ({gallery.Url}): {ex.Message}");
LogManager.AddLog($"[警告] 【EHentai】 ギャラリー詳細取得エラー ({gallery.Url}): {ex.Message}");
}
return new List<string>();
@@ -315,12 +315,10 @@ internal static class e_hentai_common
var body = new StringBuilder();
// ギャラリー表示リンク
var match = System.Text.RegularExpressions.Regex.Match(gallery.Url, @"/g/(\d+)/([a-zA-Z0-9]+)", System.Text.RegularExpressions.RegexOptions.IgnoreCase);
if (match.Success)
if (!string.IsNullOrEmpty(gallery.Url))
{
string galleryId = match.Groups[1].Value;
string token = match.Groups[2].Value;
string galleryUrl = $"https://udukipc-web.armonica-vps.work/ehentai/{galleryId}/{token}";
// WebImageViewer統一リンク (https://udukipc-web.armonica-vps.work/?url=[ページURL])
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(gallery.Url)}";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
@@ -1,4 +1,4 @@
using System;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Net.Http;
@@ -35,7 +35,7 @@ internal class e_hentai_non_ai
);
// XML ファイルとして出力
await CmnUtil.ExportXMLFileAsync("e_hentai_non_ai.xml", feed, client);
await CmnUtil.ExportXMLFileAsync("e_hentai_non_ai.xml", feed, client, addDir: "e-hentai.org");
}
catch (Exception ex)
{
@@ -0,0 +1,112 @@
using AngleSharp.Dom;
using rss_generator.Class.Common;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Collections.Generic;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Blog2nt;
/// <summary>
/// *.2nt.com (2NTブログ系まとめサイト) のページ解析リゾルバー
/// 本文から動画サイトや別の中間まとめリンク、記事公開日を抽出します。
/// </summary>
internal class Blog2ntSiteResolver : IEroterestSiteResolver
{
public string SiteName => "blog2nt";
public int Priority => 65;
public bool CanHandle(string url, IDocument? doc = null)
{
return !string.IsNullOrWhiteSpace(url) && url.Contains(".blog.2nt.com", StringComparison.OrdinalIgnoreCase);
}
public async Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult();
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
if (doc == null) return result;
// 投稿日
var dateEl = doc.QuerySelector(".entry-date, .date, time, .entry_date");
var dateText = dateEl?.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
{
result.ArticlePublishDate = parsedDate;
}
var candidateLinks = doc.QuerySelectorAll(".entry_body a, .entry-body a, .entry a, a[href]");
var seen = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
foreach (var a in candidateLinks)
{
var href = a.GetAttribute("href")?.Trim();
if (string.IsNullOrWhiteSpace(href) || href.Equals(url, StringComparison.OrdinalIgnoreCase)) continue;
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
href.Contains("blog-category", StringComparison.OrdinalIgnoreCase) ||
href.Contains("movie.eroterest.net/popular", StringComparison.OrdinalIgnoreCase))
{
continue;
}
if (!seen.Add(href)) continue;
// 動画リンクを優先
bool isVideo = href.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
href.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
href.Contains("laxd.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("fc2.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase);
if (isVideo)
{
result.NextCandidateUrls.Insert(0, href);
}
else if (result.NextCandidateUrls.Count < 5)
{
result.NextCandidateUrls.Add(href);
}
}
// 動画ホスト直リンクがある場合は即座に特定
var firstVideo = result.NextCandidateUrls.Find(u =>
u.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
u.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
u.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
u.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
u.Contains("laxd.com", StringComparison.OrdinalIgnoreCase) ||
u.Contains("fc2.com", StringComparison.OrdinalIgnoreCase) ||
u.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase));
if (!string.IsNullOrWhiteSpace(firstVideo))
{
var targetResolver = SiteResolverRegistry.GetResolver(firstVideo);
var directResolve = await targetResolver.ResolveAsync(client, firstVideo, null, context, ct);
if (directResolve.HasFinalVideo)
{
result.VideoPageUrl = directResolve.VideoPageUrl ?? firstVideo;
result.VideoSiteName = directResolve.VideoSiteName;
result.VideoSiteId = directResolve.VideoSiteId;
result.StreamUrl = directResolve.StreamUrl;
result.VideoUploadDate = directResolve.VideoUploadDate;
}
else
{
result.VideoPageUrl = firstVideo;
}
}
return result;
}
}
@@ -0,0 +1,135 @@
using AngleSharp.Dom;
using rss_generator.Class.Common;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Collections.Generic;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Blogterest;
/// <summary>
/// *.blogterest.net (エロタレスト系まとめブログ群) のページ解析リゾルバー
/// 本文やエントリーパーツから実動画リンク(Doga, LAXD, FC2, TXXX, Upornia, etc.)および次の中間まとめリンクを抽出します。
/// </summary>
internal class BlogterestSiteResolver : IEroterestSiteResolver
{
public string SiteName => "blogterest";
public int Priority => 70;
public bool CanHandle(string url, IDocument? doc = null)
{
return !string.IsNullOrWhiteSpace(url) && url.Contains(".blogterest.net", StringComparison.OrdinalIgnoreCase);
}
public async Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult();
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
if (doc == null) return result;
// 1. 記事投稿日の抽出
var dateEl = doc.QuerySelector(".entryDate, .post-date, time, .date");
var dateText = dateEl?.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
{
result.ArticlePublishDate = parsedDate;
}
// 2. ブログ内の主要エリアからリンクを走査
// 「動画の再生はこちらから」リンクおよび .movie-frame a を最優先で確認
var playTextEl = doc.QuerySelectorAll("a[href]")
.FirstOrDefault(a => (a.TextContent?.Contains("動画の再生はこちらから") == true) ||
(a.TextContent?.Contains("動画の再生") == true));
var movieFrameEl = doc.QuerySelector(".movie-frame a[href]");
var topVideoLink = playTextEl?.GetAttribute("href")?.Trim() ?? movieFrameEl?.GetAttribute("href")?.Trim();
var priorityLinks = doc.QuerySelectorAll(".entryImage a, .entryParts a, .pagePiece a, .entryBody a, .entry a");
var seenLinks = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
if (!string.IsNullOrWhiteSpace(topVideoLink))
{
seenLinks.Add(topVideoLink);
result.NextCandidateUrls.Add(topVideoLink);
}
foreach (var el in priorityLinks)
{
var rawHref = el.GetAttribute("href")?.Trim();
if (string.IsNullOrWhiteSpace(rawHref)) continue;
// 静的アセットやエロタレストTOP、同一ページ自身を除外
if (rawHref.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
rawHref.EndsWith(".jpeg", StringComparison.OrdinalIgnoreCase) ||
rawHref.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
rawHref.EndsWith(".gif", StringComparison.OrdinalIgnoreCase) ||
rawHref.EndsWith(".css", StringComparison.OrdinalIgnoreCase) ||
rawHref.EndsWith(".js", StringComparison.OrdinalIgnoreCase) ||
rawHref.Contains("eroterest.net/popular", StringComparison.OrdinalIgnoreCase) ||
rawHref.Contains("eroterest.net/index/", StringComparison.OrdinalIgnoreCase) ||
rawHref.Equals(url, StringComparison.OrdinalIgnoreCase))
{
continue;
}
if (!seenLinks.Add(rawHref)) continue;
// 動画提供元サイトのリンクが見つかった場合は最優先で先頭に追加
if (IsDirectVideoHostingUrl(rawHref))
{
result.NextCandidateUrls.Insert(0, rawHref);
}
else if (result.NextCandidateUrls.Count < 5)
{
result.NextCandidateUrls.Add(rawHref);
}
}
// 動画ホスト直リンクがある場合は即座に特定
var firstVideoLink = result.NextCandidateUrls.FirstOrDefault(IsDirectVideoHostingUrl);
if (!string.IsNullOrWhiteSpace(firstVideoLink))
{
var targetResolver = SiteResolverRegistry.GetResolver(firstVideoLink);
var directResolve = await targetResolver.ResolveAsync(client, firstVideoLink, null, context, ct);
if (directResolve.HasFinalVideo)
{
result.VideoPageUrl = directResolve.VideoPageUrl ?? firstVideoLink;
result.VideoSiteName = directResolve.VideoSiteName;
result.VideoSiteId = directResolve.VideoSiteId;
result.StreamUrl = directResolve.StreamUrl;
result.VideoUploadDate = directResolve.VideoUploadDate;
}
else
{
result.VideoPageUrl = firstVideoLink;
}
}
return result;
}
private static bool IsDirectVideoHostingUrl(string url)
{
return url.Contains("inporn.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("bdsmx.tube", StringComparison.OrdinalIgnoreCase) ||
url.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
url.Contains("video.laxd.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("adult.contents.fc2.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("hclips.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("hdzog.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
url.Contains("vjav.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("spankbang.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("xvideos.com", StringComparison.OrdinalIgnoreCase);
}
}
@@ -0,0 +1,156 @@
using rss_generator.Class.Common;
using System;
using System.Collections.Generic;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Core;
/// <summary>
/// 記事からリンクされた先のサイトを多階層(最大深度まで)自動追跡し、
/// 実際の動画ストリームまたは動画ページを特定する探索エンジン
/// </summary>
internal static class EroterestCrawler
{
/// <summary>
/// 開始URL(まとめブログ等)から多階層探索を開始し、動画またはストリームを探索します。
/// </summary>
public static async Task<SiteResolveResult> CrawlAsync(
HttpClient client,
string startUrl,
DateTimeOffset? referenceTime = null,
CancellationToken ct = default)
{
if (string.IsNullOrWhiteSpace(startUrl))
{
return SiteResolveResult.Empty();
}
var context = new SiteResolveContext
{
CurrentDepth = 1,
ReferenceTime = referenceTime ?? DateTimeOffset.Now
};
// 探索キュー: (URL, Depth)
var queue = new Queue<(string Url, int Depth)>();
queue.Enqueue((startUrl, 1));
context.EnqueuedUrls.Add(startUrl);
SiteResolveResult? bestResult = null;
while (queue.Count > 0 && context.TotalVisitedPages < MovieEroterestConfig.MaxCrawledPagesPerArticle)
{
if (ct.IsCancellationRequested) break;
var (currentUrl, depth) = queue.Dequeue();
context.CurrentDepth = depth;
context.VisitedPageCount++;
context.VisitedUrls.Add(currentUrl);
context.TraversedRoute.Add(currentUrl);
using var timeoutCts = CancellationTokenSource.CreateLinkedTokenSource(ct);
timeoutCts.CancelAfter(TimeSpan.FromSeconds(30)); // FlareSolverr 実行時も余裕を持たせるため30秒に設定
try
{
var resolver = SiteResolverRegistry.GetResolver(currentUrl);
var result = await resolver.ResolveAsync(client, currentUrl, null, context, timeoutCts.Token);
// 記事公開日の補完
if (bestResult == null || (!bestResult.ArticlePublishDate.HasValue && result.ArticlePublishDate.HasValue))
{
if (bestResult == null) bestResult = result;
else bestResult.ArticlePublishDate = result.ArticlePublishDate;
}
// 1. 直接再生可能なストリーム(m3u8, mp4等)が見つかった場合は即終了
if (!string.IsNullOrWhiteSpace(result.StreamUrl))
{
result.TraversedRoute = context.TraversedRoute;
return result;
}
// 2. 確定した動画ページが見つかった場合
if (result.HasFinalVideo)
{
bestResult = result;
// もしその動画ページ自体がストリームを解析できるサイト(例: do-ga.eroterest.net 等)であれば、さらに1回だけ追跡
if (depth < MovieEroterestConfig.MaxCrawlDepth && !context.VisitedUrls.Contains(result.VideoPageUrl!))
{
var targetResolver = SiteResolverRegistry.GetResolver(result.VideoPageUrl!);
if (targetResolver.SiteName == "doga")
{
context.VisitedUrls.Add(result.VideoPageUrl!);
var deepVideoResult = await targetResolver.ResolveAsync(client, result.VideoPageUrl!, null, context, timeoutCts.Token);
if (!string.IsNullOrWhiteSpace(deepVideoResult.StreamUrl))
{
deepVideoResult.TraversedRoute = context.TraversedRoute;
return deepVideoResult;
}
}
}
// 最終動画ページとして十分な場合は終了
bestResult.TraversedRoute = context.TraversedRoute;
return bestResult;
}
// 3. 動画が見つからず、次へ進む候補リンクがある場合
if (depth < MovieEroterestConfig.MaxCrawlDepth)
{
int enqueuedCount = 0;
foreach (var nextUrl in result.NextCandidateUrls)
{
if (string.IsNullOrWhiteSpace(nextUrl)) continue;
if (IsJunkArchiveUrl(nextUrl)) continue;
// 同一URLの重複探索防止
if (context.EnqueuedUrls.Add(nextUrl))
{
queue.Enqueue((nextUrl, depth + 1));
enqueuedCount++;
if (enqueuedCount >= 3) break; // 1ページあたり最大3候補に制限
}
}
}
}
catch (OperationCanceledException)
{
LogManager.AddLog($"[情報] [EroterestCrawler] URLタイムアウトスキップ ({currentUrl})");
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [EroterestCrawler] URL探索失敗 ({currentUrl}, 階層 {depth}): {ex.Message}");
}
}
return bestResult ?? SiteResolveResult.Empty();
}
/// <summary>
/// クロール不要なアーカイブ・カテゴリ・トップページ等のジャンクURLを判定
/// </summary>
private static bool IsJunkArchiveUrl(string url)
{
if (string.IsNullOrWhiteSpace(url)) return true;
var u = url.ToLowerInvariant();
return u.Contains("blog-date-") ||
u.Contains("blog-category-") ||
u.Contains("/category/") ||
u.Contains("/tag/") ||
u.Contains("/author/") ||
u.Contains("/archive/") ||
u.Contains("/date/") ||
u.Contains("/archives/category/") ||
u.Contains("/archives/tag/") ||
u.EndsWith(".com/") ||
u.EndsWith(".net/") ||
u.EndsWith(".jp/") ||
u.EndsWith(".site/") ||
u.EndsWith(".xyz/") ||
u.Contains("movie.eroterest.net");
}
}
@@ -0,0 +1,36 @@
using AngleSharp.Dom;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Core;
/// <summary>
/// 各サイト(動画配信元または中継ブログ)の解析・ストリーム抽出を行うリゾルバーのインターフェース
/// </summary>
internal interface IEroterestSiteResolver
{
/// <summary>
/// サイトの識別名(例: "doga", "blogterest", "laxd", "fc2")
/// </summary>
string SiteName { get; }
/// <summary>
/// リゾルバーのマッチング優先度(大きい値ほど優先的に評価)
/// </summary>
int Priority { get; }
/// <summary>
/// 指定されたURL(または既存のIDocument)をこのリゾルバーで処理可能かどうかを判定します。
/// </summary>
bool CanHandle(string url, IDocument? doc = null);
/// <summary>
/// 指定されたページを解析し、ストリームURL・元動画URL、または次に辿るべき候補リンクを抽出します。
/// </summary>
Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct);
}
@@ -0,0 +1,45 @@
using System;
using System.Collections.Generic;
namespace rss_generator.Class.Eroterest.Core;
/// <summary>
/// 記事ごとの多階層動画探索コンテキスト
/// </summary>
internal class SiteResolveContext
{
/// <summary>
/// 現在の階層深さ(1から開始)
/// </summary>
public int CurrentDepth { get; set; } = 1;
/// <summary>
/// 探索基準日時
/// </summary>
public DateTimeOffset ReferenceTime { get; set; } = DateTimeOffset.Now;
/// <summary>
/// キューに追加済みURLの集合(同一URLの二重キュー投入防止)
/// </summary>
public HashSet<string> EnqueuedUrls { get; set; } = new(StringComparer.OrdinalIgnoreCase);
/// <summary>
/// 訪問済みURLの集合(同一URLの二重取得・無限ループ防止)
/// </summary>
public HashSet<string> VisitedUrls { get; set; } = new(StringComparer.OrdinalIgnoreCase);
/// <summary>
/// 訪問したURLの経路履歴
/// </summary>
public List<string> TraversedRoute { get; set; } = new();
/// <summary>
/// 実際にHTTPリクエストを行って訪問したページ数
/// </summary>
public int VisitedPageCount { get; set; } = 0;
/// <summary>
/// 現在までに訪問した総ページ数
/// </summary>
public int TotalVisitedPages => VisitedPageCount;
}
@@ -0,0 +1,65 @@
using System;
using System.Collections.Generic;
namespace rss_generator.Class.Eroterest.Core;
/// <summary>
/// サイト別リゾルバーによる解析結果
/// </summary>
internal class SiteResolveResult
{
/// <summary>
/// 直接再生可能な動画ストリームURL(例: .m3u8, .mp4)
/// </summary>
public string? StreamUrl { get; set; }
/// <summary>
/// 実際の動画提供元ページURL(例: https://video.laxd.com/content/...)
/// </summary>
public string? VideoPageUrl { get; set; }
/// <summary>
/// 検出された動画サイト種別(例: "doga", "laxd", "fc2", "txxx", "upornia")
/// </summary>
public string? VideoSiteName { get; set; }
/// <summary>
/// 動画の識別子・ID
/// </summary>
public string? VideoSiteId { get; set; }
/// <summary>
/// 元の動画公開日(uploadDate 等)
/// </summary>
public DateTimeOffset? VideoUploadDate { get; set; }
/// <summary>
/// 記事の公開日(まとめ記事等の投稿日時)
/// </summary>
public DateTimeOffset? ArticlePublishDate { get; set; }
/// <summary>
/// 相対時間文字列(例: "4分前")
/// </summary>
public string? RelativeTimeText { get; set; }
/// <summary>
/// 探索経路
/// </summary>
public List<string> TraversedRoute { get; set; } = new();
/// <summary>
/// 中間記事やアンテナページの場合に、さらに奥へクロールする候補リンク一覧
/// </summary>
public List<string> NextCandidateUrls { get; set; } = new();
/// <summary>
/// 動画またはストリームが最終的に見つかったかどうか
/// </summary>
public bool HasFinalVideo => !string.IsNullOrWhiteSpace(StreamUrl) || !string.IsNullOrWhiteSpace(VideoPageUrl);
/// <summary>
/// 失敗またはスキップ用の空結果を生成
/// </summary>
public static SiteResolveResult Empty() => new();
}
@@ -0,0 +1,76 @@
using AngleSharp.Dom;
using rss_generator.Class.Eroterest.Blog2nt;
using rss_generator.Class.Eroterest.Blogterest;
using rss_generator.Class.Eroterest.Doga;
using rss_generator.Class.Eroterest.Fc2;
using rss_generator.Class.Eroterest.GalgalDoga;
using rss_generator.Class.Eroterest.Generic;
using rss_generator.Class.Eroterest.Inporn;
using rss_generator.Class.Eroterest.Laxd;
using rss_generator.Class.Eroterest.Ltt;
using rss_generator.Class.Eroterest.Senzuri;
using rss_generator.Class.Eroterest.Txxx;
using rss_generator.Class.Eroterest.Upornia;
using rss_generator.Class.Eroterest.Vjav;
using rss_generator.Class.Eroterest.WordPressBlog;
using rss_generator.Class.Eroterest.YouJizz;
using System;
using System.Collections.Generic;
using System.Linq;
namespace rss_generator.Class.Eroterest.Core;
/// <summary>
/// 各サイトのリゾルバーを一元管理し、最適なリゾルバーを解決するレジストリ
/// </summary>
internal static class SiteResolverRegistry
{
private static readonly List<IEroterestSiteResolver> _resolvers = new();
private static readonly GenericSiteResolver _genericResolver = new();
static SiteResolverRegistry()
{
// 優先度順に自動ソートされるよう登録
// 1. 動画配信元リゾルバー(高優先度: 即時ストリーム/動画判定)
Register(new DogaSiteResolver());
Register(new LaxdSiteResolver());
Register(new Fc2SiteResolver());
Register(new TxxxSiteResolver());
Register(new UporniaSiteResolver());
Register(new SenzuriSiteResolver());
Register(new VjavSiteResolver());
Register(new YouJizzSiteResolver());
Register(new InpornSiteResolver());
// 2. 中間ブログ・アンテナリゾルバー
Register(new GalgalDogaSiteResolver());
Register(new LttSiteResolver());
Register(new BlogterestSiteResolver());
Register(new Blog2ntSiteResolver());
Register(new WordPressBlogSiteResolver());
}
/// <summary>
/// 新しいリゾルバーを登録します。
/// </summary>
public static void Register(IEroterestSiteResolver resolver)
{
_resolvers.Add(resolver);
_resolvers.Sort((a, b) => b.Priority.CompareTo(a.Priority));
}
/// <summary>
/// 指定されたURL(およびIDocument)に最も合致するリゾルバーを取得します。
/// </summary>
public static IEroterestSiteResolver GetResolver(string url, IDocument? doc = null)
{
foreach (var r in _resolvers)
{
if (r.CanHandle(url, doc))
{
return r;
}
}
return _genericResolver;
}
}
@@ -0,0 +1,117 @@
using AngleSharp.Dom;
using rss_generator.Class.Common;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Text.Json;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Doga;
/// <summary>
/// エロタレドーガ (do-ga.eroterest.net) のページ解析リゾルバー
/// application/ld+json から直接再生用 m3u8 ストリームと uploadDate を抽出します。
/// </summary>
internal class DogaSiteResolver : IEroterestSiteResolver
{
public string SiteName => "doga";
public int Priority => 100; // 動画配信元として最優先
public bool CanHandle(string url, IDocument? doc = null)
{
return !string.IsNullOrWhiteSpace(url) && url.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase);
}
public async Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult
{
VideoPageUrl = url,
VideoSiteName = "doga"
};
// 動画ID抽出 (例: /video/detail/23683/)
var idMatch = Regex.Match(url, @"/video/(?:detail|play)/([0-9]+)");
if (idMatch.Success)
{
result.VideoSiteId = idMatch.Groups[1].Value;
}
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
if (doc == null) return result;
// 1. application/ld+json から contentUrl (h264.m3u8) と uploadDate を取得
var jsonLdScripts = doc.QuerySelectorAll("script[type='application/ld+json']");
foreach (var script in jsonLdScripts)
{
var content = script.TextContent;
if (string.IsNullOrWhiteSpace(content)) continue;
try
{
using var jsonDoc = JsonDocument.Parse(content);
var root = jsonDoc.RootElement;
// contentUrl
if (string.IsNullOrWhiteSpace(result.StreamUrl) && root.TryGetProperty("contentUrl", out var contentUrlProp))
{
var cUrl = contentUrlProp.GetString();
if (!string.IsNullOrWhiteSpace(cUrl))
{
result.StreamUrl = cUrl.Trim();
}
}
// uploadDate
if (!result.VideoUploadDate.HasValue && root.TryGetProperty("uploadDate", out var uploadDateProp))
{
var uDateStr = uploadDateProp.GetString();
if (!string.IsNullOrWhiteSpace(uDateStr) && DateTimeOffset.TryParse(uDateStr, out var parsedDate))
{
result.VideoUploadDate = parsedDate;
}
}
}
catch
{
// 正規表現フォールバック
if (string.IsNullOrWhiteSpace(result.StreamUrl))
{
var m = Regex.Match(content, @"""contentUrl""\s*:\s*""([^""]+)""");
if (m.Success)
{
result.StreamUrl = m.Groups[1].Value.Trim();
}
}
if (!result.VideoUploadDate.HasValue)
{
var m = Regex.Match(content, @"""uploadDate""\s*:\s*""([^""]+)""");
if (m.Success && DateTimeOffset.TryParse(m.Groups[1].Value, out var parsedDate))
{
result.VideoUploadDate = parsedDate;
}
}
}
}
// 2. video タグや source タグからのフォールバック抽出
if (string.IsNullOrWhiteSpace(result.StreamUrl))
{
var sourceEl = doc.QuerySelector("video source, video[src]");
var vSrc = sourceEl?.GetAttribute("src")?.Trim();
if (!string.IsNullOrWhiteSpace(vSrc))
{
result.StreamUrl = vSrc;
}
}
return result;
}
}
@@ -0,0 +1,48 @@
using AngleSharp.Dom;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Fc2;
/// <summary>
/// FC2 (adult.contents.fc2.com 等) の動画解析リゾルバー
/// アフィリエイトリンクや動画詳細ページから動画IDおよびプレイヤー情報を特定します。
/// </summary>
internal class Fc2SiteResolver : IEroterestSiteResolver
{
public string SiteName => "fc2";
public int Priority => 90;
public bool CanHandle(string url, IDocument? doc = null)
{
return !string.IsNullOrWhiteSpace(url) &&
(url.Contains("adult.contents.fc2.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("video.fc2.com", StringComparison.OrdinalIgnoreCase));
}
public Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult
{
VideoPageUrl = url,
VideoSiteName = "fc2"
};
// 動画ID抽出 (例: /article/123456/ または aid=123456)
var match = Regex.Match(url, @"(?:article/|aid=)([0-9]+)");
if (match.Success)
{
result.VideoSiteId = match.Groups[1].Value;
}
return Task.FromResult(result);
}
}
@@ -0,0 +1,112 @@
using AngleSharp.Dom;
using rss_generator.Class.Common;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.GalgalDoga;
/// <summary>
/// GalGalドーガ (galgaldoga.blogterest.net) 専用の解析リゾルバー
/// 記事内の「動画の再生はこちらから」リンク(.movie-frame a等)を最優先で特定し、
/// リンク先の実動画(inporn.com, bdsmx.tube等)を解決します。
/// </summary>
internal class GalgalDogaSiteResolver : IEroterestSiteResolver
{
public string SiteName => "galgaldoga";
public int Priority => 85;
public bool CanHandle(string url, IDocument? doc = null)
{
if (string.IsNullOrWhiteSpace(url)) return false;
return url.Contains("galgaldoga.blogterest.net", StringComparison.OrdinalIgnoreCase);
}
public async Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult();
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
if (doc == null) return result;
// 1. 記事投稿日の抽出
var dateEl = doc.QuerySelector(".entryDate, .post-date, time, .date");
var dateText = dateEl?.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
{
result.ArticlePublishDate = parsedDate;
}
// 2. 「動画の再生はこちらから」リンク(および .movie-frame a)の最優先探索
string? targetVideoUrl = null;
// A. リンクテキストに「動画の再生はこちらから」が含まれる a タグ
var playTextEl = doc.QuerySelectorAll("a[href]")
.FirstOrDefault(a => (a.TextContent?.Contains("動画の再生はこちらから") == true) ||
(a.TextContent?.Contains("動画の再生") == true));
if (playTextEl != null)
{
targetVideoUrl = playTextEl.GetAttribute("href")?.Trim();
}
// B. .movie-frame 配下の a タグ
if (string.IsNullOrWhiteSpace(targetVideoUrl))
{
var movieFrameEl = doc.QuerySelector(".movie-frame a[href]");
targetVideoUrl = movieFrameEl?.GetAttribute("href")?.Trim();
}
// C. その他の動画リンク(entryParts 配下など)
if (string.IsNullOrWhiteSpace(targetVideoUrl))
{
var entryPartsLinks = doc.QuerySelectorAll(".entryParts a[href], .entryImage a[href], .entryBody a[href]");
foreach (var a in entryPartsLinks)
{
var href = a.GetAttribute("href")?.Trim();
if (string.IsNullOrWhiteSpace(href)) continue;
if (href.Contains("inporn.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("bdsmx.tube", StringComparison.OrdinalIgnoreCase) ||
href.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
href.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase))
{
targetVideoUrl = href;
break;
}
}
}
// 実動画リンクが特定できた場合、即座に対応リゾルバーで解決
if (!string.IsNullOrWhiteSpace(targetVideoUrl))
{
result.NextCandidateUrls.Insert(0, targetVideoUrl);
var resolver = SiteResolverRegistry.GetResolver(targetVideoUrl);
var directResolve = await resolver.ResolveAsync(client, targetVideoUrl, null, context, ct);
if (directResolve.HasFinalVideo)
{
result.VideoPageUrl = directResolve.VideoPageUrl ?? targetVideoUrl;
result.VideoSiteName = directResolve.VideoSiteName;
result.VideoSiteId = directResolve.VideoSiteId;
result.StreamUrl = directResolve.StreamUrl;
result.VideoUploadDate = directResolve.VideoUploadDate;
}
else
{
result.VideoPageUrl = targetVideoUrl;
}
}
return result;
}
}
@@ -0,0 +1,94 @@
using AngleSharp.Dom;
using rss_generator.Class.Common;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Collections.Generic;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Generic;
/// <summary>
/// 未知のサイトやフォールバック用の汎用リゾルバー
/// ページ内のリンクや video タグ、ストリームURLを汎用的に探索します。
/// </summary>
internal class GenericSiteResolver : IEroterestSiteResolver
{
public string SiteName => "generic";
public int Priority => 0; // 最低優先度(フォールバック)
public bool CanHandle(string url, IDocument? doc = null) => true;
public async Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult();
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
if (doc == null) return result;
// 1. 直接埋め込まれたストリーム (m3u8, mp4)
var videoSources = doc.QuerySelectorAll("video source, video[src]");
foreach (var s in videoSources)
{
var src = s.GetAttribute("src")?.Trim();
if (!string.IsNullOrWhiteSpace(src))
{
if (src.Contains(".m3u8", StringComparison.OrdinalIgnoreCase) || src.Contains(".mp4", StringComparison.OrdinalIgnoreCase))
{
result.StreamUrl = src;
result.VideoSiteName = "direct";
return result;
}
}
}
// 2. ページ内のリンクから動画サイト候補を探索
var links = doc.QuerySelectorAll("a[href]");
var seen = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
foreach (var a in links)
{
var href = a.GetAttribute("href")?.Trim();
if (string.IsNullOrWhiteSpace(href) || href.Equals(url, StringComparison.OrdinalIgnoreCase)) continue;
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".gif", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".css", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".js", StringComparison.OrdinalIgnoreCase))
{
continue;
}
if (!seen.Add(href)) continue;
if (href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
href.Contains("video.laxd.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("adult.contents.fc2.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("hclips.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("hdzog.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
href.Contains("vjav.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("spankbang.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("xvideos.com", StringComparison.OrdinalIgnoreCase))
{
result.NextCandidateUrls.Insert(0, href);
}
else
{
result.NextCandidateUrls.Add(href);
}
}
return result;
}
}
@@ -0,0 +1,52 @@
using AngleSharp.Dom;
using rss_generator.Class.Common;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Inporn;
/// <summary>
/// InPorn (inporn.com) および同系統KVSサイト (bdsmx.tube 等) の動画ページ解析リゾルバー
/// URLから動画IDを抽出し、公式埋め込みプレイヤー等の動画情報を確定します。
/// </summary>
internal class InpornSiteResolver : IEroterestSiteResolver
{
public string SiteName => "inporn";
public int Priority => 90;
public bool CanHandle(string url, IDocument? doc = null)
{
if (string.IsNullOrWhiteSpace(url)) return false;
return url.Contains("inporn.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("bdsmx.tube", StringComparison.OrdinalIgnoreCase);
}
public Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult
{
VideoPageUrl = url
};
bool isBdsmx = url.Contains("bdsmx.tube", StringComparison.OrdinalIgnoreCase);
result.VideoSiteName = isBdsmx ? "bdsmx" : "inporn";
var match = Regex.Match(url, @"/video/([0-9]+)");
if (match.Success)
{
var videoId = match.Groups[1].Value;
result.VideoSiteId = videoId;
}
return Task.FromResult(result);
}
}
@@ -0,0 +1,46 @@
using AngleSharp.Dom;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Laxd;
/// <summary>
/// LAXD (video.laxd.com) の動画解析リゾルバー
/// 動画ページから動画IDおよびプレイヤー情報を特定します。
/// </summary>
internal class LaxdSiteResolver : IEroterestSiteResolver
{
public string SiteName => "laxd";
public int Priority => 90;
public bool CanHandle(string url, IDocument? doc = null)
{
return !string.IsNullOrWhiteSpace(url) && url.Contains("laxd.com", StringComparison.OrdinalIgnoreCase);
}
public Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult
{
VideoPageUrl = url,
VideoSiteName = "laxd"
};
// 動画ID抽出 (例: /content/123456/ または ?id=123456)
var match = Regex.Match(url, @"laxd\.com/(?:content/|embed/)?([0-9a-zA-Z_\-]+)");
if (match.Success)
{
result.VideoSiteId = match.Groups[1].Value;
}
return Task.FromResult(result);
}
}
@@ -0,0 +1,66 @@
using AngleSharp.Dom;
using rss_generator.Class.Common;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Ltt;
/// <summary>
/// ドーガの王国 (do-ga.ltt.jp) のページ解析リゾルバー
/// 記事からエロタレドーガ (do-ga.eroterest.net) へのリンクおよび記事公開日を抽出します。
/// </summary>
internal class LttSiteResolver : IEroterestSiteResolver
{
public string SiteName => "ltt";
public int Priority => 80;
public bool CanHandle(string url, IDocument? doc = null)
{
return !string.IsNullOrWhiteSpace(url) && url.Contains("do-ga.ltt.jp", StringComparison.OrdinalIgnoreCase);
}
public async Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult();
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
if (doc == null) return result;
// 記事公開日の抽出 (例: <time> や .date, YYYY/MM/DD)
var timeEl = doc.QuerySelector("time, .entryDate, .post-date");
var dateText = timeEl?.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
{
result.ArticlePublishDate = parsedDate;
}
// リンクの走査
var links = doc.QuerySelectorAll("a[href]");
foreach (var a in links)
{
var href = a.GetAttribute("href")?.Trim();
if (string.IsNullOrWhiteSpace(href)) continue;
// エロタレドーガの個別ページを優先
if (href.Contains("do-ga.eroterest.net/video/detail/", StringComparison.OrdinalIgnoreCase) ||
href.Contains("do-ga.eroterest.net/video/play/", StringComparison.OrdinalIgnoreCase))
{
result.NextCandidateUrls.Insert(0, href);
}
else if (href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase))
{
result.NextCandidateUrls.Add(href);
}
}
return result;
}
}
@@ -0,0 +1,83 @@
using System;
using System.Collections.Generic;
namespace rss_generator.Class.Eroterest;
/// <summary>
/// movie.eroterest.net の RSS 生成設定
/// </summary>
internal static class MovieEroterestConfig
{
/// <summary>
/// 出力サブディレクトリ(要求仕様: https://movie.eroterest.net/ に基づき movie.eroterest.net)
/// </summary>
public const string OutputSubDir = "movie.eroterest.net";
/// <summary>
/// サイトのベースURL
/// </summary>
public const string BaseUrl = "https://movie.eroterest.net";
/// <summary>
/// 新着動画ページURL
/// </summary>
public const string NewVideosUrl = "https://movie.eroterest.net/";
/// <summary>
/// 今日の人気動画ページURL
/// </summary>
public const string PopularVideosUrl = "https://movie.eroterest.net/popular/?days=0";
/// <summary>
/// WebImageViewer のベースURL
/// </summary>
public const string WebImageViewerBaseUrl = "https://udukipc-web.armonica-vps.work";
/// <summary>
/// 出力対象の主要カテゴリ一覧 (カテゴリ名, URL)
/// </summary>
public static readonly Dictionary<string, string> Categories = new(StringComparer.OrdinalIgnoreCase)
{
{ "素人", "https://movie.eroterest.net/?c=%E7%B4%A0%E4%BA%BA" },
{ "人妻", "https://movie.eroterest.net/?c=%E4%BA%BA%E5%A6%BB" },
{ "中出し", "https://movie.eroterest.net/?c=%E4%B8%AD%E5%87%BA%E3%81%97" },
{ "マジックミラー号", "https://movie.eroterest.net/?c=%E3%83%9E%E3%82%B8%E3%83%83%E3%82%AF%E3%83%9F%E3%83%A9%E3%83%BC%E5%8F%B7" },
{ "熟女", "https://movie.eroterest.net/?c=%E7%86%9F%E5%A5%B3" },
{ "巨乳", "https://movie.eroterest.net/?c=%E5%B7%A8%E4%B9%B3" }
};
/// <summary>
/// カテゴリ(タグ)別RSSの出力サブディレクトリ名
/// </summary>
public const string CategorySubDir = "categories";
/// <summary>
/// 各カテゴリ(タグ)別フィードで保持・出力する最大記事数
/// </summary>
public const int MaxArticlesPerCategoryFeed = 50;
/// <summary>
/// 各フィードで取得する最大記事数
/// </summary>
public const int MaxArticlesPerFeed = 20;
/// <summary>
/// 記事詳細およびブログ取得時の並列度
/// </summary>
public const int MaxParallelTasks = 3;
/// <summary>
/// RSS の pubDate に元動画の公開日を優先するかどうか(false の場合は記事の実際の公開日を優先し、元動画公開日は本文に記載)
/// </summary>
public const bool PreferOriginalVideoDateOverArticleDate = false;
/// <summary>
/// 1記事あたりの動画探索における最大リンク階層深度(10階層まで深掘り)
/// </summary>
public const int MaxCrawlDepth = 10;
/// <summary>
/// 1記事あたりの動画探索で訪問する最大ページ数(過剰クロール防止)
/// </summary>
public const int MaxCrawledPagesPerArticle = 30;
}
@@ -0,0 +1,452 @@
using AngleSharp.Dom;
using rss_generator.Class.Common;
using System;
using System.Collections.Generic;
using System.Diagnostics;
using System.IO;
using System.Linq;
using System.Net;
using System.ServiceModel.Syndication;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
using System.Xml;
namespace rss_generator.Class.Eroterest;
/// <summary>
/// movie.eroterest.net の RSS フィード生成・管理を行うクラス
/// 出力先: output/movie.eroterest.net/ (all.xml, popular.xml, categories/{タグ名}.xml)
/// </summary>
internal static class MovieEroterestFeedManager
{
/// <summary>
/// movie.eroterest.net の全フィード(新着、人気、各記事タグ別フィード)を生成します。
/// </summary>
public static async Task CreateAllRSSAsync(HttpClient client)
{
LogManager.AddLog("[情報] 【movie.eroterest.net】 フィード生成処理を開始します");
var sw = Stopwatch.StartNew();
try
{
// 全記事キャッシュ(URL をキーとして新着・人気から取得した全記事情報を集約)
var allArticles = new Dictionary<string, (SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info)>(StringComparer.OrdinalIgnoreCase);
// 1. 新着動画フィード (all.xml)
try
{
var newVideos = await GenerateFeedFromPageAsync(
client,
MovieEroterestConfig.NewVideosUrl,
"all.xml",
"動画エロタレスト - 新着エロ動画",
"動画エロタレストの最新新着エロ動画一覧(WebImageViewer対応)",
subDir: MovieEroterestConfig.OutputSubDir);
foreach (var entry in newVideos)
{
var key = entry.Info.ArticlePageUrl;
if (!string.IsNullOrWhiteSpace(key))
{
allArticles[key] = (entry.Item, entry.Info);
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [movie.eroterest.net] 新着フィード生成失敗: {ex.Message}");
}
// 2. 人気動画フィード (popular.xml)
try
{
var popularVideos = await GenerateFeedFromPageAsync(
client,
MovieEroterestConfig.PopularVideosUrl,
"popular.xml",
"動画エロタレスト - 今日の人気動画",
"動画エロタレストの今日人気ランキング動画一覧(WebImageViewer対応)",
subDir: MovieEroterestConfig.OutputSubDir);
foreach (var entry in popularVideos)
{
var key = entry.Info.ArticlePageUrl;
if (!string.IsNullOrWhiteSpace(key) && !allArticles.ContainsKey(key))
{
allArticles[key] = (entry.Item, entry.Info);
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [movie.eroterest.net] 人気フィード生成失敗: {ex.Message}");
}
// 3. 記事から取得した全タグに基づくカテゴリ別フィード (categories/{タグ名}.xml)
await GenerateTagFeedsAsync(client, allArticles.Values);
sw.Stop();
LogManager.AddLog($"[情報] 【movie.eroterest.net】 全フィード出力完了 ({sw.Elapsed.TotalSeconds:0.##}秒)");
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [movie.eroterest.net] 全体処理エラー: {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
/// <summary>
/// 取得した全記事のタグを網羅的に抽出し、各タグについての RSS フィード (categories/{タグ名}.xml) を生成・蓄積します。
/// </summary>
private static async Task GenerateTagFeedsAsync(
HttpClient client,
IEnumerable<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info)> articleEntries)
{
var articlesList = articleEntries.ToList();
if (articlesList.Count == 0)
{
LogManager.AddLog("[警告] [movie.eroterest.net] タグ別フィード生成対象の記事が存在しません");
return;
}
// 全記事からタグを収集(重複除外)
var allTags = articlesList
.SelectMany(a => a.Info.Tags)
.Where(t => !string.IsNullOrWhiteSpace(t))
.Select(t => t.Trim())
.Distinct(StringComparer.OrdinalIgnoreCase)
.OrderBy(t => t)
.ToList();
LogManager.AddLog($"[情報] 【movie.eroterest.net】 記事から抽出されたユニークなタグ数: {allTags.Count} 件");
var categorySubDir = Path.Combine(MovieEroterestConfig.OutputSubDir, MovieEroterestConfig.CategorySubDir);
int successCount = 0;
foreach (var tag in allTags)
{
var safeTagName = SanitizeFileName(tag);
if (string.IsNullOrWhiteSpace(safeTagName)) continue;
var fileName = $"{safeTagName}.xml";
// 今回取得した記事の中でそのタグを持つアイテム
var matchingItems = articlesList
.Where(a => a.Info.Tags.Any(t => string.Equals(t.Trim(), tag, StringComparison.OrdinalIgnoreCase)))
.Select(a => a.Item)
.ToList();
if (matchingItems.Count == 0) continue;
try
{
// 既存の XML ファイルがあれば読み込み、新着アイテムとマージして蓄積
var existingItems = LoadExistingFeedItems(fileName, categorySubDir);
var mergedItems = MergeFeedItems(matchingItems, existingItems, MovieEroterestConfig.MaxArticlesPerCategoryFeed);
var feed = new SyndicationFeed(
$"動画エロタレスト - {tag}",
$"動画エロタレストの「{tag}」タグ動画一覧(WebImageViewer対応)",
new Uri($"https://movie.eroterest.net/?word={Uri.EscapeDataString(tag)}")
)
{
Items = mergedItems
};
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, addDir: categorySubDir, embedBase64: false, filter24Hours: false);
successCount++;
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [movie.eroterest.net] タグ別フィード生成失敗 ({tag}): {ex.Message}");
}
}
LogManager.AddLog($"[情報] 【movie.eroterest.net】 カテゴリ(タグ)別フィード出力完了: {successCount}/{allTags.Count} 件成功");
}
/// <summary>
/// 指定されたページURLから記事一覧を取得・探索し、RSSフィードを出力します。また、解析された記事一覧を返します。
/// </summary>
private static async Task<List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>> GenerateFeedFromPageAsync(
HttpClient client,
string pageUrl,
string outputFileName,
string feedTitle,
string feedDescription,
string subDir)
{
var resultList = new List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>();
var doc = await CmnUtil.GetDocument(client, pageUrl);
if (doc == null)
{
LogManager.AddLog($"[警告] [movie.eroterest.net] ページ取得失敗: {pageUrl}");
return resultList;
}
// 記事カード一覧の抽出
var itemElements = doc.QuerySelectorAll(".itemWrapper, .imageListContent .item");
if (itemElements.Length == 0)
{
LogManager.AddLog($"[警告] [movie.eroterest.net] 記事要素が見つかりませんでした: {pageUrl}");
return resultList;
}
var feed = new SyndicationFeed(
feedTitle,
feedDescription,
new Uri(pageUrl)
);
var preliminaryItems = new List<(string ArticleUrl, string Title, string? Thumbnail, string? Duration, string? Provider, string? SiteName, string? ItemTime, int Order)>();
var seenUrls = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
int orderIndex = 0;
foreach (var itemEl in itemElements)
{
// 記事詳細URL (例: /page/44918986/)
var linkEl = itemEl.QuerySelector("a[href*='/page/']");
var rawHref = linkEl?.GetAttribute("href")?.Trim();
if (string.IsNullOrWhiteSpace(rawHref)) continue;
var fullUrl = rawHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
? rawHref
: $"{MovieEroterestConfig.BaseUrl.TrimEnd('/')}/{rawHref.TrimStart('/')}";
if (!seenUrls.Add(fullUrl)) continue;
// タイトル
var title = itemEl.QuerySelector(".itemTitle a")?.GetAttribute("title")?.Trim()
?? itemEl.QuerySelector(".itemTitle a")?.TextContent?.Trim()
?? "動画エロタレスト";
// サムネイル画像(picture source[srcset] の webp を最優先)
var sourceEl = itemEl.QuerySelector(".itemImage picture source[srcset]");
var thumbSrc = sourceEl?.GetAttribute("srcset");
if (string.IsNullOrWhiteSpace(thumbSrc))
{
var imgEl = itemEl.QuerySelector(".itemImage img");
thumbSrc = imgEl?.GetAttribute("src");
}
var normalizedThumb = MovieEroterestVideoParser.NormalizeThumbnailUrl(thumbSrc, pageUrl);
// 再生時間
var duration = itemEl.QuerySelector(".movieTime, .duration")?.TextContent?.Trim();
// プロバイダ名
var provider = itemEl.QuerySelector(".proName")?.TextContent?.Trim();
// まとめブログ名
var siteName = itemEl.QuerySelector(".itemSiteName")?.TextContent?.Trim();
// 記事公開時間(相対時間表記: 例 "4分前", "1時間前")
var itemTime = itemEl.QuerySelector(".itemTime")?.TextContent?.Trim();
preliminaryItems.Add((fullUrl, title, normalizedThumb, duration, provider, siteName, itemTime, orderIndex++));
if (preliminaryItems.Count >= MovieEroterestConfig.MaxArticlesPerFeed)
{
break;
}
}
// 基準時刻
var baseTime = DateTimeOffset.Now;
// 同時並行数を制御して各記事の詳細と動画探索を実行
using var semaphore = new SemaphoreSlim(MovieEroterestConfig.MaxParallelTasks);
var syndicationEntries = new List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>();
var tasks = preliminaryItems.Select(async item =>
{
await semaphore.WaitAsync();
try
{
var articleInfo = await MovieEroterestVideoParser.ParseArticleWithDeepSearchAsync(
client,
item.ArticleUrl,
item.Title,
item.Thumbnail,
item.Duration,
item.Provider,
item.SiteName,
item.ItemTime,
baseTime);
if (articleInfo != null)
{
var synItem = MovieEroterestVideoParser.CreateSyndicationItem(articleInfo);
lock (syndicationEntries)
{
syndicationEntries.Add((synItem, articleInfo, item.Order));
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [movie.eroterest.net] 記事解析失敗 ({item.ArticleUrl}): {ex.Message}");
}
finally
{
semaphore.Release();
}
});
await Task.WhenAll(tasks);
// 公開日時順(同日時の場合は一覧の掲載順を維持)にソート
var sortedEntries = syndicationEntries
.OrderByDescending(e => e.Item.PublishDate)
.ThenBy(e => e.Order)
.ToList();
feed.Items = sortedEntries.Select(e => e.Item).ToList();
// XML ファイルへ出力 (filter24Hours: false で直近取得分を確実に出力)
await CmnUtil.ExportXMLFileAsync(outputFileName, feed, client, addDir: subDir, embedBase64: false, filter24Hours: false);
return sortedEntries;
}
/// <summary>
/// ファイル名として使用できない不正な文字をサニタイズします。
/// </summary>
private static string SanitizeFileName(string name)
{
if (string.IsNullOrWhiteSpace(name)) return string.Empty;
var invalidChars = Path.GetInvalidFileNameChars();
var clean = string.Concat(name.Select(c => invalidChars.Contains(c) ? '_' : c));
return clean.Trim();
}
/// <summary>
/// 既存のXMLファイルから SyndicationItem を読み込みます。
/// </summary>
private static List<SyndicationItem> LoadExistingFeedItems(string fileName, string subDir)
{
var items = new List<SyndicationItem>();
var filePath = CmnUtil.GetExportXmlPath(fileName, subDir);
if (!File.Exists(filePath)) return items;
try
{
using var reader = XmlReader.Create(filePath);
var feed = SyndicationFeed.Load(reader);
if (feed?.Items != null)
{
foreach (var originalItem in feed.Items)
{
items.Add(CloneSyndicationItem(originalItem));
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [movie.eroterest.net] 既存フィード読み込み失敗 ({fileName}): {ex.Message}");
}
return items;
}
/// <summary>
/// 新着アイテムと既存アイテムをマージし、重複を排除して公開日時順にソートします。
/// 既存アイテムが存在する場合は前回のPublishDateおよびSummaryHtmlを最優先で維持し、
/// FreshRSSで更新されていない記事が未読化するのを防ぎます。
/// </summary>
private static List<SyndicationItem> MergeFeedItems(
IEnumerable<SyndicationItem> newItems,
IEnumerable<SyndicationItem> existingItems,
int maxCount)
{
var merged = new Dictionary<string, SyndicationItem>(StringComparer.OrdinalIgnoreCase);
// 1. 既存アイテムを追加
foreach (var item in existingItems)
{
var key = GetItemKey(item);
if (!string.IsNullOrWhiteSpace(key))
{
merged[key] = item;
}
}
// 2. 新着アイテムを追加(既存アイテムが存在する場合は公開日時および本文HTMLを固定)
foreach (var item in newItems)
{
var key = GetItemKey(item);
if (!string.IsNullOrWhiteSpace(key))
{
if (merged.TryGetValue(key, out var existing))
{
if (existing.PublishDate != DateTimeOffset.MinValue)
{
item.PublishDate = existing.PublishDate;
}
if (existing.LastUpdatedTime != DateTimeOffset.MinValue)
{
item.LastUpdatedTime = existing.LastUpdatedTime;
}
if (existing.Summary != null && !string.IsNullOrWhiteSpace(existing.Summary.Text))
{
item.Summary = new TextSyndicationContent(existing.Summary.Text, TextSyndicationContentKind.Html);
}
}
merged[key] = item;
}
}
// 3. 公開日降順でソート
return merged.Values
.OrderByDescending(i => i.PublishDate != DateTimeOffset.MinValue ? i.PublishDate : i.LastUpdatedTime)
.Take(maxCount)
.ToList();
}
/// <summary>
/// SyndicationItem の一意キーを取得します(GUID またはリンクURL)。
/// </summary>
private static string GetItemKey(SyndicationItem item)
{
if (!string.IsNullOrWhiteSpace(item.Id))
{
return item.Id;
}
var link = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
if (!string.IsNullOrWhiteSpace(link))
{
return link;
}
return item.Title?.Text ?? Guid.NewGuid().ToString();
}
/// <summary>
/// 既存の SyndicationItem から不要な名前空間や競合属性を除去したクローンを作成します。
/// </summary>
private static SyndicationItem CloneSyndicationItem(SyndicationItem original)
{
var link = original.Links.FirstOrDefault()?.Uri;
var clone = new SyndicationItem(
original.Title?.Text ?? string.Empty,
string.Empty,
link,
original.Id ?? (link?.ToString() ?? Guid.NewGuid().ToString()),
original.PublishDate != DateTimeOffset.MinValue ? original.PublishDate : original.LastUpdatedTime
)
{
PublishDate = original.PublishDate != DateTimeOffset.MinValue ? original.PublishDate : original.LastUpdatedTime,
LastUpdatedTime = original.LastUpdatedTime != DateTimeOffset.MinValue ? original.LastUpdatedTime : original.PublishDate,
Summary = original.Summary
};
foreach (var category in original.Categories)
{
if (!string.IsNullOrWhiteSpace(category.Name))
{
clone.Categories.Add(new SyndicationCategory(category.Name.Trim()));
}
}
return clone;
}
}
@@ -0,0 +1,565 @@
using AngleSharp.Dom;
using rss_generator.Class.Common;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Net;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.Json;
using System.Text.RegularExpressions;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest;
/// <summary>
/// movie.eroterest.net の記事詳細およびリンク先まとめブログ・実動画ページを探索・解析するクラス
/// </summary>
internal static class MovieEroterestVideoParser
{
/// <summary>
/// movie.eroterest.net の記事情報モデル
/// </summary>
public class EroterestArticleInfo
{
public string ArticleId { get; set; } = string.Empty;
public string Title { get; set; } = string.Empty;
public string ArticlePageUrl { get; set; } = string.Empty;
public string? ThumbnailUrl { get; set; }
public string? Duration { get; set; }
public string? Provider { get; set; }
public string? ClickCount { get; set; }
public List<string> Tags { get; set; } = new();
public List<string> Words { get; set; } = new();
public List<string> Actresses { get; set; } = new();
public DateTimeOffset PublishDate { get; set; } = DateTimeOffset.Now;
// 日付・公開日情報
public string? RelativeTimeText { get; set; }
public DateTimeOffset? ArticlePublishDate { get; set; }
public DateTimeOffset? VideoPublishDate { get; set; }
// 探索結果
public string? DestinationBlogUrl { get; set; }
public string? DestinationBlogSiteName { get; set; }
public string? ActualVideoUrl { get; set; }
public string? VideoSiteName { get; set; }
public string? VideoSiteId { get; set; }
public string? StreamUrl { get; set; }
public string? ViewerUrl { get; set; }
}
/// <summary>
/// 記事詳細ページおよびその内部リンク先(まとめブログ→実動画)を探索・解析して記事情報モデルを取得します。
/// </summary>
public static async Task<EroterestArticleInfo?> ParseArticleWithDeepSearchAsync(
HttpClient client,
string articleUrl,
string? preliminaryTitle = null,
string? preliminaryThumbnail = null,
string? preliminaryDuration = null,
string? preliminaryProvider = null,
string? preliminarySiteName = null,
string? preliminaryItemTime = null,
DateTimeOffset? referenceTime = null,
CancellationToken ct = default)
{
var info = new EroterestArticleInfo
{
ArticlePageUrl = articleUrl,
Title = preliminaryTitle ?? string.Empty,
ThumbnailUrl = NormalizeThumbnailUrl(preliminaryThumbnail),
Duration = preliminaryDuration,
Provider = preliminaryProvider,
DestinationBlogSiteName = preliminarySiteName,
RelativeTimeText = preliminaryItemTime
};
// 一覧から渡された相対時間(例: "4分前")から記事公開日を算出
if (!string.IsNullOrWhiteSpace(preliminaryItemTime))
{
info.ArticlePublishDate = ParseRelativeOrAbsoluteDate(preliminaryItemTime, referenceTime);
}
// 記事IDの抽出 (例: /page/44918986/)
var idMatch = Regex.Match(articleUrl, @"/page/([0-9]+)");
if (idMatch.Success)
{
info.ArticleId = idMatch.Groups[1].Value;
}
try
{
// 1. movie.eroterest.net 記事詳細ページの取得
var articleDoc = await CmnUtil.GetDocument(client, articleUrl, cancellationToken: ct);
if (articleDoc != null)
{
// タイトル取得
var h3Title = articleDoc.QuerySelector("h3")?.TextContent?.Trim();
var plainTitle = articleDoc.QuerySelector(".plainTitle")?.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(plainTitle))
{
info.Title = plainTitle;
}
else if (!string.IsNullOrWhiteSpace(h3Title))
{
info.Title = h3Title;
}
// サムネイル画像(picture source[srcset] の webp を最優先)
var sourceEl = articleDoc.QuerySelector(".itemImage picture source[srcset]");
var thumbSrc = sourceEl?.GetAttribute("srcset");
if (string.IsNullOrWhiteSpace(thumbSrc))
{
var imgEl = articleDoc.QuerySelector(".itemImage img");
thumbSrc = imgEl?.GetAttribute("src");
}
if (!string.IsNullOrWhiteSpace(thumbSrc) && !thumbSrc.StartsWith("data:"))
{
var normalizedThumb = NormalizeThumbnailUrl(thumbSrc, articleUrl);
if (!string.IsNullOrWhiteSpace(normalizedThumb))
{
info.ThumbnailUrl = normalizedThumb;
}
}
// 再生時間
var movieTime = articleDoc.QuerySelector(".movieTime")?.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(movieTime))
{
info.Duration = movieTime;
}
// プロバイダ名
var proName = articleDoc.QuerySelector(".proName")?.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(proName))
{
info.Provider = proName;
}
// クリック数
var clickEl = articleDoc.QuerySelector(".clickCnt")?.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(clickEl))
{
info.ClickCount = clickEl;
}
// 記事公開時間(詳細ページからフォールバック取得)
if (!info.ArticlePublishDate.HasValue)
{
var detailTime = articleDoc.QuerySelector(".itemFoot .itemTime, .itemTime")?.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(detailTime))
{
info.RelativeTimeText ??= detailTime;
info.ArticlePublishDate = ParseRelativeOrAbsoluteDate(detailTime, referenceTime);
}
}
// タグ
var tagElements = articleDoc.QuerySelectorAll(".itemTag a");
foreach (var t in tagElements)
{
var tagText = t.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(tagText) && !info.Tags.Contains(tagText))
{
info.Tags.Add(tagText);
}
}
// キーワード
var wordElements = articleDoc.QuerySelectorAll(".itemWords a");
foreach (var w in wordElements)
{
var wordText = w.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(wordText) && !info.Words.Contains(wordText) && !info.Tags.Contains(wordText))
{
info.Words.Add(wordText);
}
}
// 出演女優
var actressElements = articleDoc.QuerySelectorAll(".actressWrapper .itemTitle a");
foreach (var a in actressElements)
{
var actName = a.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(actName) && !info.Actresses.Contains(actName))
{
info.Actresses.Add(actName);
}
}
// まとめブログURLの特定
var blogLinkEl = articleDoc.QuerySelector(".gotoBlog a, a[onclick*='cntup'], .itemBody > a[href*='blogterest.net'], .itemBody > a[href*='page']");
var rawBlogHref = blogLinkEl?.GetAttribute("href")?.Trim();
if (!string.IsNullOrWhiteSpace(rawBlogHref))
{
info.DestinationBlogUrl = NormalizeUrl(rawBlogHref, articleUrl);
}
// まとめブログ名
var siteNameEl = articleDoc.QuerySelector(".itemSiteName a, .itemSiteName");
var siteName = siteNameEl?.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(siteName))
{
info.DestinationBlogSiteName = siteName;
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [EroterestParser] 記事詳細取得失敗 ({articleUrl}): {ex.Message}");
}
// 2. 内部リンクされているまとめブログ(*.blogterest.net/page/...等)から多階層で実動画を探索
var crawlStartUrl = !string.IsNullOrWhiteSpace(info.DestinationBlogUrl)
? info.DestinationBlogUrl
: info.ArticlePageUrl;
try
{
var crawlResult = await EroterestCrawler.CrawlAsync(client, crawlStartUrl, referenceTime, ct);
if (crawlResult.HasFinalVideo || !string.IsNullOrWhiteSpace(crawlResult.StreamUrl))
{
info.ActualVideoUrl = crawlResult.VideoPageUrl ?? crawlResult.StreamUrl;
info.VideoSiteName = crawlResult.VideoSiteName;
info.VideoSiteId = crawlResult.VideoSiteId;
info.StreamUrl = crawlResult.StreamUrl;
if (crawlResult.VideoUploadDate.HasValue)
{
info.VideoPublishDate = crawlResult.VideoUploadDate;
}
if (!info.ArticlePublishDate.HasValue && crawlResult.ArticlePublishDate.HasValue)
{
info.ArticlePublishDate = crawlResult.ArticlePublishDate;
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [EroterestParser] クロール探索失敗 ({crawlStartUrl}): {ex.Message}");
}
// 3. WebImageViewer の再生URLを決定
BuildViewerUrl(info);
// 4. RSS アイテムの日付を決定(設定・優先順位に基づく)
ResolvePublishDate(info);
return info;
}
/// <summary>
/// WebImageViewer の再生リンクを統一URL方式(https://udukipc-web.armonica-vps.work/?url=[ページURL])で生成します。
/// </summary>
private static void BuildViewerUrl(EroterestArticleInfo info)
{
string baseViewer = MovieEroterestConfig.WebImageViewerBaseUrl.TrimEnd('/');
// 統一URLパターン: https://udukipc-web.armonica-vps.work/?url=[各ページURL]
// 優先度: 実動画URL > エロタレスト記事URL > 中継ブログURL
string targetUrl = !string.IsNullOrWhiteSpace(info.ActualVideoUrl)
? info.ActualVideoUrl
: (!string.IsNullOrWhiteSpace(info.ArticlePageUrl)
? info.ArticlePageUrl
: (!string.IsNullOrWhiteSpace(info.DestinationBlogUrl)
? info.DestinationBlogUrl
: $"https://movie.eroterest.net/page/{info.ArticleId}/"));
info.ViewerUrl = $"{baseViewer}/?url={Uri.EscapeDataString(targetUrl)}";
}
/// <summary>
/// RSS の各アイテムの本文 HTML (Summary) を構築します。
/// </summary>
public static string BuildSummaryHtml(EroterestArticleInfo info)
{
var sb = new StringBuilder();
// 1. 最上部: WebImageViewer で動画を再生するボタンスタイルのバナー
sb.Append("<div style=\"margin-bottom: 14px; padding: 12px 16px; background: rgba(225, 29, 72, 0.08); border-radius: 8px; border-left: 5px solid #e11d48;\">");
sb.Append($"<p style=\"margin: 0 0 6px 0;\"><a href=\"{info.ViewerUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" style=\"font-weight: bold; font-size: 1.15em; color: #e11d48; text-decoration: none;\">▶ WebImageViewerで動画を再生する</a></p>");
// 実動画提供元・ブログ・エロタレストへの外部リンクリンク集
sb.Append("<div style=\"font-size: 0.88em; color: #64748b; display: flex; gap: 10px; flex-wrap: wrap;\">");
if (!string.IsNullOrWhiteSpace(info.ActualVideoUrl))
{
var siteLabel = !string.IsNullOrWhiteSpace(info.VideoSiteName) ? info.VideoSiteName.ToUpperInvariant() : "配信元";
sb.Append($"<a href=\"{info.ActualVideoUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"color: #475569;\">🔗 {siteLabel} 公式ページ</a>");
}
if (!string.IsNullOrWhiteSpace(info.DestinationBlogUrl))
{
var blogName = !string.IsNullOrWhiteSpace(info.DestinationBlogSiteName) ? info.DestinationBlogSiteName : "元まとめ記事";
sb.Append($"<a href=\"{info.DestinationBlogUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"color: #475569;\">📝 {blogName}</a>");
}
sb.Append($"<a href=\"{info.ArticlePageUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"color: #475569;\">🎬 エロタレスト記事</a>");
sb.Append("</div>");
sb.Append("</div>");
// 2. タイトルリンク
sb.Append($"<div style=\"margin-bottom: 10px;\"><a href=\"{info.ViewerUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" style=\"font-size: 1.15em; font-weight: bold; color: #1e293b; text-decoration: none;\">{WebUtility.HtmlEncode(info.Title)}</a></div>");
// 3. 動画プレイヤー / サムネイル画像
if (!string.IsNullOrWhiteSpace(info.StreamUrl))
{
// HLS / MP4 ストリーム動画プレビュー
sb.Append("<div style=\"margin-bottom: 12px;\">");
sb.Append($"<video controls preload=\"metadata\" poster=\"{info.ThumbnailUrl}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto; border-radius: 8px; box-shadow: 0 4px 12px rgba(0,0,0,0.15);\">");
sb.Append($"<source src=\"{info.StreamUrl}\" type=\"application/x-mpegURL\">");
sb.Append($"<p><a href=\"{info.ViewerUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">WebImageViewerで再生する</a></p>");
sb.Append("</video>");
sb.Append("</div>");
}
else if (!string.IsNullOrWhiteSpace(info.ThumbnailUrl))
{
// サムネイル画像
sb.Append("<div style=\"margin-bottom: 12px;\">");
sb.Append($"<a href=\"{info.ViewerUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">");
sb.Append($"<img src=\"{info.ThumbnailUrl}\" referrerpolicy=\"no-referrer\" alt=\"{WebUtility.HtmlEncode(info.Title)}\" style=\"max-width: 100%; height: auto; border-radius: 8px; box-shadow: 0 4px 12px rgba(0,0,0,0.1);\">");
sb.Append("</a>");
sb.Append("</div>");
}
// 4. メタ情報リスト(相対時間文字列や閲覧クリック数などの変動要素はハッシュ安定のため除外)
sb.Append("<ul style=\"font-size: 0.9em; color: #475569; list-style-type: none; padding-left: 0; margin: 8px 0; line-height: 1.6;\">");
if (info.ArticlePublishDate.HasValue)
{
sb.Append($"<li>📅 <strong>記事公開日:</strong> {info.ArticlePublishDate.Value:yyyy/MM/dd HH:mm}</li>");
}
if (info.VideoPublishDate.HasValue)
{
sb.Append($"<li>🎬 <strong>元動画公開日:</strong> {info.VideoPublishDate.Value:yyyy/MM/dd HH:mm}</li>");
}
if (!string.IsNullOrWhiteSpace(info.Provider))
{
sb.Append($"<li>🏷 <strong>配信元・プロバイダ:</strong> {WebUtility.HtmlEncode(info.Provider)}</li>");
}
if (!string.IsNullOrWhiteSpace(info.Duration))
{
sb.Append($"<li>⏱ <strong>再生時間:</strong> {WebUtility.HtmlEncode(info.Duration)}</li>");
}
if (info.Actresses.Count > 0)
{
var actressLinks = string.Join(" / ", info.Actresses.Select(a => $"<a href=\"https://movie.eroterest.net/?word={Uri.EscapeDataString(a)}\" target=\"_blank\" rel=\"noopener noreferrer\">{WebUtility.HtmlEncode(a)}</a>"));
sb.Append($"<li>❤️ <strong>出演女優:</strong> {actressLinks}</li>");
}
if (info.Tags.Count > 0)
{
var tagLinks = string.Join(" | ", info.Tags.Select(t => $"<a href=\"https://movie.eroterest.net/?word={Uri.EscapeDataString(t)}\" target=\"_blank\" rel=\"noopener noreferrer\">{WebUtility.HtmlEncode(t)}</a>"));
sb.Append($"<li>🏷 <strong>タグ:</strong> {tagLinks}</li>");
}
if (info.Words.Count > 0)
{
var wordLinks = string.Join(" ", info.Words.Take(15).Select(w => $"#{WebUtility.HtmlEncode(w)}"));
sb.Append($"<li>🔍 <strong>キーワード:</strong> <span style=\"color: #64748b;\">{wordLinks}</span></li>");
}
sb.Append("</ul>");
// 5. 下部リンクバー
sb.Append("<div style=\"margin-top: 12px; padding-top: 8px; border-top: 1px solid #e2e8f0; font-size: 0.95em;\">");
sb.Append($"<a href=\"{info.ViewerUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" style=\"font-weight: bold; color: #e11d48; text-decoration: none;\">▶ WebImageViewerで全画面再生</a>");
if (!string.IsNullOrWhiteSpace(info.ActualVideoUrl))
{
sb.Append($" | <a href=\"{info.ActualVideoUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"color: #64748b;\">公式配信先で視聴</a>");
}
sb.Append("</div>");
return sb.ToString();
}
/// <summary>
/// EroterestArticleInfo から SyndicationItem を生成します。
/// </summary>
public static SyndicationItem CreateSyndicationItem(EroterestArticleInfo info)
{
var itemUri = new Uri(info.ViewerUrl ?? info.ArticlePageUrl);
var item = new SyndicationItem(
info.Title,
string.Empty,
itemUri,
CmnUtil.CreateGuid(info.ArticlePageUrl),
info.PublishDate
)
{
PublishDate = info.PublishDate,
LastUpdatedTime = info.PublishDate
};
// カテゴリの追加(重複排除し、キーワードも漏れなく追加)
var seenCategories = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
void AddCategory(string? name)
{
var trimmed = name?.Trim();
if (!string.IsNullOrWhiteSpace(trimmed) && seenCategories.Add(trimmed))
{
item.Categories.Add(new SyndicationCategory(trimmed));
}
}
// 配信元プロバイダ
AddCategory(info.Provider);
// タグ
foreach (var tag in info.Tags)
{
AddCategory(tag);
}
// 出演女優
foreach (var actress in info.Actresses)
{
AddCategory(actress);
}
// キーワード(重複しないように追加)
foreach (var word in info.Words)
{
AddCategory(word);
}
// Summary HTML の設定
var summaryHtml = BuildSummaryHtml(info);
item.Summary = new TextSyndicationContent(summaryHtml, TextSyndicationContentKind.Html);
return item;
}
/// <summary>
/// 相対URLを絶対URLに正規化します。
/// </summary>
private static string NormalizeUrl(string url, string baseUrl)
{
if (string.IsNullOrWhiteSpace(url)) return string.Empty;
if (url.StartsWith("//"))
{
return "https:" + url;
}
if (url.StartsWith("http://", StringComparison.OrdinalIgnoreCase) || url.StartsWith("https://", StringComparison.OrdinalIgnoreCase))
{
return url;
}
if (Uri.TryCreate(new Uri(baseUrl), url, out var combinedUri))
{
return combinedUri.ToString();
}
return url;
}
/// <summary>
/// 設定および優先順位に基づいて RSS アイテムの公開日 (PublishDate) を決定します。
/// </summary>
public static void ResolvePublishDate(EroterestArticleInfo info)
{
if (MovieEroterestConfig.PreferOriginalVideoDateOverArticleDate && info.VideoPublishDate.HasValue)
{
info.PublishDate = info.VideoPublishDate.Value;
}
else if (info.ArticlePublishDate.HasValue)
{
info.PublishDate = info.ArticlePublishDate.Value;
}
else if (info.VideoPublishDate.HasValue)
{
info.PublishDate = info.VideoPublishDate.Value;
}
// フォールバック: 初期値 (DateTimeOffset.Now)
}
/// <summary>
/// 相対時間表記(例: "4秒前", "4分前", "11時間前", "1日前", "2か月前", "1年前")または絶対日付文字列から DateTimeOffset を算出します。
/// </summary>
public static DateTimeOffset? ParseRelativeOrAbsoluteDate(string? dateText, DateTimeOffset? referenceTime = null)
{
if (string.IsNullOrWhiteSpace(dateText)) return null;
var text = dateText.Trim();
var now = referenceTime ?? DateTimeOffset.Now;
// 1. 秒前
var secMatch = Regex.Match(text, @"^(\d+)\s*秒前");
if (secMatch.Success && int.TryParse(secMatch.Groups[1].Value, out int sec))
{
return now.AddSeconds(-sec);
}
// 2. 分前
var minMatch = Regex.Match(text, @"^(\d+)\s*分前");
if (minMatch.Success && int.TryParse(minMatch.Groups[1].Value, out int min))
{
return now.AddMinutes(-min);
}
// 3. 時間前
var hourMatch = Regex.Match(text, @"^(\d+)\s*時間前");
if (hourMatch.Success && int.TryParse(hourMatch.Groups[1].Value, out int hour))
{
return now.AddHours(-hour);
}
// 4. 日前
var dayMatch = Regex.Match(text, @"^(\d+)\s*日前");
if (dayMatch.Success && int.TryParse(dayMatch.Groups[1].Value, out int day))
{
return now.AddDays(-day);
}
// 5. か月前 / ヶ月前 / カ月前
var monthMatch = Regex.Match(text, @"^(\d+)\s*(?:か月|ヶ月|カ月)前");
if (monthMatch.Success && int.TryParse(monthMatch.Groups[1].Value, out int month))
{
return now.AddMonths(-month);
}
// 6. 年前
var yearMatch = Regex.Match(text, @"^(\d+)\s*年前");
if (yearMatch.Success && int.TryParse(yearMatch.Groups[1].Value, out int year))
{
return now.AddYears(-year);
}
// 7. 昨日・一昨日
if (text.StartsWith("昨日"))
{
return now.AddDays(-1);
}
if (text.StartsWith("一昨日"))
{
return now.AddDays(-2);
}
// 8. ISO 8601 または標準日時形式 (YYYY-MM-DD, YYYY/MM/DD 等)
if (DateTimeOffset.TryParse(text, out var parsedDto))
{
return parsedDto;
}
return null;
}
/// <summary>
/// サムネイル画像URLを正規化します。
/// 特に eroimg.net は jpeg への外部アクセスが 403 で遮断され webp のみが許可されているため、
/// /images/get/ -> /webp/get/ および .jpeg / .jpg -> .webp へ自動変換します。
/// </summary>
public static string? NormalizeThumbnailUrl(string? rawUrl, string? baseUrl = null)
{
if (string.IsNullOrWhiteSpace(rawUrl)) return null;
var url = NormalizeUrl(rawUrl, baseUrl ?? MovieEroterestConfig.BaseUrl);
if (string.IsNullOrWhiteSpace(url)) return null;
if (url.Contains("eroimg.net", StringComparison.OrdinalIgnoreCase))
{
// /images/get/ -> /webp/get/
url = Regex.Replace(url, @"/images/get/", "/webp/get/", RegexOptions.IgnoreCase);
// .jpeg / .jpg -> .webp
url = Regex.Replace(url, @"\.(?:jpeg|jpg)$", ".webp", RegexOptions.IgnoreCase);
}
return url;
}
}
@@ -0,0 +1,45 @@
using AngleSharp.Dom;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Senzuri;
/// <summary>
/// Senzuri (senzuri.tube) の動画解析リゾルバー
/// </summary>
internal class SenzuriSiteResolver : IEroterestSiteResolver
{
public string SiteName => "senzuri";
public int Priority => 90;
public bool CanHandle(string url, IDocument? doc = null)
{
return !string.IsNullOrWhiteSpace(url) && url.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase);
}
public Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult
{
VideoPageUrl = url,
VideoSiteName = "senzuri"
};
// 動画ID抽出 (例: /videos/10663687/...)
var match = Regex.Match(url, @"/videos/([0-9]+)");
if (match.Success)
{
result.VideoSiteId = match.Groups[1].Value;
}
return Task.FromResult(result);
}
}
@@ -0,0 +1,48 @@
using AngleSharp.Dom;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Txxx;
/// <summary>
/// TXXX グループ (txxx.com, hclips.com, hdzog.com) の動画解析リゾルバー
/// </summary>
internal class TxxxSiteResolver : IEroterestSiteResolver
{
public string SiteName => "txxx";
public int Priority => 90;
public bool CanHandle(string url, IDocument? doc = null)
{
return !string.IsNullOrWhiteSpace(url) &&
(url.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("hclips.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("hdzog.com", StringComparison.OrdinalIgnoreCase));
}
public Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult
{
VideoPageUrl = url,
VideoSiteName = "txxx"
};
// 動画ID抽出 (例: /videos/21779209/...)
var match = Regex.Match(url, @"/videos/([0-9]+)");
if (match.Success)
{
result.VideoSiteId = match.Groups[1].Value;
}
return Task.FromResult(result);
}
}
@@ -0,0 +1,45 @@
using AngleSharp.Dom;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Upornia;
/// <summary>
/// Upornia (upornia.com) の動画解析リゾルバー
/// </summary>
internal class UporniaSiteResolver : IEroterestSiteResolver
{
public string SiteName => "upornia";
public int Priority => 90;
public bool CanHandle(string url, IDocument? doc = null)
{
return !string.IsNullOrWhiteSpace(url) && url.Contains("upornia.com", StringComparison.OrdinalIgnoreCase);
}
public Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult
{
VideoPageUrl = url,
VideoSiteName = "upornia"
};
// 動画ID抽出 (例: /videos/6167135/...)
var match = Regex.Match(url, @"/videos/([0-9]+)");
if (match.Success)
{
result.VideoSiteId = match.Groups[1].Value;
}
return Task.FromResult(result);
}
}
@@ -0,0 +1,45 @@
using AngleSharp.Dom;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.Vjav;
/// <summary>
/// VJAV (vjav.com) の動画解析リゾルバー
/// </summary>
internal class VjavSiteResolver : IEroterestSiteResolver
{
public string SiteName => "vjav";
public int Priority => 90;
public bool CanHandle(string url, IDocument? doc = null)
{
return !string.IsNullOrWhiteSpace(url) && url.Contains("vjav.com", StringComparison.OrdinalIgnoreCase);
}
public Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult
{
VideoPageUrl = url,
VideoSiteName = "vjav"
};
// 動画ID抽出 (例: /videos/123456/...)
var match = Regex.Match(url, @"/videos/([0-9]+)");
if (match.Success)
{
result.VideoSiteId = match.Groups[1].Value;
}
return Task.FromResult(result);
}
}
@@ -0,0 +1,148 @@
using AngleSharp.Dom;
using rss_generator.Class.Common;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Collections.Generic;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.WordPressBlog;
/// <summary>
/// 独立系・WordPress系まとめブログ (mirinend-world, sakusaku-mikumiku, piran-nha, etc.) の解析リゾルバー
/// 記事本文から動画提供元リンクや別アンテナへのリンク、記事公開日を抽出します。
/// </summary>
internal class WordPressBlogSiteResolver : IEroterestSiteResolver
{
public string SiteName => "wordpress_blog";
public int Priority => 60;
public bool CanHandle(string url, IDocument? doc = null)
{
if (string.IsNullOrWhiteSpace(url)) return false;
// 主要な既知独立系まとめブログドメイン
return url.Contains("mirinend-world.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("sakusaku-mikumiku.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("iroharuka.net", StringComparison.OrdinalIgnoreCase) ||
url.Contains("piran-nha.site", StringComparison.OrdinalIgnoreCase) ||
url.Contains("mimozaa.tokyo", StringComparison.OrdinalIgnoreCase) ||
url.Contains("erogin.xyz", StringComparison.OrdinalIgnoreCase) ||
url.Contains("dokiwakuch.site", StringComparison.OrdinalIgnoreCase) ||
url.Contains("free-adufull.click", StringComparison.OrdinalIgnoreCase) ||
url.Contains("gorilla-sene.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("erostudio.net", StringComparison.OrdinalIgnoreCase) ||
url.Contains("bakunyu-eroland.net", StringComparison.OrdinalIgnoreCase) ||
url.Contains("erodouga-onaking.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("fetishavinfo.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("adgjmptwsh228.com", StringComparison.OrdinalIgnoreCase) ||
url.Contains("shico.xyz", StringComparison.OrdinalIgnoreCase) ||
url.Contains("happy-oppai.xyz", StringComparison.OrdinalIgnoreCase);
}
public async Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult();
var doc = preloadedDoc ?? await CmnUtil.GetDocument(client, url, cancellationToken: ct);
if (doc == null) return result;
// 1. 投稿日の抽出
var dateEl = doc.QuerySelector(".entry-date, .post-date, time, .posted-on, .date");
var dateText = dateEl?.TextContent?.Trim();
if (!string.IsNullOrWhiteSpace(dateText) && DateTimeOffset.TryParse(dateText, out var parsedDate))
{
result.ArticlePublishDate = parsedDate;
}
// 2. 本文および周辺リンクの走査
// 特に主要な動画枠(#kabuse #douga, .entry-content, article)を優先
var contentLinks = doc.QuerySelectorAll("#kabuse a, a#douga, .entry-content a, .post-content a, article a, main a");
var allLinks = contentLinks.Length > 0 ? contentLinks : doc.QuerySelectorAll("a[href]");
var seen = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
string? foundDirectVideoUrl = null;
foreach (var a in allLinks)
{
var href = a.GetAttribute("href")?.Trim();
if (string.IsNullOrWhiteSpace(href) || href.Equals(url, StringComparison.OrdinalIgnoreCase)) continue;
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".jpeg", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".gif", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".webp", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".css", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".js", StringComparison.OrdinalIgnoreCase) ||
href.Contains("/tag/", StringComparison.OrdinalIgnoreCase) ||
href.Contains("/category/", StringComparison.OrdinalIgnoreCase) ||
href.Contains("/author/", StringComparison.OrdinalIgnoreCase) ||
href.Contains("movie.eroterest.net", StringComparison.OrdinalIgnoreCase))
{
continue;
}
if (!seen.Add(href)) continue;
// 動画リンクかどうかの判定
bool isVideoUrl = href.Contains("inporn.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("bdsmx.tube", StringComparison.OrdinalIgnoreCase) ||
href.Contains("txxx.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("hclips.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("hdzog.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("senzuri.tube", StringComparison.OrdinalIgnoreCase) ||
href.Contains("upornia.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("do-ga.eroterest.net", StringComparison.OrdinalIgnoreCase) ||
href.Contains("video.laxd.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("adult.contents.fc2.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("vjav.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("spankbang.com", StringComparison.OrdinalIgnoreCase) ||
href.Contains("xvideos.com", StringComparison.OrdinalIgnoreCase);
if (isVideoUrl)
{
if (foundDirectVideoUrl == null)
{
foundDirectVideoUrl = href;
}
result.NextCandidateUrls.Insert(0, href);
}
else if (result.NextCandidateUrls.Count < 5) // 不要な大量リンクのエンキューを抑制
{
// 別アンテナ・まとめブログへのリンク候補
if (href.Contains("archives/") || href.Contains("/entry/") || href.Contains(".html") || href.Contains("/page/"))
{
result.NextCandidateUrls.Add(href);
}
}
}
// 動画リンクが発見された場合は即座にリゾルバーで動画情報を解決
if (!string.IsNullOrWhiteSpace(foundDirectVideoUrl))
{
var targetResolver = SiteResolverRegistry.GetResolver(foundDirectVideoUrl);
var directResolve = await targetResolver.ResolveAsync(client, foundDirectVideoUrl, null, context, ct);
if (directResolve.HasFinalVideo)
{
result.VideoPageUrl = directResolve.VideoPageUrl ?? foundDirectVideoUrl;
result.VideoSiteName = directResolve.VideoSiteName;
result.VideoSiteId = directResolve.VideoSiteId;
result.StreamUrl = directResolve.StreamUrl;
result.VideoUploadDate = directResolve.VideoUploadDate;
}
else
{
result.VideoPageUrl = foundDirectVideoUrl;
}
}
return result;
}
}
@@ -0,0 +1,45 @@
using AngleSharp.Dom;
using rss_generator.Class.Eroterest.Core;
using System;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.Eroterest.YouJizz;
/// <summary>
/// YouJizz (youjizz.com) の動画解析リゾルバー
/// </summary>
internal class YouJizzSiteResolver : IEroterestSiteResolver
{
public string SiteName => "youjizz";
public int Priority => 90;
public bool CanHandle(string url, IDocument? doc = null)
{
return !string.IsNullOrWhiteSpace(url) && url.Contains("youjizz.com", StringComparison.OrdinalIgnoreCase);
}
public Task<SiteResolveResult> ResolveAsync(
HttpClient client,
string url,
IDocument? preloadedDoc,
SiteResolveContext context,
CancellationToken ct)
{
var result = new SiteResolveResult
{
VideoPageUrl = url,
VideoSiteName = "youjizz"
};
// 動画ID抽出 (例: /videos/-74135932.html)
var match = Regex.Match(url, @"/videos/(?:-)?([0-9]+)");
if (match.Success)
{
result.VideoSiteId = match.Groups[1].Value;
}
return Task.FromResult(result);
}
}
+7 -23
View File
@@ -1,4 +1,4 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using System;
using System.Collections.Generic;
using System.IO;
@@ -53,19 +53,11 @@ internal static class hentaipaw
// 既存の hentaipaw.xml から各記事(タイトル・本文・日時・カテゴリ)を読み込んでキャッシュ化
var existingEntries = LoadExistingEntries("hentaipaw.xml");
// 外部からセッションが渡されなかった場合は自前で作成
bool ownSession = sessionId == null;
if (ownSession)
{
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
}
try
{
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
var document = await CmnUtil.GetDocumentFlareSolverr(client, TargetUrl, session: sessionId);
if (document == null)
{
LogManager.AddLog("[警告] [hentaipaw] トップページの取得に失敗しました。");
LogManager.AddLog("[警告] 【hentaipaw】 トップページの取得に失敗しました。");
return;
}
@@ -150,9 +142,9 @@ internal static class hentaipaw
summaryHtml = prevEntry.SummaryHtml;
// 既存キャッシュに WebImageViewer のリンクが含まれていない場合はリンクを自動補完
if (!summaryHtml.Contains("udukipc-web.armonica-vps.work/hentaipaw/"))
if (!summaryHtml.Contains("udukipc-web.armonica-vps.work/?url="))
{
string galleryUrl = $"https://udukipc-web.armonica-vps.work/hentaipaw/{Uri.EscapeDataString(articleId)}/";
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString($"https://ja.hentaipaw.com/articles/{articleId}")}";
string viewerUrl = $"https://ja.hentaipaw.com/viewer?articleId={Uri.EscapeDataString(articleId)}&page=1";
// 上部案内ブロックに WebImageViewer リンクを挿入
@@ -316,7 +308,7 @@ internal static class hentaipaw
// 本文 HTML (Summary) の生成
var body = new StringBuilder();
string viewerUrl = $"https://ja.hentaipaw.com/viewer?articleId={Uri.EscapeDataString(articleId)}&page=1";
string galleryUrl = $"https://udukipc-web.armonica-vps.work/hentaipaw/{Uri.EscapeDataString(articleId)}/";
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString($"https://ja.hentaipaw.com/articles/{articleId}")}";
// 1. WebImageViewer リンク & 公式ビュワーリンク & 外部リンク
body.Append($@"<div style=""margin-bottom: 12px; padding: 10px 14px; background: rgba(59, 130, 246, 0.08); border-radius: 8px; border-left: 4px solid #3b82f6;"">");
@@ -408,18 +400,10 @@ internal static class hentaipaw
feed.Items = items;
await CmnUtil.ExportXMLFileAsync("hentaipaw.xml", feed, client, filter24Hours: false);
}
finally
{
if (ownSession && sessionId != null)
{
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] hentaipaw: {ex.Message}");
LogManager.AddLog($"[エラー] 【hentaipaw】 {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
+111 -10
View File
@@ -1,4 +1,4 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using AngleSharp.Html.Parser;
using System;
@@ -61,15 +61,69 @@ internal class index_japanese
}
}
// 重複除外(IDベース)
var uniqueItems = items
.GroupBy(x => x.Id)
.Select(g => g.First())
// 既存フィードを読み込み、過去の公開日時・更新日時・本文HTMLを引き継ぐ
var existingEntries = LoadExistingEntries("hitomi-japanese.xml");
// 既存エントリの引き継ぎとマージ
var mergedDict = new Dictionary<string, SyndicationItem>(StringComparer.OrdinalIgnoreCase);
// まず既存フィードの全アイテムを登録
foreach (var kvp in existingEntries)
{
var entry = kvp.Value;
if (!mergedDict.ContainsKey(entry.Guid))
{
var synItem = new SyndicationItem(
entry.Title,
(string?)null,
!string.IsNullOrEmpty(entry.Link) ? new Uri(entry.Link) : null,
entry.Guid,
entry.PublishDate != DateTimeOffset.MinValue ? entry.PublishDate : entry.LastUpdatedTime
)
{
PublishDate = entry.PublishDate != DateTimeOffset.MinValue ? entry.PublishDate : entry.LastUpdatedTime,
LastUpdatedTime = entry.LastUpdatedTime != DateTimeOffset.MinValue ? entry.LastUpdatedTime : entry.PublishDate,
Summary = new TextSyndicationContent(entry.SummaryHtml, TextSyndicationContentKind.Html)
};
foreach (var author in entry.Authors)
{
synItem.Authors.Add(new SyndicationPerson { Name = author });
}
foreach (var category in entry.Categories)
{
synItem.Categories.Add(new SyndicationCategory(category));
}
mergedDict[entry.Guid] = synItem;
}
}
// 今回取得したアイテムを反映(既存がある場合は前回の公開日時・本文HTMLを最優先で維持)
foreach (var newItem in items)
{
if (!string.IsNullOrEmpty(newItem.Id))
{
if (existingEntries.TryGetValue(newItem.Id, out var existing))
{
newItem.PublishDate = existing.PublishDate != DateTimeOffset.MinValue ? existing.PublishDate : newItem.PublishDate;
newItem.LastUpdatedTime = existing.LastUpdatedTime != DateTimeOffset.MinValue ? existing.LastUpdatedTime : newItem.LastUpdatedTime;
if (!string.IsNullOrWhiteSpace(existing.SummaryHtml))
{
newItem.Summary = new TextSyndicationContent(existing.SummaryHtml, TextSyndicationContentKind.Html);
}
}
mergedDict[newItem.Id] = newItem;
}
}
// 重複除外とソート(新しい順)
var finalItems = mergedDict.Values
.OrderByDescending(x => x.PublishDate != DateTimeOffset.MinValue ? x.PublishDate : x.LastUpdatedTime)
.Take(100)
.ToList();
feed.Items = uniqueItems;
feed.Items = finalItems;
await CmnUtil.ExportXMLFileAsync("hitomi-japanese.xml", feed, client);
await CmnUtil.ExportXMLFileAsync("hitomi-japanese.xml", feed, client, filter24Hours: false);
}
catch (Exception ex)
{
@@ -204,9 +258,10 @@ internal class index_japanese
// HTML構築
var body = new StringBuilder();
if (!string.IsNullOrEmpty(galleryId))
if (!string.IsNullOrEmpty(linkHref))
{
string galleryUrl = $"https://udukipc-web.armonica-vps.work/hitomi/{galleryId}";
// WebImageViewer統一リンク (https://udukipc-web.armonica-vps.work/?url=[ページURL])
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(linkHref)}";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
@@ -228,4 +283,50 @@ internal class index_japanese
return result;
}
}
/// <summary>
/// 既存の hitomi-japanese.xml を読み込み、GUIDおよびURLをキーとするキャッシュ辞書を返します。
/// </summary>
private static Dictionary<string, (string Guid, string Link, string Title, string SummaryHtml, DateTimeOffset PublishDate, DateTimeOffset LastUpdatedTime, List<string> Authors, List<string> Categories)> LoadExistingEntries(string fileName)
{
var dict = new Dictionary<string, (string Guid, string Link, string Title, string SummaryHtml, DateTimeOffset PublishDate, DateTimeOffset LastUpdatedTime, List<string> Authors, List<string> Categories)>(StringComparer.OrdinalIgnoreCase);
var filePath = CmnUtil.GetExportXmlPath(fileName);
if (!System.IO.File.Exists(filePath)) return dict;
try
{
using var reader = System.Xml.XmlReader.Create(filePath);
var feed = SyndicationFeed.Load(reader);
if (feed?.Items != null)
{
foreach (var item in feed.Items)
{
string guid = item.Id ?? string.Empty;
string link = item.Links.FirstOrDefault()?.Uri?.ToString() ?? string.Empty;
string title = item.Title?.Text ?? string.Empty;
string summary = item.Summary?.Text ?? string.Empty;
DateTimeOffset pubDate = item.PublishDate;
DateTimeOffset lastUpdated = item.LastUpdatedTime;
var authors = item.Authors.Select(a => a.Name).Where(n => !string.IsNullOrEmpty(n)).ToList();
var categories = item.Categories.Select(c => c.Name).Where(n => !string.IsNullOrEmpty(n)).ToList();
var entry = (guid, link, title, summary, pubDate, lastUpdated, authors, categories);
if (!string.IsNullOrEmpty(guid) && !dict.ContainsKey(guid))
{
dict[guid] = entry;
}
if (!string.IsNullOrEmpty(link) && !dict.ContainsKey(link))
{
dict[link] = entry;
}
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] 【hitomi-japanese】 既存フィード読み込み失敗 ({fileName}): {ex.Message}");
}
return dict;
}
}
@@ -0,0 +1,547 @@
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Net.Http;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.Json;
using System.Text.RegularExpressions;
using System.Threading.Tasks;
using System.Xml;
using rss_generator.Class.Common;
namespace rss_generator.Class.JapaneseAvi;
/// <summary>
/// japaneseavi.blogspot.com から記事情報を収集し、RSS フィード (japaneseavi.xml) を生成するクラスです。
/// </summary>
internal class japaneseavi
{
#region □定数(Private)
/// <summary>
/// プロジェクト固有規則に基づく出力先ドメインディレクトリ名です。
/// </summary>
private const string DomainDir = "japaneseavi.blogspot.com";
/// <summary>
/// キャッシュ判定用の最新フォーマット識別子です。
/// </summary>
private const string CacheFormatTag = "avi-format-v1";
#endregion
#region □クラス(Private)
/// <summary>
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
/// </summary>
private sealed class ExistingFeedEntry
{
/// <summary>記事のタイトルを取得または設定します。</summary>
public string Title { get; set; } = string.Empty;
/// <summary>記事の本文 HTML (Summary) を取得または設定します。</summary>
public string SummaryHtml { get; set; } = string.Empty;
/// <summary>記事の初回公開日時を取得または設定します。</summary>
public DateTimeOffset PublishDate { get; set; }
/// <summary>記事の最終更新日時を取得または設定します。</summary>
public DateTimeOffset LastUpdatedTime { get; set; }
}
/// <summary>
/// ダウンロードリンクの情報を保持する内部クラスです。
/// </summary>
private sealed class DownloadItem
{
/// <summary>プロバイダー名を取得または設定します。</summary>
public string ProviderName { get; set; } = "Mediafire";
/// <summary>ダウンロード先 URL を取得または設定します。</summary>
public string DownloadUrl { get; set; } = string.Empty;
}
/// <summary>
/// 解析された記事詳細情報を保持する内部クラスです。
/// </summary>
private sealed class ArticleDetailInfo
{
/// <summary>品番(例: SOE-798, MXGS-422 等)を取得または設定します。</summary>
public string ProductId { get; set; } = string.Empty;
/// <summary>整形されたタイトル文字列を取得または設定します。</summary>
public string CleanTitle { get; set; } = string.Empty;
/// <summary>メディア形式(例: DVD, WMV 等)を取得または設定します。</summary>
public string MediaFormat { get; set; } = string.Empty;
/// <summary>メインカバー画像の URL を取得または設定します。</summary>
public string ImageUrl { get; set; } = string.Empty;
/// <summary>ダウンロードリンク一覧を取得または設定します。</summary>
public List<DownloadItem> Downloads { get; set; } = new();
}
#endregion
#region □メソッド(Public)
/// <summary>
/// japaneseavi.blogspot.com から記事情報を収集し、RSS フィード (japaneseavi.xml) を生成・出力します。
/// プロジェクト固有規則に基づき、ドメイン別ディレクトリ output/japaneseavi.blogspot.com/ に出力します。
/// </summary>
/// <param name="client">HTTP 通信用 HttpClient</param>
/// <returns>非同期タスク</returns>
public static async Task CreateRSSAsync(HttpClient client)
{
var feedUrl = "https://japaneseavi.blogspot.com/feeds/posts/default?alt=json&max-results=50";
var fileName = "japaneseavi.xml";
var feed = new SyndicationFeed("Japanese Porn Movie XXX Mediafire", "japaneseavi.blogspot.com RSS Feed", new Uri("https://japaneseavi.blogspot.com/"));
var items = new List<SyndicationItem>();
try
{
// 既存フィードの読み込み(ドメイン別サブディレクトリ)
var existingEntries = LoadExistingEntries(fileName);
// Blogger JSON フィードを取得
string jsonString = await client.GetStringAsync(feedUrl);
using var jsonDoc = JsonDocument.Parse(jsonString);
if (!jsonDoc.RootElement.TryGetProperty("feed", out var feedElem) ||
!feedElem.TryGetProperty("entry", out var entriesElem) ||
entriesElem.ValueKind != JsonValueKind.Array)
{
LogManager.AddLog("[情報] 【japaneseavi】 エントリが見つかりませんでした。");
return;
}
foreach (var entry in entriesElem.EnumerateArray())
{
// タイトル取得
string rawTitle = string.Empty;
if (entry.TryGetProperty("title", out var titleElem) &&
titleElem.TryGetProperty("$t", out var titleTextElem))
{
rawTitle = titleTextElem.GetString() ?? string.Empty;
}
// 記事リンクの取得
string articleUrl = string.Empty;
if (entry.TryGetProperty("link", out var linkArrayElem) && linkArrayElem.ValueKind == JsonValueKind.Array)
{
foreach (var linkElem in linkArrayElem.EnumerateArray())
{
if (linkElem.TryGetProperty("rel", out var relElem) && relElem.GetString() == "alternate" &&
linkElem.TryGetProperty("href", out var hrefElem))
{
articleUrl = hrefElem.GetString() ?? string.Empty;
break;
}
}
}
if (string.IsNullOrWhiteSpace(articleUrl))
{
continue;
}
var itemUri = new Uri(articleUrl);
var guid = CmnUtil.CreateGuid(articleUrl);
// 公開日時・更新日時の取得
DateTimeOffset publishDate = DateTimeOffset.Now;
DateTimeOffset updatedDate = DateTimeOffset.Now;
if (entry.TryGetProperty("published", out var pubElem) && pubElem.TryGetProperty("$t", out var pubTextElem))
{
if (DateTimeOffset.TryParse(pubTextElem.GetString(), out var dt))
{
publishDate = dt;
}
}
if (entry.TryGetProperty("updated", out var updElem) && updElem.TryGetProperty("$t", out var updTextElem))
{
if (DateTimeOffset.TryParse(updTextElem.GetString(), out var dt))
{
updatedDate = dt;
}
}
// 本文 HTML (content) の取得
string rawContent = string.Empty;
if (entry.TryGetProperty("content", out var contentElem) &&
contentElem.TryGetProperty("$t", out var contentTextElem))
{
rawContent = contentTextElem.GetString() ?? string.Empty;
}
existingEntries.TryGetValue(articleUrl, out var prevEntry);
if (prevEntry == null && !string.IsNullOrEmpty(guid))
{
existingEntries.TryGetValue(guid, out prevEntry);
}
// 最新フォーマット識別子 avi-format-v1 が含まれているキャッシュのみ再利用
bool isLatestFormat = prevEntry != null &&
prevEntry.SummaryHtml.Contains("avi-dl-section") &&
prevEntry.SummaryHtml.Contains(CacheFormatTag);
SyndicationItem item;
if (isLatestFormat && prevEntry != null)
{
// 【キャッシュヒット(未更新記事)】
item = new SyndicationItem(
prevEntry.Title,
(string?)null,
itemUri,
guid,
prevEntry.LastUpdatedTime
)
{
PublishDate = prevEntry.PublishDate,
LastUpdatedTime = prevEntry.LastUpdatedTime,
Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html)
};
}
else
{
// 【新規記事またはフォーマット更新記事】
var detailInfo = ParseArticleContent(rawTitle, rawContent);
// フォルダ名用タイトルの構築: [品番] タイトル [メディア形式]
string folderTitle = BuildFolderTitle(detailInfo, rawTitle);
// 本文 HTML の構築(フォルダ名コピー枠、タイトル表示、直下ダウンロードグリッド、高画質カバー画像)
string summaryHtml = BuildSummaryHtml(detailInfo, folderTitle, itemUri);
item = new SyndicationItem(
folderTitle,
(string?)null,
itemUri,
guid,
updatedDate
)
{
PublishDate = publishDate,
LastUpdatedTime = updatedDate,
Summary = new TextSyndicationContent(summaryHtml, TextSyndicationContentKind.Html)
};
}
items.Add(item);
}
feed.Items = items;
// プロジェクト固有規則に従い、ドメイン名サブディレクトリ (output/japaneseavi.blogspot.com/japaneseavi.xml) に出力
await CmnUtil.ExportXMLFileAsync(
fileName,
feed,
client,
addDir: DomainDir,
embedBase64: false,
filter24Hours: false);
LogManager.AddLog($"[情報] 【japaneseavi】 出力完了 - 記事数: {items.Count}");
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 【japaneseavi】 {ex.Message}");
}
}
#endregion
#region □メソッド(Private)
/// <summary>
/// タイトルおよび本文 HTML から各種情報(品番、クリーンタイトル、メディア形式、画像、ダウンロードリンク)を抽出・解析します。
/// </summary>
private static ArticleDetailInfo ParseArticleContent(string rawTitle, string rawContent)
{
var info = new ArticleDetailInfo();
// 1. 品番(Product ID)の抽出(例: SOE-798, MXGS-422, ONSD-643, XV-1077, WDI-028, ONED-448 等)
var pidMatch = Regex.Match(rawTitle, @"\b([A-Z0-9]{2,5}-\d{3,4})\b", RegexOptions.IgnoreCase);
if (pidMatch.Success)
{
info.ProductId = pidMatch.Groups[1].Value.ToUpperInvariant();
}
// 2. メディア形式(DVD, WMV 等)の抽出
var formatMatch = Regex.Match(rawTitle, @"\[(DVD|WMV|MP4|AVI|HD|FHD)\]|\b(DVD|WMV|MP4|AVI)\b", RegexOptions.IgnoreCase);
if (formatMatch.Success)
{
string fmt = !string.IsNullOrWhiteSpace(formatMatch.Groups[1].Value)
? formatMatch.Groups[1].Value
: formatMatch.Groups[2].Value;
info.MediaFormat = fmt.ToUpperInvariant();
}
// 3. タイトル文字列のクリーンアップ([CEN], [DVD], 品番などを整理)
string clean = rawTitle;
clean = Regex.Replace(clean, @"\[?CEN\]?", "", RegexOptions.IgnoreCase);
clean = Regex.Replace(clean, @"\[(DVD|WMV|MP4|AVI|HD|FHD)\]", "", RegexOptions.IgnoreCase);
if (!string.IsNullOrWhiteSpace(info.ProductId))
{
clean = Regex.Replace(clean, @"[\[\(\{]?" + Regex.Escape(info.ProductId) + @"[\]\)\}]?", "", RegexOptions.IgnoreCase);
}
// 前後の記号や空白を整形
clean = clean.Trim(' ', '-', '–', '—', ':', '・', '[', ']', '(', ')');
clean = Regex.Replace(clean, @"\s{2,}", " ").Trim();
info.CleanTitle = clean;
// 4. 高解像度メイン画像の抽出
var imgMatch = Regex.Match(rawContent, @"<a[^>]+href=""([^""]+\.(?:jpg|jpeg|png|webp))""[^>]*>[\s\S]*?<img", RegexOptions.IgnoreCase);
if (imgMatch.Success)
{
info.ImageUrl = imgMatch.Groups[1].Value;
}
else
{
var directImg = Regex.Match(rawContent, @"<img[^>]+src=""([^""]+)""", RegexOptions.IgnoreCase);
if (directImg.Success)
{
info.ImageUrl = directImg.Groups[1].Value;
}
}
// 5. ダウンロードリンクの抽出
var aMatches = Regex.Matches(rawContent, @"<a\s+[^>]*href=""([^""]+)""[^>]*>([\s\S]*?)</a>", RegexOptions.IgnoreCase);
foreach (Match a in aMatches)
{
string href = a.Groups[1].Value;
string text = Regex.Replace(a.Groups[2].Value, @"<[^>]+>", "").Trim();
// 画像リンクそのものは除外
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".webp", StringComparison.OrdinalIgnoreCase))
{
continue;
}
if (href.Contains("adf.ly", StringComparison.OrdinalIgnoreCase) ||
href.Contains("mediafire.com", StringComparison.OrdinalIgnoreCase) ||
text.Contains("download", StringComparison.OrdinalIgnoreCase) ||
text.Contains("mediafire", StringComparison.OrdinalIgnoreCase))
{
string provider = "Mediafire";
if (text.Contains("Mediafire", StringComparison.OrdinalIgnoreCase))
{
provider = "Mediafire";
}
info.Downloads.Add(new DownloadItem
{
ProviderName = provider,
DownloadUrl = href
});
}
}
return info;
}
/// <summary>
/// 解析情報から Windows のフォルダ名としてコピー可能なタイトル文字列を生成します。
/// </summary>
private static string BuildFolderTitle(ArticleDetailInfo info, string fallbackRawTitle)
{
var sb = new StringBuilder();
// 1. 品番を先頭に配置
if (!string.IsNullOrWhiteSpace(info.ProductId))
{
sb.Append($"[{info.ProductId}] ");
}
// 2. クリーンタイトル
if (!string.IsNullOrWhiteSpace(info.CleanTitle))
{
sb.Append(info.CleanTitle);
}
else
{
sb.Append(fallbackRawTitle);
}
// 3. メディア形式(末尾に付加)
if (!string.IsNullOrWhiteSpace(info.MediaFormat) &&
!sb.ToString().Contains(info.MediaFormat, StringComparison.OrdinalIgnoreCase))
{
sb.Append($" [{info.MediaFormat}]");
}
return SanitizeWindowsPath(sb.ToString().Trim());
}
/// <summary>
/// 整形された本文 HTML を生成します。
/// フォルダ名コピー枠、タイトル表示、直下ダウンロードグリッド、高画質カバー画像を配置します。
/// </summary>
private static string BuildSummaryHtml(ArticleDetailInfo info, string folderTitle, Uri articleUri)
{
var sb = new StringBuilder();
// 1. バッジ
sb.Append("<div style=\"margin-bottom: 12px;\">");
sb.Append("<span style=\"display: inline-block; background-color: #c2185b; color: #ffffff; padding: 4px 10px; border-radius: 4px; font-weight: bold; font-size: 13px;\">🎬 JAV (Japanese Adult Video)</span>");
if (!string.IsNullOrWhiteSpace(info.ProductId))
{
sb.Append($"<span style=\"display: inline-block; background-color: #374151; color: #ffffff; padding: 4px 8px; border-radius: 4px; font-size: 13px; font-weight: bold; margin-left: 8px;\">🏷️ {WebUtility.HtmlEncode(info.ProductId)}</span>");
}
if (!string.IsNullOrWhiteSpace(info.MediaFormat))
{
sb.Append($"<span style=\"display: inline-block; background-color: #1976d2; color: #ffffff; padding: 4px 8px; border-radius: 4px; font-size: 13px; font-weight: bold; margin-left: 8px;\">💿 {WebUtility.HtmlEncode(info.MediaFormat)}</span>");
}
sb.Append("</div>");
// 2. フォルダ名用タイトルコピー枠(ワンクリック全選択コピー可能)
sb.Append($"<div class=\"avi-folder-title {CacheFormatTag}\" style=\"background-color: #f3f4f6; border-left: 4px solid #374151; padding: 10px 14px; margin-bottom: 12px; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Helvetica, Arial, sans-serif; border-radius: 0 4px 4px 0;\">");
sb.Append("<div style=\"font-size: 11px; font-weight: bold; color: #4b5563; margin-bottom: 4px;\">📁 フォルダ名用タイトル (コピー用):</div>");
sb.Append($"<div style=\"font-size: 15px; font-weight: bold; color: #111827; user-select: all; -webkit-user-select: all;\">{WebUtility.HtmlEncode(folderTitle)}</div>");
sb.Append("</div>");
// 3. タイトル・詳細情報ブロック
sb.Append("<div class=\"avi-info-block\" style=\"background-color: #f8fafc; border-left: 4px solid #0284c7; padding: 8px 12px; margin-bottom: 12px; font-size: 14px; border-radius: 0 4px 4px 0;\">");
if (!string.IsNullOrWhiteSpace(info.ProductId))
{
sb.Append($"<div style=\"margin-bottom: 4px;\"><strong style=\"color: #0369a1;\">品番 (Product ID):</strong> <span>{WebUtility.HtmlEncode(info.ProductId)}</span></div>");
}
if (!string.IsNullOrWhiteSpace(info.CleanTitle))
{
sb.Append($"<div><strong style=\"color: #0369a1;\">作品名 (Title):</strong> <span>{WebUtility.HtmlEncode(info.CleanTitle)}</span></div>");
}
sb.Append("</div>");
// 4. ダウンロードセクション (avi-dl-section) - タイトル直下に整然としたグリッドレイアウトで配置
if (info.Downloads.Any())
{
sb.Append("<div class=\"avi-dl-section\" style=\"background-color: #f7f9fa; border: 1px solid #cfd8dc; border-radius: 6px; padding: 14px; margin-top: 10px; margin-bottom: 14px; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Helvetica, Arial, sans-serif;\">");
sb.Append("<h4 style=\"margin: 0 0 10px 0; font-size: 16px; border-bottom: 2px solid #e53935; padding-bottom: 6px; color: #c62828;\">");
sb.Append("📥 ダウンロード (DOWNLOAD)");
sb.Append("</h4>");
sb.Append("<div style=\"display: grid; grid-template-columns: repeat(auto-fill, minmax(200px, 1fr)); gap: 8px; margin-bottom: 6px;\">");
foreach (var dl in info.Downloads)
{
if (!string.IsNullOrWhiteSpace(dl.DownloadUrl))
{
sb.Append($"<a href=\"{dl.DownloadUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"display: flex; align-items: center; justify-content: center; gap: 6px; text-align: center; background-color: #1976d2; color: #ffffff; padding: 10px 14px; border-radius: 4px; text-decoration: none; font-weight: bold; font-size: 13px; box-shadow: 0 1px 3px rgba(0,0,0,0.12);\">");
sb.Append($"<span>⬇️</span> <span>{WebUtility.HtmlEncode(dl.ProviderName)} Download</span>");
sb.Append("</a>");
}
}
sb.Append("</div>");
sb.Append("</div>");
}
// 5. メインカバー画像(高画質表示)
if (!string.IsNullOrWhiteSpace(info.ImageUrl))
{
sb.Append("<div style=\"margin-bottom: 14px; text-align: center;\">");
sb.Append($"<img src=\"{info.ImageUrl}\" referrerpolicy=\"no-referrer\" alt=\"{WebUtility.HtmlEncode(folderTitle)}\" style=\"max-width: 100%; height: auto; border-radius: 4px; box-shadow: 0 2px 4px rgba(0,0,0,0.15);\" />");
sb.Append("</div>");
}
// 6. 記事ページへのリンク
sb.Append("<div style=\"margin-top: 16px; padding-top: 10px; border-top: 1px solid #e0e0e0; font-size: 13px;\">");
sb.Append($"<a href=\"{articleUri}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"color: #1976d2; text-decoration: none;\">🔗 japaneseavi.blogspot.com 記事ページを開く</a>");
sb.Append("</div>");
return sb.ToString();
}
/// <summary>
/// Windows のフォルダ名に使用できない記号文字を全角文字に置換します。
/// </summary>
private static string SanitizeWindowsPath(string name)
{
if (string.IsNullOrWhiteSpace(name))
{
return string.Empty;
}
return name
.Replace('\\', '¥')
.Replace('/', '/')
.Replace(':', ':')
.Replace('*', '*')
.Replace('?', '?')
.Replace('"', '”')
.Replace('<', '<')
.Replace('>', '>')
.Replace('|', '|')
.Trim();
}
/// <summary>
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。
/// プロジェクト固有規則に基づき、ドメイン別サブディレクトリ(output/japaneseavi.blogspot.com/)内のファイルを読み込みます。
/// </summary>
/// <param name="fileName">XML ファイル名</param>
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
{
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
try
{
string xmlPath = CmnUtil.GetExportXmlPath(fileName, addDir: DomainDir);
if (!File.Exists(xmlPath))
{
return existingEntries;
}
using var reader = XmlReader.Create(xmlPath);
var existingFeed = SyndicationFeed.Load(reader);
if (existingFeed?.Items != null)
{
foreach (var item in existingFeed.Items)
{
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
var guid = item.Id;
var entry = new ExistingFeedEntry
{
Title = item.Title?.Text?.Trim() ?? string.Empty,
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
PublishDate = item.PublishDate != DateTimeOffset.MinValue
? item.PublishDate
: (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now),
LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue
? item.LastUpdatedTime
: (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now)
};
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
{
existingEntries[linkUrl] = entry;
}
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
{
existingEntries[guid] = entry;
}
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[情報] japaneseavi 既存エントリ読み込みスキップ: {ex.Message}");
}
return existingEntries;
}
#endregion
}
+2 -2
View File
@@ -1,4 +1,4 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using System;
using System.Collections.Generic;
@@ -120,7 +120,7 @@ internal class javtwi
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] javtwi:{ex.Message}");
LogManager.AddLog($"[エラー] 【javtwi】 {ex.Message}");
}
}
}
+651
View File
@@ -0,0 +1,651 @@
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Net.Http;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.Json;
using System.Text.RegularExpressions;
using System.Threading.Tasks;
using System.Xml;
using rss_generator.Class.Common;
namespace rss_generator.Class.Jpfiles;
/// <summary>
/// jpfiles.net から最新記事を収集し、RSS フィード (jpfiles.xml) を生成・出力するクラスです。
/// </summary>
internal class jpfiles
{
#region □定数(Private)
/// <summary>
/// プロジェクト固有規則に基づく出力先ドメインディレクトリ名です。
/// </summary>
private const string DomainDir = "jpfiles.net";
/// <summary>
/// キャッシュ判定用の最新フォーマット識別子です。
/// </summary>
private const string CacheFormatTag = "jpfiles-format-v2";
#endregion
#region □クラス(Private)
/// <summary>
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
/// </summary>
private sealed class ExistingFeedEntry
{
/// <summary>記事のタイトルを取得または設定します。</summary>
public string Title { get; set; } = string.Empty;
/// <summary>記事の本文 HTML (Summary) を取得または設定します。</summary>
public string SummaryHtml { get; set; } = string.Empty;
/// <summary>記事の初回公開日時を取得または設定します。</summary>
public DateTimeOffset PublishDate { get; set; }
/// <summary>記事の最終更新日時を取得または設定します。</summary>
public DateTimeOffset LastUpdatedTime { get; set; }
}
/// <summary>
/// 各種アップローダーのダウンロードリンク情報を保持する内部クラスです。
/// </summary>
private sealed class DownloadItem
{
/// <summary>プロバイダー名(Rapidgator, Katfile, Nitroflare 等)を取得または設定します。</summary>
public string ProviderName { get; set; } = string.Empty;
/// <summary>ダウンロード用 URL を取得または設定します。</summary>
public string Url { get; set; } = string.Empty;
/// <summary>パート名またはファイル名表示(例: Part 1, Part 2, Full)を取得または設定します。</summary>
public string PartLabel { get; set; } = string.Empty;
/// <summary>ボタンスタイルの背景色カラーコードを取得または設定します。</summary>
public string BgColor { get; set; } = "#1976d2";
}
/// <summary>
/// 解析された記事詳細情報を保持する内部クラスです。
/// </summary>
private sealed class ArticleInfo
{
/// <summary>記事 ID を取得または設定します。</summary>
public long Id { get; set; }
/// <summary>記事の URL を取得または設定します。</summary>
public string Url { get; set; } = string.Empty;
/// <summary>元記事の生のタイトルを取得または設定します。</summary>
public string RawTitle { get; set; } = string.Empty;
/// <summary>Windows フォルダ名用に整形されたタイトルを取得または設定します。</summary>
public string CleanTitle { get; set; } = string.Empty;
/// <summary>カテゴリ・品番タグ(例: [BDRIP], [DVDRIP], [Onlyfans] 等)を取得または設定します。</summary>
public string CategoryTag { get; set; } = string.Empty;
/// <summary>記事の公開日時を取得または設定します。</summary>
public DateTimeOffset PublishDate { get; set; }
/// <summary>カバー画像の URL を取得または設定します。</summary>
public string CoverImageUrl { get; set; } = string.Empty;
/// <summary>カバー画像の原寸リンク URL を取得または設定します。</summary>
public string CoverOriginalUrl { get; set; } = string.Empty;
/// <summary>ダウンロードリンク一覧を取得または設定します。</summary>
public List<DownloadItem> Downloads { get; set; } = new();
}
#endregion
#region □メソッド(Public)
/// <summary>
/// jpfiles.net から記事情報を収集し、RSS フィード (jpfiles.xml) を生成・出力します。
/// プロジェクト固有規則に基づき、ドメイン別ディレクトリ output/jpfiles.net/ に出力します。
/// </summary>
/// <param name="client">HTTP 通信用 HttpClient</param>
/// <returns>非同期タスク</returns>
public static async Task CreateRSSAsync(HttpClient client)
{
var feedUrl = "https://jpfiles.net/wp-json/wp/v2/posts?per_page=50";
var fileName = "jpfiles.xml";
var feed = new SyndicationFeed(
"jpfiles.net 最新ダウンロード",
"jpfiles.net の最新記事およびダイレクトダウンロードリンク一覧",
new Uri("https://jpfiles.net/"));
var items = new List<SyndicationItem>();
try
{
// 既存フィードの読み込み(ドメイン別サブディレクトリ output/jpfiles.net/jpfiles.xml)
var existingEntries = LoadExistingEntries(fileName);
// WordPress REST API から JSON データを取得
using var request = new HttpRequestMessage(HttpMethod.Get, feedUrl);
request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
var response = await client.SendAsync(request);
response.EnsureSuccessStatusCode();
var jsonString = await response.Content.ReadAsStringAsync();
using var jsonDoc = JsonDocument.Parse(jsonString);
if (jsonDoc.RootElement.ValueKind != JsonValueKind.Array)
{
LogManager.AddLog("[情報] 【jpfiles】 記事データが配列形式ではありませんでした。");
return;
}
foreach (var postElem in jsonDoc.RootElement.EnumerateArray())
{
var id = postElem.TryGetProperty("id", out var idElem) ? idElem.GetInt64() : 0;
var articleUrl = postElem.TryGetProperty("link", out var linkElem) ? linkElem.GetString() ?? string.Empty : string.Empty;
var rawTitle = string.Empty;
if (postElem.TryGetProperty("title", out var titleElem) &&
titleElem.TryGetProperty("rendered", out var titleTextElem))
{
rawTitle = titleTextElem.GetString() ?? string.Empty;
}
var contentHtml = string.Empty;
if (postElem.TryGetProperty("content", out var contentElem) &&
contentElem.TryGetProperty("rendered", out var contentTextElem))
{
contentHtml = contentTextElem.GetString() ?? string.Empty;
}
// 公開日時 (date または date_gmt) を日本時間 (JST = UTC+9) として厳密に解釈
var pubDate = DateTimeOffset.Now;
if (postElem.TryGetProperty("date", out var dateElem) &&
DateTime.TryParse(dateElem.GetString(), out var parsedLocal))
{
// date はサイト現地時刻(日本時間相当の文字列)のため JST (+09:00) として解釈
pubDate = new DateTimeOffset(parsedLocal, TimeSpan.FromHours(9));
}
else if (postElem.TryGetProperty("date_gmt", out var dateGmtElem) &&
DateTime.TryParse(dateGmtElem.GetString(), out var parsedGmt))
{
// date_gmt は GMT/UTC のため UTC として設定後に JST (+09:00) へ変換
var utcDate = DateTime.SpecifyKind(parsedGmt, DateTimeKind.Utc);
pubDate = new DateTimeOffset(utcDate).ToOffset(TimeSpan.FromHours(9));
}
if (string.IsNullOrWhiteSpace(articleUrl) || string.IsNullOrWhiteSpace(rawTitle))
{
continue;
}
// プロジェクト共通仕様に基づく一意な GUID (SHA512ハッシュ) の生成
var guid = CmnUtil.CreateGuid(articleUrl);
// 既存キャッシュの確認
if (existingEntries.TryGetValue(articleUrl, out var cached) &&
!string.IsNullOrWhiteSpace(cached.SummaryHtml) &&
cached.SummaryHtml.Contains(CacheFormatTag))
{
var item = new SyndicationItem(
cached.Title,
cached.SummaryHtml,
new Uri(articleUrl),
guid,
cached.LastUpdatedTime)
{
PublishDate = cached.PublishDate
};
items.Add(item);
continue;
}
// 記事の解析
var article = ParseArticle(id, rawTitle, contentHtml, articleUrl, pubDate);
// 本文 HTML の生成
var summaryHtml = GenerateSummaryHtml(article);
var newItem = new SyndicationItem(
article.CleanTitle,
summaryHtml,
new Uri(article.Url),
guid,
article.PublishDate)
{
PublishDate = article.PublishDate
};
items.Add(newItem);
}
// 既存フィードのうち API に含まれなかった未重複記事をマージ(最大100件まで保持)
foreach (var kvp in existingEntries)
{
var oldGuid = CmnUtil.CreateGuid(kvp.Key);
if (items.Any(i => i.Id == oldGuid || i.Links.Any(l => l.Uri.ToString().Equals(kvp.Key, StringComparison.OrdinalIgnoreCase))))
{
continue;
}
var oldItem = new SyndicationItem(
kvp.Value.Title,
kvp.Value.SummaryHtml,
new Uri(kvp.Key),
oldGuid,
kvp.Value.LastUpdatedTime)
{
PublishDate = kvp.Value.PublishDate
};
items.Add(oldItem);
if (items.Count >= 100)
{
break;
}
}
feed.Items = items;
// ドメイン別ディレクトリ output/jpfiles.net/jpfiles.xml に出力
await CmnUtil.ExportXMLFileAsync(
fileName,
feed,
client,
addDir: DomainDir,
embedBase64: false,
filter24Hours: false);
LogManager.AddLog($"[情報] 【jpfiles】 出力完了: {items.Count} 件 (フォルダ: {DomainDir})");
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 【jpfiles】 RSS生成処理中にエラーが発生しました: {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
#endregion
#region □メソッド(Private)
/// <summary>
/// 既存の RSS フィードファイルから記事情報を読み込み、URL をキーとする辞書として取得します。
/// </summary>
/// <param name="fileName">読み込む XML ファイル名</param>
/// <returns>既存記事辞書</returns>
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
{
var result = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
var filePath = CmnUtil.GetExportXmlPath(fileName, DomainDir);
if (!File.Exists(filePath))
{
return result;
}
try
{
using var reader = XmlReader.Create(filePath);
var feed = SyndicationFeed.Load(reader);
if (feed?.Items == null)
{
return result;
}
foreach (var item in feed.Items)
{
var link = item.Links.FirstOrDefault()?.Uri?.ToString() ?? item.Id;
if (string.IsNullOrWhiteSpace(link) || result.ContainsKey(link))
{
continue;
}
var title = item.Title?.Text ?? string.Empty;
var summary = item.Summary?.Text ?? string.Empty;
result[link] = new ExistingFeedEntry
{
Title = title,
SummaryHtml = summary,
PublishDate = item.PublishDate,
LastUpdatedTime = item.LastUpdatedTime
};
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] 【jpfiles】 既存フィード読み込み中にエラーが発生しました: {ex.Message}");
}
return result;
}
/// <summary>
/// 生のタイトルおよび本文 HTML から記事詳細情報(タイトル整形、画像、ダウンロードリンク)を解析します。
/// </summary>
/// <param name="id">記事 ID</param>
/// <param name="rawTitle">生のタイトル文字列</param>
/// <param name="contentHtml">本文 HTML</param>
/// <param name="articleUrl">記事の URL</param>
/// <param name="pubDate">公開日時</param>
/// <returns>解析された記事詳細情報</returns>
private static ArticleInfo ParseArticle(long id, string rawTitle, string contentHtml, string articleUrl, DateTimeOffset pubDate)
{
var decodedTitle = WebUtility.HtmlDecode(rawTitle).Trim();
// カテゴリタグの抽出(例: [BDRIP], [DVDRIP], [Onlyfans], [Minisuka] 等)
var categoryTag = string.Empty;
var tagMatch = Regex.Match(decodedTitle, @"^\s*(\[[^\]]+\])");
if (tagMatch.Success)
{
categoryTag = tagMatch.Groups[1].Value.Trim();
}
// Windows フォルダ名禁止文字の全角置換
var cleanTitle = SanitizeForWindows(decodedTitle);
var article = new ArticleInfo
{
Id = id,
Url = articleUrl,
RawTitle = decodedTitle,
CleanTitle = cleanTitle,
CategoryTag = categoryTag,
PublishDate = pubDate
};
// 画像の抽出(Pixhost または TurboImageHost 等)
ExtractImages(contentHtml, article);
// ダウンロードリンクの抽出(Rapidgator, Katfile, Nitroflare, Frdl 等)
article.Downloads = ExtractDownloads(contentHtml);
return article;
}
/// <summary>
/// 本文 HTML からサムネイル画像および原寸表示用 URL を抽出して記事情報に設定します。
/// </summary>
/// <param name="contentHtml">本文 HTML</param>
/// <param name="article">記事詳細情報オブジェクト</param>
private static void ExtractImages(string contentHtml, ArticleInfo article)
{
if (string.IsNullOrWhiteSpace(contentHtml))
{
return;
}
// 1. サムネイル画像 <img src="..."> の抽出
var imgMatches = Regex.Matches(contentHtml, @"<img[^>]+src=[""']([^""']+)[""']", RegexOptions.IgnoreCase);
foreach (Match match in imgMatches)
{
var src = match.Groups[1].Value.Trim();
if (string.IsNullOrWhiteSpace(src))
{
continue;
}
// Pixhost サムネイル等の画像を採用
if (src.Contains("pixhost.cc") || src.Contains("turboimagehost.com") || src.Contains(".jpg") || src.Contains(".png") || src.Contains(".webp"))
{
article.CoverImageUrl = src;
break;
}
}
// 2. 原寸表示リンク <a href="https://pixhost.cc/show/..."> の抽出
var aMatches = Regex.Matches(contentHtml, @"<a[^>]+href=[""']([^""']+)[""']", RegexOptions.IgnoreCase);
foreach (Match match in aMatches)
{
var href = match.Groups[1].Value.Trim();
if (href.Contains("pixhost.cc/show/") || href.Contains("turboimagehost.com/p/"))
{
article.CoverOriginalUrl = href;
break;
}
}
// 原寸リンクが見つからず画像のみある場合は画像URLを代用
if (string.IsNullOrWhiteSpace(article.CoverOriginalUrl) && !string.IsNullOrWhiteSpace(article.CoverImageUrl))
{
article.CoverOriginalUrl = article.CoverImageUrl;
}
}
/// <summary>
/// 本文 HTML から主要アップローダーのダウンロードリンクを抽出してリストとして取得します。
/// </summary>
/// <param name="contentHtml">本文 HTML</param>
/// <returns>ダウンロードリンク一覧</returns>
private static List<DownloadItem> ExtractDownloads(string contentHtml)
{
var downloads = new List<DownloadItem>();
if (string.IsNullOrWhiteSpace(contentHtml))
{
return downloads;
}
// 本文内のすべての <a href="..."> タグを探索
var matches = Regex.Matches(contentHtml, @"<a[^>]+href=[""']([^""']+)[""'][^>]*>(.*?)</a>", RegexOptions.IgnoreCase | RegexOptions.Singleline);
var seenUrls = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
foreach (Match match in matches)
{
var url = match.Groups[1].Value.Trim();
if (string.IsNullOrWhiteSpace(url) || seenUrls.Contains(url))
{
continue;
}
if (!Uri.TryCreate(url, UriKind.Absolute, out var uri))
{
continue;
}
var host = uri.Host.ToLowerInvariant();
// アップローダー判定とメタデータ付与
string providerName;
string bgColor;
if (host.Contains("rapidgator.net"))
{
providerName = "Rapidgator";
bgColor = "#1976d2"; // ブルー
}
else if (host.Contains("katfile."))
{
providerName = "Katfile";
bgColor = "#f57c00"; // オレンジ
}
else if (host.Contains("nitroflare.com"))
{
providerName = "Nitroflare";
bgColor = "#d32f2f"; // レッド
}
else if (host.Contains("frdl.io"))
{
providerName = "Frdl";
bgColor = "#388e3c"; // グリーン
}
else if (host.Contains("uploady.io"))
{
providerName = "Uploady";
bgColor = "#7b1fa2"; // パープル
}
else if (host.Contains("mexashare.com") || host.Contains("rosefile.net") || host.Contains("alfafile.net") || host.Contains("ddownload.com"))
{
providerName = host;
bgColor = "#455a64"; // ダークスレート
}
else
{
// Pixhost や jpfiles 内部リンクなどは除外
continue;
}
seenUrls.Add(url);
// パート情報またはファイル名ラベルの判定(URL 末尾から判定)
var partLabel = DeterminePartLabel(url);
downloads.Add(new DownloadItem
{
ProviderName = providerName,
Url = url,
PartLabel = partLabel,
BgColor = bgColor
});
}
return downloads;
}
/// <summary>
/// URL からパート情報(Part 1, Part 2 等)またはファイル名ラベルを判定します。
/// </summary>
/// <param name="url">ダウンロード URL</param>
/// <returns>パート表示ラベル</returns>
private static string DeterminePartLabel(string url)
{
var fileName = Path.GetFileName(new Uri(url).AbsolutePath);
// .part1.rar, .part2.rar などのパート表記を検出
var partMatch = Regex.Match(fileName, @"\.part(\d+)\.", RegexOptions.IgnoreCase);
if (partMatch.Success)
{
return $"Part {partMatch.Groups[1].Value}";
}
// part1, part2 等
var altPartMatch = Regex.Match(fileName, @"part(\d+)", RegexOptions.IgnoreCase);
if (altPartMatch.Success)
{
return $"Part {altPartMatch.Groups[1].Value}";
}
// 単一ファイルの場合、拡張子を含めて簡潔に表示
if (!string.IsNullOrWhiteSpace(fileName))
{
return fileName.Length > 20 ? fileName.Substring(fileName.Length - 20) : fileName;
}
return "ダウンロード";
}
/// <summary>
/// Windows のフォルダ名に使用できない禁止文字(\ / : * ? " &lt; &gt; |)を全角文字に置換します。
/// </summary>
/// <param name="text">対象文字列</param>
/// <returns>置換後の安全な文字列</returns>
private static string SanitizeForWindows(string text)
{
if (string.IsNullOrWhiteSpace(text))
{
return string.Empty;
}
var sb = new StringBuilder(text);
sb.Replace('\\', '¥');
sb.Replace('/', '/');
sb.Replace(':', ':');
sb.Replace('*', '*');
sb.Replace('?', '?');
sb.Replace('"', '”');
sb.Replace('<', '<');
sb.Replace('>', '>');
sb.Replace('|', '|');
// 改行コードを除去
sb.Replace("\r", " ").Replace("\n", " ");
return Regex.Replace(sb.ToString(), @"\s+", " ").Trim();
}
/// <summary>
/// 記事詳細情報から、整形された視認性の高い本文 HTML を生成します。
/// </summary>
/// <param name="article">記事詳細情報オブジェクト</param>
/// <returns>生成された本文 HTML</returns>
private static string GenerateSummaryHtml(ArticleInfo article)
{
var sb = new StringBuilder();
// コンテナ開始(スタイル定義)
sb.AppendLine($"<div style=\"font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'Helvetica Neue', Arial, sans-serif; line-height: 1.6; color: #212529; max-width: 800px; margin: 0 auto;\">");
// 1. バッジ・タグ表示および公開日時(日本時間)
sb.AppendLine(" <div style=\"margin-bottom: 12px;\">");
sb.AppendLine(" <span style=\"display: inline-block; background-color: #1a237e; color: #ffffff; padding: 3px 8px; font-size: 11px; font-weight: bold; border-radius: 4px; margin-right: 6px;\">JPFILES.NET</span>");
if (!string.IsNullOrWhiteSpace(article.CategoryTag))
{
sb.AppendLine($" <span style=\"display: inline-block; background-color: #37474f; color: #ffffff; padding: 3px 8px; font-size: 11px; font-weight: bold; border-radius: 4px; margin-right: 6px;\">{WebUtility.HtmlEncode(article.CategoryTag)}</span>");
}
sb.AppendLine($" <span style=\"display: inline-block; font-size: 11px; color: #6c757d; font-weight: bold; margin-left: 4px;\">📅 {article.PublishDate:yyyy/MM/dd HH:mm:ss} (JST)</span>");
sb.AppendLine(" </div>");
// 2. コピー用フォルダ名枠(クリックで全選択できるワンクリックコピー仕様)
sb.AppendLine(" <div style=\"margin-bottom: 16px; background-color: #f8f9fa; border: 1px solid #ced4da; border-radius: 6px; padding: 10px;\">");
sb.AppendLine(" <div style=\"font-size: 11px; color: #6c757d; font-weight: bold; margin-bottom: 4px;\">📁 フォルダ名用タイトル(クリックで全選択)</div>");
sb.AppendLine($" <input type=\"text\" readonly value=\"{WebUtility.HtmlEncode(article.CleanTitle)}\" onclick=\"this.select();\" style=\"width: 100%; padding: 6px 10px; font-size: 13px; font-family: Consolas, monospace; background-color: #ffffff; border: 1px solid #adb5bd; border-radius: 4px; box-sizing: border-box; cursor: pointer; color: #212529;\" />");
sb.AppendLine(" </div>");
// 3. タイトル表示
sb.AppendLine($" <h2 style=\"font-size: 17px; font-weight: bold; margin: 0 0 16px 0; color: #0d47a1; line-height: 1.4;\">{WebUtility.HtmlEncode(article.CleanTitle)}</h2>");
// 4. ダウンロードリンク群(タイトル直下にグリッド配置)
if (article.Downloads.Count > 0)
{
sb.AppendLine(" <div style=\"margin-bottom: 20px; background-color: #e8eaf6; border: 1px solid #c5cae9; border-radius: 8px; padding: 14px;\">");
sb.AppendLine(" <div style=\"font-size: 13px; font-weight: bold; color: #1a237e; margin-bottom: 10px;\">⚡ ダイレクト・ダウンロードリンク(直リンク)</div>");
sb.AppendLine(" <div style=\"display: flex; flex-wrap: wrap; gap: 8px;\">");
foreach (var dl in article.Downloads)
{
var label = $"{dl.ProviderName} {dl.PartLabel}";
sb.AppendLine($" <a href=\"{WebUtility.HtmlEncode(dl.Url)}\" target=\"_blank\" rel=\"noopener noreferrer\" style=\"display: inline-block; background-color: {dl.BgColor}; color: #ffffff; padding: 8px 14px; font-size: 12px; font-weight: bold; text-decoration: none; border-radius: 6px; box-shadow: 0 1px 3px rgba(0,0,0,0.15); transition: opacity 0.2s;\">⬇ {WebUtility.HtmlEncode(label)}</a>");
}
sb.AppendLine(" </div>");
sb.AppendLine(" </div>");
}
// 5. カバー画像表示(サムネイル表示 & クリックで原寸表示)
if (!string.IsNullOrWhiteSpace(article.CoverImageUrl))
{
var openUrl = !string.IsNullOrWhiteSpace(article.CoverOriginalUrl) ? article.CoverOriginalUrl : article.CoverImageUrl;
sb.AppendLine(" <div style=\"text-align: center; margin: 20px 0;\">");
sb.AppendLine($" <a href=\"{WebUtility.HtmlEncode(openUrl)}\" target=\"_blank\" rel=\"noopener noreferrer\">");
sb.AppendLine($" <img src=\"{WebUtility.HtmlEncode(article.CoverImageUrl)}\" alt=\"{WebUtility.HtmlEncode(article.CleanTitle)}\" style=\"max-width: 100%; height: auto; border-radius: 6px; box-shadow: 0 2px 8px rgba(0,0,0,0.15); border: 1px solid #e0e0e0;\" />");
sb.AppendLine(" </a>");
sb.AppendLine(" <div style=\"font-size: 11px; color: #757575; margin-top: 6px;\">※画像クリックで高解像度表示</div>");
sb.AppendLine(" </div>");
}
// 6. 元記事リンクおよびフォーマット識別タグ
sb.AppendLine(" <div style=\"margin-top: 20px; padding-top: 10px; border-top: 1px dashed #cccccc; font-size: 12px;\">");
sb.AppendLine($" <a href=\"{WebUtility.HtmlEncode(article.Url)}\" target=\"_blank\" rel=\"noopener noreferrer\" style=\"color: #1565c0; text-decoration: underline;\">🌐 jpfiles.net の元記事を見る</a>");
sb.AppendLine(" </div>");
// キャッシュ識別用タグ
sb.AppendLine($" <!-- {CacheFormatTag} -->");
sb.AppendLine("</div>");
return sb.ToString();
}
#endregion
}
+709 -40
View File
@@ -1,26 +1,145 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Net.Http;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.RegularExpressions;
using System.Threading.Tasks;
using System.Xml;
using rss_generator.Class.Common;
namespace rss_generator.Class.KimochiInfo;
/// <summary>
/// kimochi.info の Windows 向け日本語作品一覧から RSS フィード (kimochiinfo.xml) を生成するクラスです。
/// </summary>
internal class kimochiinfo
{
#region □定数(Private)
/// <summary>
/// プロジェクト固有規則に基づく出力先ドメインディレクトリ名です。
/// </summary>
private const string DomainDir = "kimochi.info";
/// <summary>
/// キャッシュ判定用の最新フォーマット識別子です。
/// </summary>
private const string CacheFormatTag = "kimochi-format-v1";
#endregion
#region □クラス(Private)
/// <summary>
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
/// </summary>
private sealed class ExistingFeedEntry
{
/// <summary>
/// 記事のタイトル(サークル名・バージョン表記を含む)を取得または設定します。
/// </summary>
public string Title { get; set; } = string.Empty;
/// <summary>
/// 記事の本文 HTML (Summary) を取得または設定します。
/// </summary>
public string SummaryHtml { get; set; } = string.Empty;
/// <summary>
/// 記事の初回公開日時を取得または設定します。
/// </summary>
public DateTimeOffset PublishDate { get; set; }
/// <summary>
/// 記事の最終更新日時を取得または設定します。
/// </summary>
public DateTimeOffset LastUpdatedTime { get; set; }
}
/// <summary>
/// ダウンロードリンクの情報を保持するクラスです。
/// </summary>
private sealed class DownloadItem
{
/// <summary>
/// プロバイダー名(Google Drive, MediaFire, Workupload等)を取得または設定します。
/// </summary>
public string ProviderName { get; set; } = string.Empty;
/// <summary>
/// kimochi.info のオリジナルダウンロードURLを取得または設定します。
/// </summary>
public string RawUrl { get; set; } = string.Empty;
/// <summary>
/// 解決された直接の外部ストレージURL(Google Drive, MediaFire等)を取得または設定します。
/// </summary>
public string DirectStorageUrl { get; set; } = string.Empty;
/// <summary>
/// 最終的なリンク先URLを取得します。直リンクが解決されている場合は直リンク、それ以外は元URLを返します。
/// </summary>
public string FinalUrl => !string.IsNullOrWhiteSpace(this.DirectStorageUrl) ? this.DirectStorageUrl : this.RawUrl;
}
/// <summary>
/// 解析された記事詳細情報を保持する内部クラスです。
/// </summary>
private sealed class ArticleDetailInfo
{
/// <summary>サークル名・開発元を取得または設定します。</summary>
public string CircleName { get; set; } = string.Empty;
/// <summary>日本語タイトルを取得または設定します。</summary>
public string JapaneseTitle { get; set; } = string.Empty;
/// <summary>バージョン情報を取得または設定します。</summary>
public string VersionText { get; set; } = string.Empty;
/// <summary>DLsite 等の公式ストア URL を取得または設定します。</summary>
public string OfficialStoreUrl { get; set; } = string.Empty;
/// <summary>メイン画像(カバー画像)の URL を取得または設定します。</summary>
public string MainImageUrl { get; set; } = string.Empty;
/// <summary>ダウンロードリンク一覧を取得または設定します。</summary>
public List<DownloadItem> Downloads { get; set; } = new();
/// <summary>本文解説の HTML を取得または設定します。</summary>
public string BodyHtml { get; set; } = string.Empty;
}
#endregion
#region □メソッド(Public)
/// <summary>
/// kimochi.info から記事情報を収集し、RSS フィード (kimochiinfo.xml) を生成・出力します。
/// 既存のフィードが存在する場合は同一バージョンの記事情報をそのまま引き継ぎ、
/// FreshRSS 等で「更新された記事を未読とする」が有効な場合でも不要な未読化が発生しないようにします。
/// </summary>
/// <param name="client">HTTP 通信用 HttpClient</param>
/// <returns>非同期タスク</returns>
public static async Task CreateRSSAsync(HttpClient client)
{
var baseURL = "https://kimochi.info/browse/";
var query = "?platform=windows";
var fileName = "kimochiinfo.xml";
var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}"));
var items = new List<SyndicationItem>();
try
{
// 複数ページをまとめる場合に先に取得する
// プロジェクト固有規則に従い、ドメイン別サブディレクトリ(output/kimochi.info/)から既存キャッシュを読込
var existingEntries = LoadExistingEntries(fileName);
// 複数ページ(1〜5ページ)を取得
var docList = new List<IDocument>();
for (int pageId = 1; pageId <= 5; pageId++)
{
@@ -55,13 +174,14 @@ internal class kimochiinfo
{
continue;
}
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
if (itemUri == null)
{
continue;
}
// バージョン表記の取得
var divVerElems = linkElement.QuerySelectorAll("div>div.tracking-wider");
var versionText = "v1.0.0";
foreach (var divVerElem in divVerElems)
@@ -71,68 +191,617 @@ internal class kimochiinfo
}
var h3Elem = linkElement.QuerySelector("h3");
var title = $"{h3Elem!.TextContent.Replace("\t", "").Replace("\r", "").Replace("\n", "").Trim()} {versionText}";
var rawTitle = h3Elem?.TextContent?.Replace("\t", "")?.Replace("\r", "")?.Replace("\n", "")?.Trim() ?? string.Empty;
// 日本語版 (JP) の判定
var divContents = linkElement.QuerySelectorAll("h3+div>div");
var isJP = false;
if (divContents!.Length > 2)
if (divContents.Length > 2)
{
var span = divContents[1];
if (span.TextContent.Contains("JP"))
if (span.TextContent.Contains("JP", StringComparison.OrdinalIgnoreCase))
{
isJP = true;
}
}
if (isJP == false)
if (!isJP)
{
continue;
}
var docContents = await CmnUtil.GetDocument(client, linkHref);
var divDetail = docContents.QuerySelector("main>div>div")!;
var metaPubDate = CmnUtil.GetPublishedTimeAsJst(docContents);
var metaModDate = CmnUtil.GetModifiedTimeAsJst(docContents);
var body = new StringBuilder();
body.Append($@"<div>バージョン:{versionText}</div>");
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
foreach (var a in divDetail.QuerySelectorAll("a"))
var guid = CmnUtil.CreateGuid(linkHref);
existingEntries.TryGetValue(linkHref, out var prevEntry);
if (prevEntry == null && !string.IsNullOrEmpty(guid))
{
a.SetAttribute("target", "_blank");
a.SetAttribute("rel", "noopener noreferrer");
a.SetAttribute("referrerpolicy", "no-referrer");
existingEntries.TryGetValue(guid, out prevEntry);
}
foreach (var img in divDetail.QuerySelectorAll("img"))
{
img.SetAttribute("referrerpolicy", "no-referrer");
}
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
var item = new SyndicationItem(
title,
string.Empty,
itemUri,
CmnUtil.CreateGuid(linkHref),
metaModDate ?? (metaPubDate ?? DateTime.Now) // 取得できた公開日時があればそれをセット
);
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
// 最新フォーマット識別子 kimochi-format-v1 が含まれているキャッシュのみ再利用
bool isLatestFormat = prevEntry != null &&
prevEntry.SummaryHtml.Contains("kimochi-dl-section") &&
prevEntry.SummaryHtml.Contains(CacheFormatTag);
SyndicationItem item;
if (isLatestFormat && prevEntry != null)
{
// 【キャッシュヒット(未更新記事)】
// 前回の本文HTMLおよび日時(PublishDate / LastUpdatedTime)をそのまま維持
item = new SyndicationItem(
prevEntry.Title,
(string?)null,
itemUri,
guid,
prevEntry.LastUpdatedTime
)
{
PublishDate = prevEntry.PublishDate,
LastUpdatedTime = prevEntry.LastUpdatedTime,
Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html)
};
}
else
{
// 【新規記事またはフォーマット更新記事】
var docContents = await CmnUtil.GetDocument(client, linkHref);
if (docContents == null)
{
continue;
}
var detailInfo = await ParseArticleDetailAsync(client, docContents, rawTitle, versionText, imageSrc ?? string.Empty);
if (detailInfo == null)
{
continue;
}
// フォルダ名用タイトルの構築: [サークル名] タイトル (バージョン)
string folderTitle = BuildFolderTitle(detailInfo.CircleName, detailInfo.JapaneseTitle, detailInfo.VersionText);
// 本文 HTML の構築(フォルダ名コピー枠、タイトル表示、直リンク化済みダウンロードセクション、公式ストアボタン、カバー画像、解説)
string summaryHtml = BuildSummaryHtml(detailInfo, folderTitle, itemUri);
var metaPubDate = CmnUtil.GetPublishedTimeAsJst(docContents);
var metaModDate = CmnUtil.GetModifiedTimeAsJst(docContents);
DateTimeOffset publishDate;
DateTimeOffset lastUpdatedTime;
if (prevEntry != null)
{
publishDate = prevEntry.PublishDate != DateTimeOffset.MinValue
? prevEntry.PublishDate
: (metaPubDate.HasValue ? new DateTimeOffset(metaPubDate.Value) : DateTimeOffset.Now);
lastUpdatedTime = metaModDate.HasValue
? new DateTimeOffset(metaModDate.Value)
: DateTimeOffset.Now;
}
else
{
publishDate = metaPubDate.HasValue
? new DateTimeOffset(metaPubDate.Value)
: (metaModDate.HasValue ? new DateTimeOffset(metaModDate.Value) : DateTimeOffset.Now);
lastUpdatedTime = metaModDate.HasValue
? new DateTimeOffset(metaModDate.Value)
: publishDate;
}
item = new SyndicationItem(
folderTitle,
(string?)null,
itemUri,
guid,
lastUpdatedTime
)
{
PublishDate = publishDate,
LastUpdatedTime = lastUpdatedTime,
Summary = new TextSyndicationContent(summaryHtml, TextSyndicationContentKind.Html)
};
}
items.Add(item);
}
}
feed.Items = items;
// kimochiinfo は画像リンクを Base64 変換せず、通常の画像リンクとして出力する
await CmnUtil.ExportXMLFileAsync("kimochiinfo.xml", feed, client, embedBase64: false);
// プロジェクト固有規則に従い、ドメイン名サブディレクトリ (output/kimochi.info/kimochiinfo.xml) に出力
await CmnUtil.ExportXMLFileAsync(
fileName,
feed,
client,
addDir: DomainDir,
embedBase64: false,
filter24Hours: false);
LogManager.AddLog($"[情報] 【kimochiinfo】 出力完了 - 記事数: {items.Count}");
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] kimochiinfo:{ex.Message}");
LogManager.AddLog($"[エラー] 【kimochiinfo】 {ex.Message}");
}
}
#endregion
#region □メソッド(Private)
/// <summary>
/// 記事詳細ページから各種情報(サークル名、タイトル、DLsiteリンク、ダウンロードリンク一覧、本文解説)を抽出・解析します。
/// 各ダウンロードリンクの直接外部ストレージURL(Google Drive, MediaFire等)も非同期解決します。
/// </summary>
private static async Task<ArticleDetailInfo?> ParseArticleDetailAsync(
HttpClient client,
IDocument doc,
string rawTitle,
string versionText,
string fallbackImageSrc)
{
var mainElem = doc.QuerySelector("main");
if (mainElem == null)
{
return null;
}
var info = new ArticleDetailInfo
{
VersionText = versionText
};
// 1. サークル名・開発元の抽出 (a[href*="/developer/"] または a[href*="/publisher/"])
var devLink = doc.QuerySelector("a[href*='/developer/'], a[href*='/publisher/']");
if (devLink != null)
{
string devText = devLink.TextContent
.Replace("Developer", "", StringComparison.OrdinalIgnoreCase)
.Replace("Publisher", "", StringComparison.OrdinalIgnoreCase)
.Replace("code", "", StringComparison.OrdinalIgnoreCase)
.Trim();
info.CircleName = SanitizeWindowsPath(devText);
}
// 2. タイトルの抽出(H1 または一覧の rawTitle)
var h1Elem = doc.QuerySelector("h1");
string titleCandidate = h1Elem?.TextContent?.Trim() ?? rawTitle;
string cleanTitle = RemoveProductIds(titleCandidate);
info.JapaneseTitle = SanitizeWindowsPath(cleanTitle);
// 3. DLsite リンクの抽出
var dlsiteLink = doc.QuerySelector("a[href*='dlsite.com']");
if (dlsiteLink != null)
{
info.OfficialStoreUrl = dlsiteLink.GetAttribute("href") ?? string.Empty;
}
// 4. メインカバー画像の抽出
var mainImg = doc.QuerySelector("main img");
string imgSrc = (mainImg as IHtmlImageElement)?.Source ?? mainImg?.GetAttribute("src") ?? fallbackImageSrc;
info.MainImageUrl = imgSrc ?? string.Empty;
// 5. ダウンロードリンクの抽出と直リンク解決
var dlElements = doc.QuerySelectorAll("a[href*='/download/']");
var addedUrls = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
foreach (var dlElem in dlElements)
{
string href = dlElem.GetAttribute("href") ?? string.Empty;
if (string.IsNullOrWhiteSpace(href) || !href.Contains("/download/") || href.Contains("/file/?dl="))
{
continue;
}
// プロバイダー名の抽出(Google Drive, MediaFire, Workupload 等)
string rawText = dlElem.TextContent ?? string.Empty;
string providerName = CleanProviderName(rawText);
if (addedUrls.Add(href))
{
var dlItem = new DownloadItem
{
ProviderName = providerName,
RawUrl = href
};
// 直接外部ストレージURLの自動解決(待機カウントダウンを経由しない直リンク化)
string directUrl = await ResolveDirectDownloadUrlAsync(client, href);
if (!string.IsNullOrWhiteSpace(directUrl))
{
dlItem.DirectStorageUrl = directUrl;
}
info.Downloads.Add(dlItem);
}
}
// 6. 本文解説(広告・トラッキング要素を除去)
var divDetail = doc.QuerySelector("main>div>div") ?? mainElem;
var cloneDetail = divDetail.Clone() as IElement;
if (cloneDetail != null)
{
RemoveUnwantedElements(cloneDetail);
foreach (var a in cloneDetail.QuerySelectorAll("a"))
{
a.SetAttribute("target", "_blank");
a.SetAttribute("rel", "noopener noreferrer");
a.SetAttribute("referrerpolicy", "no-referrer");
}
foreach (var img in cloneDetail.QuerySelectorAll("img"))
{
img.SetAttribute("referrerpolicy", "no-referrer");
}
info.BodyHtml = CmnUtil.GetHtmlWithoutJavaScript(cloneDetail);
}
return info;
}
/// <summary>
/// kimochi.info のダウンロードURLから末尾のハッシュを抽出し、
/// https://kimochi.info/download/file/?dl=[hash] へリクエストを行って
/// x-download-url または Location ヘッダーから直接外部ストレージURL(Google Drive, MediaFire等)を解決します。
/// </summary>
private static async Task<string> ResolveDirectDownloadUrlAsync(HttpClient client, string downloadUrl)
{
if (string.IsNullOrWhiteSpace(downloadUrl))
{
return string.Empty;
}
var match = Regex.Match(downloadUrl, @"/download/([^/?#]+)", RegexOptions.IgnoreCase);
if (!match.Success)
{
return string.Empty;
}
string hash = match.Groups[1].Value.Trim();
string fileUrl = $"https://kimochi.info/download/file/?dl={Uri.EscapeDataString(hash)}";
try
{
using var request = new HttpRequestMessage(HttpMethod.Get, fileUrl);
request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36");
// レスポンスヘッダーのみ読み取り、大容量ファイルのダウンロード通信を防止
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead);
// 1. x-download-url ヘッダーの確認(最も確実)
if (response.Headers.TryGetValues("x-download-url", out var downloadUrls))
{
string direct = downloadUrls.FirstOrDefault() ?? string.Empty;
if (!string.IsNullOrWhiteSpace(direct))
{
return direct;
}
}
// 2. Location ヘッダー(301/302リダイレクト時)の確認
if (response.Headers.Location != null)
{
string loc = response.Headers.Location.AbsoluteUri;
if (!loc.Contains("kimochi.info", StringComparison.OrdinalIgnoreCase))
{
return loc;
}
}
// 3. リダイレクト自動追従時の最終リクエストURIの確認
if (response.RequestMessage?.RequestUri != null)
{
string finalUri = response.RequestMessage.RequestUri.AbsoluteUri;
if (!finalUri.Contains("kimochi.info", StringComparison.OrdinalIgnoreCase))
{
return finalUri;
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[情報] 【kimochiinfo】 直リンク解決スキップ ({hash}): {ex.Message}");
}
return string.Empty;
}
/// <summary>
/// アンカーテキストからアイコン名や余分な文字を除去し、クリーンなプロバイダー名を取得します。
/// </summary>
private static string CleanProviderName(string rawText)
{
if (string.IsNullOrWhiteSpace(rawText))
{
return "Download";
}
string cleaned = rawText
.Replace("add_to_drive", "", StringComparison.OrdinalIgnoreCase)
.Replace("whatshot", "", StringComparison.OrdinalIgnoreCase)
.Replace("cloud_download", "", StringComparison.OrdinalIgnoreCase)
.Replace("arrow_forward", "", StringComparison.OrdinalIgnoreCase)
.Replace("Download", "", StringComparison.OrdinalIgnoreCase)
.Replace("Game", "", StringComparison.OrdinalIgnoreCase)
.Trim();
cleaned = Regex.Replace(cleaned, @"\s+", " ").Trim();
if (string.IsNullOrWhiteSpace(cleaned))
{
return "Download";
}
return cleaned;
}
/// <summary>
/// サークル名・タイトル・バージョン情報から Windows フォルダ名としてコピー可能なタイトルを構築します。
/// </summary>
private static string BuildFolderTitle(string circleName, string title, string version)
{
string verSuffix = !string.IsNullOrWhiteSpace(version) && !title.Contains(version, StringComparison.OrdinalIgnoreCase)
? $" {version}"
: string.Empty;
string result;
if (!string.IsNullOrWhiteSpace(circleName))
{
result = $"[{circleName}] {title}{verSuffix}".Trim();
}
else
{
result = $"{title}{verSuffix}".Trim();
}
return SanitizeWindowsPath(result);
}
/// <summary>
/// 整形された本文 HTML を生成します。
/// フォルダ名コピー枠、タイトル表示、整然としたグリッド型ダウンロードリンク、公式ストアリンク、カバー画像、解説文を配置します。
/// </summary>
private static string BuildSummaryHtml(ArticleDetailInfo info, string folderTitle, Uri articleUri)
{
var sb = new StringBuilder();
// 1. バッジ
sb.Append("<div style=\"margin-bottom: 12px;\">");
sb.Append("<span style=\"display: inline-block; background-color: #2e7d32; color: #ffffff; padding: 4px 10px; border-radius: 4px; font-weight: bold; font-size: 13px;\">🇯🇵 日本語版 (RAW / 原作)</span>");
if (!string.IsNullOrWhiteSpace(info.VersionText))
{
sb.Append($"<span style=\"display: inline-block; background-color: #424242; color: #ffffff; padding: 4px 8px; border-radius: 4px; font-size: 13px; margin-left: 8px;\">🏷️ {WebUtility.HtmlEncode(info.VersionText)}</span>");
}
sb.Append("</div>");
// 2. フォルダ名用タイトルコピー枠
sb.Append($"<div class=\"kimochi-folder-title {CacheFormatTag}\" style=\"background-color: #f3f4f6; border-left: 4px solid #374151; padding: 10px 14px; margin-bottom: 12px; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Helvetica, Arial, sans-serif; border-radius: 0 4px 4px 0;\">");
sb.Append("<div style=\"font-size: 11px; font-weight: bold; color: #4b5563; margin-bottom: 4px;\">📁 フォルダ名用タイトル (コピー用):</div>");
sb.Append($"<div style=\"font-size: 15px; font-weight: bold; color: #111827; user-select: all; -webkit-user-select: all;\">{WebUtility.HtmlEncode(folderTitle)}</div>");
sb.Append("</div>");
// 3. 日本語タイトルの明記
if (!string.IsNullOrWhiteSpace(info.JapaneseTitle))
{
sb.Append("<div class=\"kimochi-jp-title\" style=\"background-color: #f1f8e9; border-left: 4px solid #43a047; padding: 8px 12px; margin-bottom: 12px; font-size: 14px; border-radius: 0 4px 4px 0;\">");
sb.Append("<strong style=\"color: #2e7d32;\">日本語タイトル (Japanese Title):</strong> ");
sb.Append($"<span>{WebUtility.HtmlEncode(info.JapaneseTitle)}</span>");
sb.Append("</div>");
}
// 4. ダウンロードセクション (kimochi-dl-section) - 日本語タイトルの直下に配置
if (info.Downloads.Any())
{
sb.Append("<div class=\"kimochi-dl-section\" style=\"background-color: #f7f9fa; border: 1px solid #cfd8dc; border-radius: 6px; padding: 14px; margin-top: 10px; margin-bottom: 14px; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Helvetica, Arial, sans-serif;\">");
sb.Append("<h4 style=\"margin: 0 0 10px 0; font-size: 16px; border-bottom: 2px solid #e53935; padding-bottom: 6px; color: #c62828;\">");
sb.Append("📥 ダウンロード (DIRECT DOWNLOAD)");
sb.Append("</h4>");
// 整然としたレスポンシブグリッドレイアウトでボタンを配置(横1行詰め込みを解消)
sb.Append("<div style=\"display: grid; grid-template-columns: repeat(auto-fill, minmax(180px, 1fr)); gap: 8px; margin-bottom: 10px;\">");
foreach (var dl in info.Downloads)
{
if (!string.IsNullOrWhiteSpace(dl.FinalUrl))
{
string bgColor = GetProviderButtonColor(dl.ProviderName);
string icon = GetProviderIcon(dl.ProviderName);
sb.Append($"<a href=\"{dl.FinalUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"display: flex; align-items: center; justify-content: center; gap: 6px; text-align: center; background-color: {bgColor}; color: #ffffff; padding: 9px 14px; border-radius: 4px; text-decoration: none; font-weight: bold; font-size: 13px; box-shadow: 0 1px 3px rgba(0,0,0,0.12);\">");
sb.Append($"<span>{icon}</span> <span>{WebUtility.HtmlEncode(dl.ProviderName)}</span>");
sb.Append("</a>");
}
}
sb.Append("</div>");
sb.Append("</div>");
}
// 5. 公式ストア(DLsite等)リンク
if (!string.IsNullOrWhiteSpace(info.OfficialStoreUrl))
{
sb.Append("<div style=\"margin-bottom: 14px;\">");
sb.Append($"<a href=\"{info.OfficialStoreUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"display: inline-flex; align-items: center; gap: 6px; background-color: #f59e0b; color: #ffffff; padding: 8px 16px; border-radius: 4px; text-decoration: none; font-weight: bold; font-size: 13px; box-shadow: 0 1px 3px rgba(0,0,0,0.12);\">");
sb.Append("🛒 <span>DLsite で購入して公式を支援 (Official Store)</span>");
sb.Append("</a>");
sb.Append("</div>");
}
// 6. メインカバー画像
if (!string.IsNullOrWhiteSpace(info.MainImageUrl))
{
sb.Append("<div style=\"margin-bottom: 14px;\">");
sb.Append($"<img src=\"{info.MainImageUrl}\" referrerpolicy=\"no-referrer\" alt=\"{WebUtility.HtmlEncode(info.JapaneseTitle)}\" style=\"max-width: 100%; height: auto; border-radius: 4px; box-shadow: 0 2px 4px rgba(0,0,0,0.1);\" />");
sb.Append("</div>");
}
// 7. 本文解説
if (!string.IsNullOrWhiteSpace(info.BodyHtml))
{
sb.Append("<div style=\"margin-top: 14px; line-height: 1.6; color: #212121;\">");
sb.Append(info.BodyHtml);
sb.Append("</div>");
}
// 8. 記事ページへのリンク
sb.Append("<div style=\"margin-top: 16px; padding-top: 10px; border-top: 1px solid #e0e0e0; font-size: 13px;\">");
sb.Append($"<a href=\"{articleUri}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\" style=\"color: #1976d2; text-decoration: none;\">🔗 kimochi.info 記事ページを開く</a>");
sb.Append("</div>");
return sb.ToString();
}
/// <summary>
/// プロバイダー名に応じたボタン背景色を取得します。
/// </summary>
private static string GetProviderButtonColor(string providerName)
{
if (providerName.Contains("Drive", StringComparison.OrdinalIgnoreCase))
{
return "#0f9d58"; // Google Drive (緑)
}
if (providerName.Contains("MediaFire", StringComparison.OrdinalIgnoreCase))
{
return "#1976d2"; // MediaFire (青)
}
if (providerName.Contains("Workupload", StringComparison.OrdinalIgnoreCase))
{
return "#ea580c"; // Workupload (オレンジ)
}
if (providerName.Contains("Mega", StringComparison.OrdinalIgnoreCase))
{
return "#d32f2f"; // Mega (赤)
}
if (providerName.Contains("PixelDrain", StringComparison.OrdinalIgnoreCase))
{
return "#7b1fa2"; // PixelDrain (紫)
}
return "#1976d2";
}
/// <summary>
/// プロバイダー名に応じたアイコン絵文字を取得します。
/// </summary>
private static string GetProviderIcon(string providerName)
{
if (providerName.Contains("Drive", StringComparison.OrdinalIgnoreCase))
{
return "💾";
}
if (providerName.Contains("Workupload", StringComparison.OrdinalIgnoreCase))
{
return "☁️";
}
return "⬇️";
}
/// <summary>
/// Windows のフォルダ名に使用できない記号文字を全角文字に置換します。
/// </summary>
private static string SanitizeWindowsPath(string name)
{
if (string.IsNullOrWhiteSpace(name))
{
return string.Empty;
}
return name
.Replace('\\', '¥')
.Replace('/', '/')
.Replace(':', ':')
.Replace('*', '*')
.Replace('?', '?')
.Replace('"', '”')
.Replace('<', '<')
.Replace('>', '>')
.Replace('|', '|')
.Trim();
}
/// <summary>
/// タイトル文字列から製品ID([RJ01735580], (RJ01735580) 等)を除去します。
/// </summary>
private static string RemoveProductIds(string text)
{
if (string.IsNullOrWhiteSpace(text))
{
return string.Empty;
}
string cleaned = Regex.Replace(text, @"[\[\(\{\【]\s*(?:RJ|VJ|BJ)\d{6,8}\s*[\]\)\}\】]", "", RegexOptions.IgnoreCase);
cleaned = Regex.Replace(cleaned, @"\b(?:RJ|VJ|BJ)\d{6,8}\b", "", RegexOptions.IgnoreCase);
cleaned = Regex.Replace(cleaned, @"\s{2,}", " ");
return cleaned.Trim();
}
/// <summary>
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。
/// プロジェクト固有規則に基づき、ドメイン別サブディレクトリ(output/kimochi.info/)内のファイルを読み込みます。
/// </summary>
/// <param name="fileName">XML ファイル名</param>
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
{
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
try
{
string xmlPath = CmnUtil.GetExportXmlPath(fileName, addDir: DomainDir);
if (!File.Exists(xmlPath))
{
return existingEntries;
}
using var reader = XmlReader.Create(xmlPath);
var existingFeed = SyndicationFeed.Load(reader);
if (existingFeed?.Items != null)
{
foreach (var item in existingFeed.Items)
{
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
var guid = item.Id;
var entry = new ExistingFeedEntry
{
Title = item.Title?.Text?.Trim() ?? string.Empty,
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
PublishDate = item.PublishDate != DateTimeOffset.MinValue
? item.PublishDate
: (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now),
LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue
? item.LastUpdatedTime
: (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now)
};
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
{
existingEntries[linkUrl] = entry;
}
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
{
existingEntries[guid] = entry;
}
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[情報] kimochiinfo 既存エントリ読み込みスキップ: {ex.Message}");
}
return existingEntries;
}
/// <summary>
/// 詳細ページ内の不要な広告枠やトラッキング要素を除去します。
/// </summary>
/// <param name="element">対象の HTML 要素</param>
private static void RemoveUnwantedElements(IElement element)
{
var unwantedNodes = element.QuerySelectorAll("div[data-cl-spot], div[data-km], ins.adsbygoogle, script, style");
foreach (var node in unwantedNodes)
{
node.Remove();
}
}
#endregion
}
+7 -18
View File
@@ -1,4 +1,4 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using System;
using System.Collections.Generic;
@@ -94,23 +94,12 @@ internal class mangalear
if (link != null)
{
// ギャラリー表示リンクの生成
string? galleryId = null;
string? galleryUrl = null;
// ギャラリー表示リンク (WebImageViewer統一URL方式: https://udukipc-web.armonica-vps.work/?url=[ページURL])
var linkStr = link.ToString();
var idMatch = Regex.Match(linkStr, @"(?:mangalear\.blog)?/(?:[a-zA-Z0-9_-]+/)?(?<id>\d+)/?(?:\?.*)?$");
if (!idMatch.Success)
{
idMatch = Regex.Match(linkStr, @"[?&]p=(?<id>\d+)");
}
if (idMatch.Success)
{
galleryId = idMatch.Groups["id"].Value;
galleryUrl = $"https://udukipc-web.armonica-vps.work/mangalear/{galleryId}/";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
}
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(linkStr)}";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
// 記事詳細ページの HTML を取得
var docContents = await CmnUtil.GetDocument(client, link.ToString());
@@ -196,7 +185,7 @@ internal class mangalear
}
catch (Exception ex)
{
AddLog($"[エラー] [mangalear]: {ex.Message}");
AddLog($"[エラー] 【mangalear】 {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
+183 -95
View File
@@ -1,88 +1,148 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.RegularExpressions;
using System.Threading.Tasks;
using System.Xml;
using rss_generator.Class.Common;
namespace rss_generator.Class.MissAV;
/// <summary>
/// missav.ai の新着動画を取得し、WebImageViewer (https://udukipc-web.armonica-vps.work/) で動画を視聴できるリンクを含むRSSを生成します。
/// 既存のフィードが存在する場合は同一記事の情報を引き継ぎ、FreshRSS 等で「更新された記事を未読とする」が有効な場合でも不要な未読化が発生しないようにします。
/// </summary>
internal static class missav
{
#region □クラス(Private)
/// <summary>
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
/// </summary>
private sealed class ExistingFeedEntry
{
public string Title { get; set; } = string.Empty;
public string SummaryHtml { get; set; } = string.Empty;
public DateTimeOffset PublishDate { get; set; }
public DateTimeOffset LastUpdatedTime { get; set; }
public List<string> Categories { get; set; } = new();
public List<string> Authors { get; set; } = new();
}
#endregion
#region □メソッド(Public)
/// <summary>
/// missav.ai の新着動画から RSS フィード (missav.xml) を生成・出力します。
/// </summary>
/// <param name="client">HttpClient</param>
/// <param name="sessionId">FlareSolverr セッションID</param>
/// <returns>非同期タスク</returns>
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
{
var pageMaster = "https://missav.ai";
var fileName = "missav.xml";
var feed = new SyndicationFeed("missav.ai", "missav Recent Videos", new Uri($"{pageMaster}/ja/new"));
var items = new List<SyndicationItem>();
try
{
// 外部からセッションが渡されなかった場合は自前で作成
bool ownSession = sessionId == null;
if (ownSession)
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
// 既存フィードの読み込み(未更新記事の不要な未読化防止およびFlareSolverrアクセス削減)
var existingEntries = LoadExistingEntries(fileName);
var docList = new List<IDocument>();
for (int pageId = 1; pageId <= 2; pageId++)
{
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
var pageURL = $"{pageMaster}/ja/new{(pageId > 1 ? $"?page={pageId}" : "")}";
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
if (document != null)
{
docList.Add(document);
}
}
try
var linkList = new List<string>();
foreach (var document in docList)
{
var docList = new List<IDocument>();
for (int pageId = 1; pageId <= 2; pageId++)
var elements = document.QuerySelectorAll("div.thumbnail.group");
var targetDivs = elements.Where(e => e.ClassList.Length == 2).ToList();
foreach (var div in targetDivs)
{
var pageURL = $"{pageMaster}/ja/new{(pageId > 1 ? $"?page={pageId}" : "")}";
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
if (document != null)
var titleElement = div.QuerySelector(".text-secondary") ?? div.QuerySelector("a[alt]");
var linkElement = div.QuerySelector(".text-secondary") ?? div.QuerySelector("a");
var imgElement = div.QuerySelector("img");
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
var relHref = linkElement?.GetAttribute("href") ?? string.Empty;
if (string.IsNullOrWhiteSpace(relHref))
{
docList.Add(document);
continue;
}
}
var linkList = new List<string>();
foreach (var document in docList)
{
var elements = document.QuerySelectorAll("div.thumbnail.group");
var targetDivs = elements.Where(e => e.ClassList.Length == 2).ToList();
var linkHref = relHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
? relHref
: $"{pageMaster.TrimEnd('/')}/{relHref.TrimStart('/')}";
foreach (var div in targetDivs)
var imageSrc = imgElement?.GetAttribute("data-src") ?? imgElement?.GetAttribute("src");
if (!linkList.Contains(linkHref))
{
var titleElement = div.QuerySelector(".text-secondary") ?? div.QuerySelector("a[alt]");
var linkElement = div.QuerySelector(".text-secondary") ?? div.QuerySelector("a");
var imgElement = div.QuerySelector("img");
linkList.Add(linkHref);
}
else
{
continue;
}
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
var relHref = linkElement?.GetAttribute("href") ?? string.Empty;
if (string.IsNullOrWhiteSpace(relHref))
var itemUri = new Uri(linkHref);
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
var guid = CmnUtil.CreateGuid(linkHref);
existingEntries.TryGetValue(linkHref, out var prevEntry);
if (prevEntry == null && !string.IsNullOrEmpty(guid))
{
existingEntries.TryGetValue(guid, out prevEntry);
}
SyndicationItem item;
if (prevEntry != null && !string.IsNullOrEmpty(prevEntry.SummaryHtml))
{
// 【未更新記事】
// 前回の本文HTMLおよび日時をそのまま維持して未読化を完全防止
item = new SyndicationItem(
title,
(string?)null,
itemUri,
guid,
prevEntry.LastUpdatedTime
)
{
continue;
}
PublishDate = prevEntry.PublishDate,
LastUpdatedTime = prevEntry.LastUpdatedTime,
Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html)
};
var linkHref = relHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
? relHref
: $"{pageMaster.TrimEnd('/')}/{relHref.TrimStart('/')}";
var imageSrc = imgElement?.GetAttribute("data-src") ?? imgElement?.GetAttribute("src");
if (!linkList.Contains(linkHref))
foreach (var cat in prevEntry.Categories)
{
linkList.Add(linkHref);
item.Categories.Add(new SyndicationCategory(cat));
}
else
foreach (var auth in prevEntry.Authors)
{
continue;
item.Authors.Add(new SyndicationPerson { Name = auth });
}
var itemUri = new Uri(linkHref);
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
// 詳細ページから動画ストリーム情報およびメタ情報を取得
string? streamUrl = null;
}
else
{
// 【新規記事】
string? descText = null;
string? maker = null;
var actresses = new List<string>();
@@ -94,33 +154,6 @@ internal static class missav
var docDetail = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId);
if (docDetail != null)
{
var sourceText = docDetail.Source.Text;
// 1. surrit.com の m3u8 URL を正規表現で抽出
var surritMatch = Regex.Match(sourceText, @"https?:\\?/\\?/[^""'\s\\]*surrit\.com/[^""'\s\\]+?\.m3u8", RegexOptions.IgnoreCase);
if (surritMatch.Success)
{
streamUrl = surritMatch.Value.Replace(@"\/", "/");
}
else
{
// 2. UUID から surrit.com の playlist.m3u8 を構築
var uuidMatch = Regex.Match(sourceText, @"[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}", RegexOptions.IgnoreCase);
if (uuidMatch.Success)
{
streamUrl = $"https://surrit.com/{uuidMatch.Value}/playlist.m3u8";
}
else
{
// 3. 汎用 .m3u8 のフォールバック抽出
var m3u8Match = Regex.Match(sourceText, @"https?:\\?/\\?/[^""'\s\\]+?\.m3u8", RegexOptions.IgnoreCase);
if (m3u8Match.Success)
{
streamUrl = m3u8Match.Value.Replace(@"\/", "/");
}
}
}
// 詳細テキスト(説明文)
descText = docDetail.QuerySelector("meta[name='description']")?.GetAttribute("content")
?? docDetail.QuerySelector("meta[property='og:description']")?.GetAttribute("content")
@@ -168,19 +201,12 @@ internal static class missav
LogManager.AddLog($"[警告] missav 詳細ページ取得失敗 ({linkHref}): {ex.Message}");
}
// 動画IDの抽出とWebImageViewerリンクの生成
var videoIdMatch = Regex.Match(linkHref, @"/ja/([^/?#]+)", RegexOptions.IgnoreCase);
string videoId = videoIdMatch.Success ? videoIdMatch.Groups[1].Value : linkHref.TrimEnd('/').Split('/').Last();
string viewerUrl = $"https://udukipc-web.armonica-vps.work/missav/{Uri.EscapeDataString(videoId)}";
if (!string.IsNullOrEmpty(streamUrl))
{
viewerUrl += $"?stream={Uri.EscapeDataString(streamUrl)}";
}
// WebImageViewer統一リンクの生成 (https://udukipc-web.armonica-vps.work/?url=[ページURL])
string viewerUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(linkHref)}";
// 本文 HTML(Summary)の生成(123avと同様の構成)
var body = new StringBuilder();
// 1. WebImageViewer への再生リンク & 外部リンク(記事への直接埋め込みは行わない)
// 1. WebImageViewer への再生リンク & 外部リンク
body.Append($@"<div style=""margin-bottom: 12px; padding: 10px 14px; background: rgba(236, 72, 153, 0.08); border-radius: 8px; border-left: 4px solid #ec4899;"">");
body.Append($@"<p style=""margin: 0 0 6px 0;""><a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: bold; font-size: 1.1em; color: #db2777; text-decoration: none;"">▶ WebImageViewerで動画を再生する</a></p>");
body.Append($@"<p style=""margin: 0; font-size: 0.9em; color: #64748b;""><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">missav公式ページで開く</a></p>");
@@ -214,13 +240,19 @@ internal static class missav
body.Append($@"<div><strong>タグ:</strong> {WebUtility.HtmlEncode(string.Join(", ", tags))}</div>");
}
var item = new SyndicationItem(
var now = DateTimeOffset.Now;
item = new SyndicationItem(
title,
string.Empty,
(string?)null,
itemUri,
CmnUtil.CreateGuid(linkHref),
DateTime.Now
);
guid,
now
)
{
PublishDate = now,
LastUpdatedTime = now,
Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html)
};
// カテゴリ登録(ジャンル、タグ、女優)
foreach (var g in genres)
@@ -245,27 +277,83 @@ internal static class missav
{
item.Authors.Add(new SyndicationPerson { Name = actresses[0] });
}
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
items.Add(item);
}
}
feed.Items = items;
await CmnUtil.ExportXMLFileAsync("missav.xml", feed, client);
items.Add(item);
}
}
finally
feed.Items = items;
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, filter24Hours: false);
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 【missav】 {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
#endregion
#region □メソッド(Private)
/// <summary>
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。
/// </summary>
/// <param name="fileName">XML ファイル名</param>
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
{
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
try
{
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
if (!File.Exists(xmlPath))
{
if (ownSession && sessionId != null)
return existingEntries;
}
using var reader = XmlReader.Create(xmlPath);
var existingFeed = SyndicationFeed.Load(reader);
if (existingFeed?.Items != null)
{
foreach (var item in existingFeed.Items)
{
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
var guid = item.Id;
var entry = new ExistingFeedEntry
{
Title = item.Title?.Text?.Trim() ?? string.Empty,
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
PublishDate = item.PublishDate != DateTimeOffset.MinValue
? item.PublishDate
: (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now),
LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue
? item.LastUpdatedTime
: (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now),
Categories = item.Categories.Select(c => c.Name).ToList(),
Authors = item.Authors.Select(a => a.Name).ToList()
};
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
{
existingEntries[linkUrl] = entry;
}
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
{
existingEntries[guid] = entry;
}
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] missav:{ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
LogManager.AddLog($"[情報] missav 既存エントリ読み込みスキップ: {ex.Message}");
}
return existingEntries;
}
#endregion
}
+245 -201
View File
@@ -1,228 +1,226 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using AngleSharp.Html.Parser;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.RegularExpressions;
using System.Threading.Tasks;
using System.Xml;
using rss_generator.Class.Common;
namespace rss_generator.Class.MissAV123;
/// <summary>
/// 123av.com の新着動画を取得し、WebImageViewer (https://udukipc-web.armonica-vps.work/) で動画を視聴できるリンクを含むRSSを生成します。
/// 既存のフィードが存在する場合は同一記事の情報を引き継ぎ、FreshRSS 等で「更新された記事を未読とする」が有効な場合でも不要な未読化が発生しないようにします。
/// </summary>
internal class missav123
{
#region □クラス(Private)
/// <summary>
/// 123av.com の新着動画を取得し、WebImageViewer (https://udukipc-web.armonica-vps.work/) で動画を視聴できるリンクを含むRSSを生成します。
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
/// </summary>
private sealed class ExistingFeedEntry
{
public string Title { get; set; } = string.Empty;
public string SummaryHtml { get; set; } = string.Empty;
public DateTimeOffset PublishDate { get; set; }
public DateTimeOffset LastUpdatedTime { get; set; }
public List<string> Categories { get; set; } = new();
public List<string> Authors { get; set; } = new();
}
#endregion
#region □メソッド(Public)
/// <summary>
/// 123av.com の新着動画を取得し、RSS フィード (123av.xml) を生成・出力します。
/// </summary>
/// <param name="client">HttpClient インスタンス</param>
/// <param name="sessionId">FlareSolverr セッションID</param>
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
{
var pageMaster = "https://123av.com";
var fileName = "123av.xml";
var feed = new SyndicationFeed("123av.com", "123av Recent Videos", new Uri($"{pageMaster}/ja/recent"));
var items = new List<SyndicationItem>();
try
{
// 外部からセッションが渡されなかった場合は自前で作成
bool ownSession = sessionId == null;
if (ownSession)
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
// 既存フィードの読み込み(相対時間の再計算による未読化防止および高速化)
var existingEntries = LoadExistingEntries(fileName);
var docList = new List<IDocument>();
for (int pageId = 1; pageId <= 2; pageId++)
{
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
}
try
{
var docList = new List<IDocument>();
for (int pageId = 1; pageId <= 2; pageId++)
var pageURL = $"{pageMaster}/ja/recent{(pageId > 1 ? $"?page={pageId}" : "")}";
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
if (document != null)
{
var pageURL = $"{pageMaster}/ja/recent{(pageId > 1 ? $"?page={pageId}" : "")}";
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
if (document != null)
{
docList.Add(document);
}
docList.Add(document);
}
}
var linkList = new List<string>();
foreach (var document in docList)
var linkList = new List<string>();
foreach (var document in docList)
{
var elements = document.QuerySelectorAll("div.card");
var targetDivs = elements.Where(e => e.ClassList.Length == 1 || e.QuerySelector("a.card__link") != null).ToList();
foreach (var div in targetDivs)
{
var elements = document.QuerySelectorAll("div.card");
var targetDivs = elements.Where(e => e.ClassList.Length == 1 || e.QuerySelector("a.card__link") != null).ToList();
foreach (var div in targetDivs)
var linkElement = div.QuerySelector("a.card__link") ?? div.QuerySelector("a.card__cover");
var titleElement = div.QuerySelector(".card__title a") ?? div.QuerySelector("a.card__link");
var imgElement = div.QuerySelector("img");
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
var relHref = linkElement?.GetAttribute("href") ?? string.Empty;
if (string.IsNullOrWhiteSpace(relHref))
{
var linkElement = div.QuerySelector("a.card__link") ?? div.QuerySelector("a.card__cover");
var titleElement = div.QuerySelector(".card__title a") ?? div.QuerySelector("a.card__link");
var imgElement = div.QuerySelector("img");
continue;
}
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
var relHref = linkElement?.GetAttribute("href") ?? string.Empty;
if (string.IsNullOrWhiteSpace(relHref))
var linkHref = relHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
? relHref
: $"{pageMaster.TrimEnd('/')}/{relHref.TrimStart('/')}";
var imageSrc = imgElement?.GetAttribute("data-src") ?? imgElement?.GetAttribute("src");
if (!linkList.Contains(linkHref))
{
linkList.Add(linkHref);
}
else
{
continue;
}
var itemUri = new Uri(linkHref);
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
var guid = CmnUtil.CreateGuid(linkHref);
existingEntries.TryGetValue(linkHref, out var prevEntry);
if (prevEntry == null && !string.IsNullOrEmpty(guid))
{
existingEntries.TryGetValue(guid, out prevEntry);
}
SyndicationItem item;
if (prevEntry != null && !string.IsNullOrEmpty(prevEntry.SummaryHtml))
{
// 【未更新記事】
// 前回の本文HTMLおよび日時(PublishDate / LastUpdatedTime)をそのまま維持
item = new SyndicationItem(
title,
(string?)null,
itemUri,
guid,
prevEntry.LastUpdatedTime
)
{
continue;
}
PublishDate = prevEntry.PublishDate,
LastUpdatedTime = prevEntry.LastUpdatedTime,
Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html)
};
var linkHref = relHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
? relHref
: $"{pageMaster.TrimEnd('/')}/{relHref.TrimStart('/')}";
var imageSrc = imgElement?.GetAttribute("src");
if (!linkList.Contains(linkHref))
foreach (var cat in prevEntry.Categories)
{
linkList.Add(linkHref);
item.Categories.Add(new SyndicationCategory(cat));
}
else
foreach (var auth in prevEntry.Authors)
{
continue;
item.Authors.Add(new SyndicationPerson { Name = auth });
}
}
else
{
// 【新規記事】
// カード上の時間表記
var cardMetaTimeText = div.QuerySelector(".card__meta")?.TextContent?.Trim();
var cardMetaTimeText = div.QuerySelector(".card__meta span")?.TextContent?.Trim();
var itemUri = new Uri(linkHref);
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
// 詳細ページから動画プレイヤーURLおよび詳細情報を取得
string? playerUrl = null;
string? descText = null;
var genres = new List<string>();
var tags = new List<string>();
var actresses = new List<string>();
string? maker = null;
string? series = null;
string? releaseDateText = null;
string? detailMetaTimeText = null;
string? maker = null;
string? series = null;
var actresses = new List<string>();
var genres = new List<string>();
var tags = new List<string>();
try
{
var docDetail = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId);
if (docDetail != null)
{
// 1. iframe.player__frame の src から取得
playerUrl = docDetail.QuerySelector("iframe.player__frame")?.GetAttribute("src")
?? docDetail.QuerySelector(".player iframe")?.GetAttribute("src");
// 詳細テキスト(説明文)
descText = docDetail.QuerySelector("meta[name='description']")?.GetAttribute("content")
?? docDetail.QuerySelector("meta[property='og:description']")?.GetAttribute("content")
?? docDetail.QuerySelector(".detail__description")?.TextContent?.Trim();
// 2. HTML内の javplayer.cc URL から正規表現で取得(フォールバック)
if (string.IsNullOrEmpty(playerUrl))
// 発売日および更新日時
var metaDivs = docDetail.QuerySelectorAll(".detail__meta, .card__meta, .video-info span, .detail__info div");
foreach (var m in metaDivs)
{
var match = Regex.Match(docDetail.Source.Text, @"https?:\\?/\\?/javplayer\.cc[^\s""'\\]+");
if (match.Success)
var txt = m.TextContent?.Trim();
if (string.IsNullOrEmpty(txt)) continue;
if (txt.Contains("発売日") || txt.Contains("リリース") || txt.Contains("Release"))
{
playerUrl = match.Value.Replace(@"\/", "/");
var mMatch = Regex.Match(txt, @"\d{4}[-/年]\d{1,2}[-/月]\d{1,2}");
if (mMatch.Success)
{
releaseDateText = mMatch.Value;
}
}
if (txt.Contains("前") || txt.Contains("ago"))
{
detailMetaTimeText = txt;
}
}
// 3. 詳細ページ上部の相対更新日時(例: "1分 56秒前", "31m 26s ago")
detailMetaTimeText = docDetail.QuerySelector(".watch__meta--stats .watch__metaitem")?.TextContent?.Trim();
if (!string.IsNullOrEmpty(detailMetaTimeText))
// メーカー / レーベル
maker = docDetail.QuerySelector("a[href*='/makers/'], a[href*='/maker/'], a[href*='/labels/'], a[href*='/label/']")?.TextContent?.Trim();
// シリーズ
series = docDetail.QuerySelector("a[href*='/series/'], a[href*='/serie/']")?.TextContent?.Trim();
// 出演者
var actressElements = docDetail.QuerySelectorAll("a[href*='/actresses/'], a[href*='/actress/']");
foreach (var a in actressElements)
{
detailMetaTimeText = Regex.Replace(detailMetaTimeText, @"\s+", " ").Trim();
}
// 4. 詳細説明文
descText = docDetail.QuerySelector(".watch__desc-text")?.TextContent?.Trim();
// 5. 詳細情報ブロック (<dl class="watch__info">) 内の各項目を抽出
var infoRows = docDetail.QuerySelectorAll(".watch__info-row");
foreach (var row in infoRows)
{
var dtText = row.QuerySelector("dt")?.TextContent?.Trim() ?? string.Empty;
var ddElement = row.QuerySelector("dd");
if (string.IsNullOrEmpty(dtText) || ddElement == null) continue;
if (dtText.Contains("発売日") || dtText.Contains("公開日") || dtText.Contains("配信日") || dtText.Equals("Release date", StringComparison.OrdinalIgnoreCase))
var aName = a.TextContent?.Trim();
if (!string.IsNullOrEmpty(aName) && !actresses.Contains(aName))
{
releaseDateText = ddElement.TextContent?.Trim();
}
else if (dtText.Contains("出演者") || dtText.Contains("女優") || dtText.Equals("Cast", StringComparison.OrdinalIgnoreCase))
{
var actressLinks = ddElement.QuerySelectorAll("a");
foreach (var a in actressLinks)
{
var aName = a.TextContent?.Trim();
if (!string.IsNullOrEmpty(aName) && !actresses.Contains(aName))
{
actresses.Add(aName);
}
}
if (actresses.Count == 0 && !string.IsNullOrWhiteSpace(ddElement.TextContent))
{
var textVal = ddElement.TextContent.Trim();
if (!actresses.Contains(textVal))
{
actresses.Add(textVal);
}
}
}
else if (dtText.Contains("メーカー") || dtText.Equals("Maker", StringComparison.OrdinalIgnoreCase))
{
if (string.IsNullOrEmpty(maker))
{
maker = ddElement.TextContent?.Trim();
}
}
else if (dtText.Contains("シリーズ") || dtText.Equals("Series", StringComparison.OrdinalIgnoreCase))
{
series = ddElement.TextContent?.Trim();
}
else if (dtText.Contains("ジャンル") || dtText.Equals("Genres", StringComparison.OrdinalIgnoreCase))
{
var gLinks = ddElement.QuerySelectorAll("a");
foreach (var g in gLinks)
{
var gName = g.TextContent?.Trim();
if (!string.IsNullOrEmpty(gName) && !genres.Contains(gName))
{
genres.Add(gName);
}
}
}
else if (dtText.Contains("タグ") || dtText.Equals("Tags", StringComparison.OrdinalIgnoreCase))
{
var tLinks = ddElement.QuerySelectorAll("a");
foreach (var t in tLinks)
{
var tName = t.TextContent?.Trim();
if (!string.IsNullOrEmpty(tName) && !tags.Contains(tName))
{
tags.Add(tName);
}
}
actresses.Add(aName);
}
}
// フォールバック: メーカー
if (string.IsNullOrEmpty(maker))
// ジャンル
var genreElements = docDetail.QuerySelectorAll("a[href*='/genres/'], a[href*='/genre/']");
foreach (var g in genreElements)
{
maker = docDetail.QuerySelector("a[href*='/makers/']")?.TextContent?.Trim();
}
// フォールバック: ジャンル
if (genres.Count == 0)
{
var genreElements = docDetail.QuerySelectorAll("a[href*='/genres/']");
foreach (var g in genreElements)
var gName = g.TextContent?.Trim();
if (!string.IsNullOrEmpty(gName) && !genres.Contains(gName))
{
var gName = g.TextContent?.Trim();
if (!string.IsNullOrEmpty(gName) && !genres.Contains(gName))
{
genres.Add(gName);
}
genres.Add(gName);
}
}
// フォールバック: タグ
if (tags.Count == 0)
// タグ
var tagElements = docDetail.QuerySelectorAll("a[href*='/tags/'], a[href*='/tag/']");
foreach (var t in tagElements)
{
var tagElements = docDetail.QuerySelectorAll("a[href*='/tags/']");
foreach (var t in tagElements)
var tName = t.TextContent?.Trim();
if (!string.IsNullOrEmpty(tName) && !tags.Contains(tName))
{
var tName = t.TextContent?.Trim();
if (!string.IsNullOrEmpty(tName) && !tags.Contains(tName))
{
tags.Add(tName);
}
tags.Add(tName);
}
}
}
@@ -232,16 +230,10 @@ internal class missav123
LogManager.AddLog($"[警告] 123av 詳細ページ取得失敗 ({linkHref}): {ex.Message}");
}
// 動画IDの抽出とWebImageViewerリンクの生成
var videoIdMatch = Regex.Match(linkHref, @"/video/([^/?#]+)", RegexOptions.IgnoreCase);
string videoId = videoIdMatch.Success ? videoIdMatch.Groups[1].Value : linkHref.TrimEnd('/').Split('/').Last();
string viewerUrl = $"https://udukipc-web.armonica-vps.work/123av/{Uri.EscapeDataString(videoId)}";
if (!string.IsNullOrEmpty(playerUrl))
{
viewerUrl += $"?play={Uri.EscapeDataString(playerUrl)}";
}
// WebImageViewer統一リンクの生成 (https://udukipc-web.armonica-vps.work/?url=[ページURL])
string viewerUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(linkHref)}";
// 更新日時(サイト上の追加・更新日時)の算出
// 更新日時の算出
DateTimeOffset? updatedDate = null;
var timeTextToParse = !string.IsNullOrWhiteSpace(detailMetaTimeText) ? detailMetaTimeText : cardMetaTimeText;
if (!string.IsNullOrWhiteSpace(timeTextToParse))
@@ -263,23 +255,19 @@ internal class missav123
// 本文 HTML(Summary)の生成
var body = new StringBuilder();
// 1. WebImageViewer への再生リンク & 外部リンク(記事への直接埋め込みは行わない)
// 1. WebImageViewer への再生リンク & 外部リンク
body.Append($@"<div style=""margin-bottom: 12px; padding: 10px 14px; background: rgba(99, 102, 241, 0.08); border-radius: 8px; border-left: 4px solid #6366f1;"">");
body.Append($@"<p style=""margin: 0 0 6px 0;""><a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: bold; font-size: 1.1em; color: #4f46e5; text-decoration: none;"">▶ WebImageViewerで動画を再生する</a></p>");
body.Append($@"<p style=""margin: 0; font-size: 0.9em; color: #64748b;""><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">123av公式ページで開く</a>");
if (!string.IsNullOrEmpty(playerUrl))
{
body.Append($@" | <a href=""{playerUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">直接動画プレイヤーを開く</a>");
}
body.Append($@"</p></div>");
body.Append($@"<p style=""margin: 0; font-size: 0.9em; color: #64748b;""><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">123av公式ページで開く</a></p>");
body.Append($@"</div>");
// 3. サムネイル画像
// 2. サムネイル画像
if (imageUri != null)
{
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-top: 8px;"" /></div>");
}
// 4. メタ情報(詳細、発売日、更新日時、メーカー、シリーズ、出演者、ジャンル、タグ)
// 3. メタ情報(詳細、発売日、更新日時、メーカー、シリーズ、出演者、ジャンル、タグ)
if (!string.IsNullOrWhiteSpace(descText))
{
body.Append($@"<div style=""margin-top: 8px;""><strong>詳細:</strong> {WebUtility.HtmlEncode(descText)}</div>");
@@ -313,16 +301,17 @@ internal class missav123
body.Append($@"<div><strong>タグ:</strong> {WebUtility.HtmlEncode(string.Join(", ", tags))}</div>");
}
var item = new SyndicationItem(
item = new SyndicationItem(
title,
string.Empty,
(string?)null,
itemUri,
CmnUtil.CreateGuid(linkHref),
guid,
lastUpdatedDate
)
{
PublishDate = publishDate,
LastUpdatedTime = lastUpdatedDate
LastUpdatedTime = lastUpdatedDate,
Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html)
};
// カテゴリ登録(ジャンル、タグ、出演者)
@@ -347,27 +336,18 @@ internal class missav123
{
item.Authors.Add(new SyndicationPerson { Name = a });
}
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
items.Add(item);
}
}
feed.Items = items;
await CmnUtil.ExportXMLFileAsync("123av.xml", feed, client);
}
finally
{
if (ownSession && sessionId != null)
{
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
items.Add(item);
}
}
feed.Items = items;
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, filter24Hours: false);
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 123av:{ex.Message}");
LogManager.AddLog($"[エラー] 【missav123】 {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
@@ -387,7 +367,7 @@ internal class missav123
var span = TimeSpan.Zero;
bool matched = false;
// 年 (日本語: "1年前", 英語: "1y ago", "1 year ago")
// 年
var yearMatch = Regex.Match(text, @"(\d+)\s*(?:年|y(?:ears?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
if (yearMatch.Success && int.TryParse(yearMatch.Groups[1].Value, out int years))
{
@@ -395,7 +375,7 @@ internal class missav123
matched = true;
}
// 月 (日本語: "1か月前", "1ヶ月前", "1月前", 英語: "1mo ago", "1 month ago")
// 月
var monthMatch = Regex.Match(text, @"(\d+)\s*(?:(?:か|ヶ|ケ)?月|mo(?:nths?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
if (monthMatch.Success && int.TryParse(monthMatch.Groups[1].Value, out int months))
{
@@ -403,7 +383,7 @@ internal class missav123
matched = true;
}
// 週 (日本語: "1週間前", "1週前", 英語: "1w ago", "1 week ago")
// 週
var weekMatch = Regex.Match(text, @"(\d+)\s*(?:(?:週|週間)|w(?:eeks?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
if (weekMatch.Success && int.TryParse(weekMatch.Groups[1].Value, out int weeks))
{
@@ -411,7 +391,7 @@ internal class missav123
matched = true;
}
// 日 (日本語: "1日前", "1日 2時間前", 英語: "1d ago", "1 day ago")
// 日
var dayMatch = Regex.Match(text, @"(\d+)\s*(?:日|d(?:ays?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
if (dayMatch.Success && int.TryParse(dayMatch.Groups[1].Value, out int days))
{
@@ -419,7 +399,7 @@ internal class missav123
matched = true;
}
// 時間 (日本語: "1時間前", "1時間 30分前", 英語: "1h ago", "1 hour ago")
// 時間
var hourMatch = Regex.Match(text, @"(\d+)\s*(?:時間|h(?:ours?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
if (hourMatch.Success && int.TryParse(hourMatch.Groups[1].Value, out int hours))
{
@@ -427,7 +407,7 @@ internal class missav123
matched = true;
}
// 分 (日本語: "30分前", "30分 20秒前", 英語: "30m ago", "30 mins ago")
// 分
var minMatch = Regex.Match(text, @"(\d+)\s*(?:分|m(?:in(?:ute)?s?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
if (minMatch.Success && int.TryParse(minMatch.Groups[1].Value, out int mins))
{
@@ -435,7 +415,7 @@ internal class missav123
matched = true;
}
// 秒 (日本語: "39秒前", 英語: "39s ago", "39 secs ago")
// 秒
var secMatch = Regex.Match(text, @"(\d+)\s*(?:秒|s(?:ec(?:ond)?s?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase);
if (secMatch.Success && int.TryParse(secMatch.Groups[1].Value, out int secs))
{
@@ -456,4 +436,68 @@ internal class missav123
return now;
}
}
#endregion
#region □メソッド(Private)
/// <summary>
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。
/// </summary>
/// <param name="fileName">XML ファイル名</param>
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
{
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
try
{
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
if (!File.Exists(xmlPath))
{
return existingEntries;
}
using var reader = XmlReader.Create(xmlPath);
var existingFeed = SyndicationFeed.Load(reader);
if (existingFeed?.Items != null)
{
foreach (var item in existingFeed.Items)
{
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
var guid = item.Id;
var entry = new ExistingFeedEntry
{
Title = item.Title?.Text?.Trim() ?? string.Empty,
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
PublishDate = item.PublishDate != DateTimeOffset.MinValue
? item.PublishDate
: (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now),
LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue
? item.LastUpdatedTime
: (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now),
Categories = item.Categories.Select(c => c.Name).ToList(),
Authors = item.Authors.Select(a => a.Name).ToList()
};
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
{
existingEntries[linkUrl] = entry;
}
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
{
existingEntries[guid] = entry;
}
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[情報] missav123 既存エントリ読み込みスキップ: {ex.Message}");
}
return existingEntries;
}
#endregion
}
+53 -29
View File
@@ -1,4 +1,4 @@
using AngleSharp.Html.Parser;
using AngleSharp.Html.Parser;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.RegularExpressions;
@@ -12,7 +12,7 @@ internal class momonga_fanzine
{
var pageMaster = "https://momon-ga.com/fanzine";
try
try
{
var linkList = new List<string>();
for (int pageId = 1; pageId <= 50; pageId++)
@@ -31,9 +31,11 @@ internal class momonga_fanzine
// 簡潔なRSSに非同期で整形
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
{
List<SyndicationCategory> getAddCategory()
// 本文内のメタデータからカテゴリおよび著者(サークル・作者)を抽出
(List<SyndicationCategory> categories, List<string> authors) parseMetadata()
{
List<SyndicationCategory> result = new List<SyndicationCategory>();
var resultCategories = new List<SyndicationCategory>();
var resultAuthors = new List<string>();
string orgText = originalItem.Summary.Text;
var parser = new HtmlParser();
@@ -50,14 +52,15 @@ internal class momonga_fanzine
targetText = targetText.Substring(0, tagIndex);
}
// ----------------------------------------------------
// 正規表現で各項目の値を抽出する
// 正規表現で各項目のラベルと値を抽出する
// ----------------------------------------------------
string pattern = @"【[^】]+】([^【]*)";
string pattern = @"【(?<key>[^】]+)】(?<val>[^【]*)";
var matches = Regex.Matches(targetText, pattern);
foreach (Match match in matches)
{
string valuesStr = match.Groups[1].Value;
string key = match.Groups["key"].Value.Trim();
string valuesStr = match.Groups["val"].Value;
if (string.IsNullOrWhiteSpace(valuesStr))
{
@@ -68,16 +71,27 @@ internal class momonga_fanzine
foreach (var val in splitValues)
{
string categoryName = val.Trim();
string cleanName = val.Trim();
if (!string.IsNullOrEmpty(categoryName))
if (!string.IsNullOrEmpty(cleanName))
{
result.Add(new SyndicationCategory(categoryName));
resultCategories.Add(new SyndicationCategory(cleanName));
// サークルまたは作者(アーティスト)の場合は著者一覧にも追加
if (key == "サークル" || key == "作者" ||
key.Equals("circle", StringComparison.OrdinalIgnoreCase) ||
key.Equals("artist", StringComparison.OrdinalIgnoreCase))
{
if (!resultAuthors.Contains(cleanName, StringComparer.OrdinalIgnoreCase))
{
resultAuthors.Add(cleanName);
}
}
}
}
}
}
return result;
return (resultCategories, resultAuthors);
}
var newItem = new SyndicationItem()
@@ -93,8 +107,11 @@ internal class momonga_fanzine
{
newItem.Links.Add(new SyndicationLink(link));
}
var (addCategories, addAuthors) = parseMetadata();
// カテゴリに本文内の作者などの情報を追加する
foreach (var category in getAddCategory())
foreach (var category in addCategories)
{
newItem.Categories.Add(category);
}
@@ -104,9 +121,21 @@ internal class momonga_fanzine
category.Scheme = null;
newItem.Categories.Add(category);
}
foreach (var author in originalItem.Authors)
// 著者の設定:アーティストやサークルの値をすべて追加してFreshRSSで検索可能にする
if (addAuthors.Count > 0)
{
newItem.Authors.Add(author);
foreach (var authorName in addAuthors)
{
newItem.Authors.Add(new SyndicationPerson { Name = authorName });
}
}
else
{
foreach (var author in originalItem.Authors)
{
newItem.Authors.Add(author);
}
}
// ID
@@ -115,16 +144,11 @@ internal class momonga_fanzine
var body = new StringBuilder();
if (link != null)
{
// ギャラリー表示リンク
var match = Regex.Match(link.ToString(), @"(mo\d+)", RegexOptions.IgnoreCase);
if (match.Success)
{
string moId = match.Groups[1].Value;
string galleryUrl = $"https://udukipc-web.armonica-vps.work/momonga/{moId}/";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
}
// ギャラリー表示リンク (WebImageViewer統一URL方式)
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(link.ToString())}";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
// ダウンロードリンク
string encoded = ToBase64Url(link.AbsoluteUri);
@@ -170,14 +194,14 @@ internal class momonga_fanzine
simplifiedItems
);
await CmnUtil.ExportXMLFileAsync("momonga-fanzine.xml", mergedFeed, client);
await CmnUtil.ExportXMLFileAsync("momonga-fanzine.xml", mergedFeed, client, addDir: "momon-ga.com");
}
catch (Exception ex)
catch (Exception ex)
{
LogManager.AddLog($"[エラー] momonga-fanzine:{ex.Message}");
LogManager.AddLog($"[エラー] 【Momonga】 fanzine: {ex.Message}");
}
}
/// <summary>
/// 文字列をURLセーフなBase64(Base64URL)に変換します (RFC 4648 準拠)
/// </summary>
@@ -189,5 +213,5 @@ internal class momonga_fanzine
.Replace('/', '_') // '/' を '_' に置換
.TrimEnd('='); // 末尾のパディング '=' を削除
}
}
+50 -26
View File
@@ -1,4 +1,4 @@
using AngleSharp.Html.Parser;
using AngleSharp.Html.Parser;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.RegularExpressions;
@@ -31,9 +31,11 @@ internal class momonga_magazine
// 簡潔なRSSに非同期で整形
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
{
List<SyndicationCategory> getAddCategory()
// 本文内のメタデータからカテゴリおよび著者(サークル・作者)を抽出
(List<SyndicationCategory> categories, List<string> authors) parseMetadata()
{
List<SyndicationCategory> result = new List<SyndicationCategory>();
var resultCategories = new List<SyndicationCategory>();
var resultAuthors = new List<string>();
string orgText = originalItem.Summary.Text;
var parser = new HtmlParser();
@@ -50,14 +52,15 @@ internal class momonga_magazine
targetText = targetText.Substring(0, tagIndex);
}
// ----------------------------------------------------
// 正規表現で各項目の値を抽出する
// 正規表現で各項目のラベルと値を抽出する
// ----------------------------------------------------
string pattern = @"【[^】]+】([^【]*)";
string pattern = @"【(?<key>[^】]+)】(?<val>[^【]*)";
var matches = Regex.Matches(targetText, pattern);
foreach (Match match in matches)
{
string valuesStr = match.Groups[1].Value;
string key = match.Groups["key"].Value.Trim();
string valuesStr = match.Groups["val"].Value;
if (string.IsNullOrWhiteSpace(valuesStr))
{
@@ -68,16 +71,27 @@ internal class momonga_magazine
foreach (var val in splitValues)
{
string categoryName = val.Trim();
string cleanName = val.Trim();
if (!string.IsNullOrEmpty(categoryName))
if (!string.IsNullOrEmpty(cleanName))
{
result.Add(new SyndicationCategory(categoryName));
resultCategories.Add(new SyndicationCategory(cleanName));
// サークルまたは作者(アーティスト)の場合は著者一覧にも追加
if (key == "サークル" || key == "作者" ||
key.Equals("circle", StringComparison.OrdinalIgnoreCase) ||
key.Equals("artist", StringComparison.OrdinalIgnoreCase))
{
if (!resultAuthors.Contains(cleanName, StringComparer.OrdinalIgnoreCase))
{
resultAuthors.Add(cleanName);
}
}
}
}
}
}
return result;
return (resultCategories, resultAuthors);
}
var newItem = new SyndicationItem()
@@ -93,8 +107,11 @@ internal class momonga_magazine
{
newItem.Links.Add(new SyndicationLink(link));
}
var (addCategories, addAuthors) = parseMetadata();
// カテゴリに本文内の作者などの情報を追加する
foreach (var category in getAddCategory())
foreach (var category in addCategories)
{
newItem.Categories.Add(category);
}
@@ -104,9 +121,21 @@ internal class momonga_magazine
category.Scheme = null;
newItem.Categories.Add(category);
}
foreach (var author in originalItem.Authors)
// 著者の設定:アーティストやサークルの値をすべて追加してFreshRSSで検索可能にする
if (addAuthors.Count > 0)
{
newItem.Authors.Add(author);
foreach (var authorName in addAuthors)
{
newItem.Authors.Add(new SyndicationPerson { Name = authorName });
}
}
else
{
foreach (var author in originalItem.Authors)
{
newItem.Authors.Add(author);
}
}
// ID
@@ -115,16 +144,11 @@ internal class momonga_magazine
var body = new StringBuilder();
if (link != null)
{
// ギャラリー表示リンク
var match = Regex.Match(link.ToString(), @"(mo\d+)", RegexOptions.IgnoreCase);
if (match.Success)
{
string moId = match.Groups[1].Value;
string galleryUrl = $"https://udukipc-web.armonica-vps.work/momonga/{moId}/";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
}
// ギャラリー表示リンク (WebImageViewer統一URL方式)
string galleryUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(link.ToString())}";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
// ダウンロードリンク
string encoded = ToBase64Url(link.AbsoluteUri);
@@ -170,11 +194,11 @@ internal class momonga_magazine
simplifiedItems
);
await CmnUtil.ExportXMLFileAsync("momonga-magazine.xml", mergedFeed, client);
await CmnUtil.ExportXMLFileAsync("momonga-magazine.xml", mergedFeed, client, addDir: "momon-ga.com");
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] momonga-magazine:{ex.Message}");
LogManager.AddLog($"[エラー] 【Momonga】 magazine: {ex.Message}");
}
}
@@ -189,5 +213,5 @@ internal class momonga_magazine
.Replace('/', '_') // '/' を '_' に置換
.TrimEnd('='); // 末尾のパディング '=' を削除
}
}
+35 -60
View File
@@ -1,4 +1,4 @@
using System;
using System;
using System.Collections.Generic;
using System.Globalization;
using System.Linq;
@@ -35,7 +35,7 @@ internal static class pixiv_common
/// <summary>
/// サムネイル画像を直接取得して Base64 形式(Data URI: data:image/jpeg;base64,...)で RSS に埋め込むかどうか。
/// 有効にすると RSS リーダー側での画像読み込み遅延(約9秒)および 403 エラーが完全に解消されます。
/// ※FreshRSS ではサニタイザーやデータサイズ制限により本文全体が空文字(非表示)になる原因となるため、デフォルトは無効(false)です。
/// 環境変数 PIXIV_EMBED_BASE64 (true/false) での上書きも可能です。
/// </summary>
public static bool EmbedThumbnailBase64
@@ -51,17 +51,33 @@ internal static class pixiv_common
}
set => _embedThumbnailBase64 = value;
}
private static bool _embedThumbnailBase64 = true;
private static bool _embedThumbnailBase64 = false;
/// <summary>
/// RSSリーダー等で画像直リンク時の403エラーを回避するため、画像プロキシ(i.pixiv.re)を利用するかどうか(Base64埋め込みが無効または失敗時のフォールバック先)
/// RSSリーダー等で画像直リンク時の403エラーを回避するため、画像プロキシを利用するかどうか
/// </summary>
public static bool UseImageProxy { get; set; } = true;
/// <summary>
/// 画像プロキシホスト名(UseImageProxy が有効な場合に i.pximg.net を置換)
/// 画像プロキシホスト名(UseImageProxy が有効な場合に i.pximg.net を置換)。
/// 自前の Caddy オンデマンド・リバースプロキシ(feeds.armonica-vps.work/pximg)を利用することで、
/// ローカルディスクに一切保存することなく、数十ミリ秒の超高速で画像を表示できます。
/// 環境変数 PIXIV_IMAGE_PROXY_HOST での上書きも可能です。
/// </summary>
public static string ImageProxyHost { get; set; } = "i.pixiv.re";
public static string ImageProxyHost
{
get
{
var envVal = Environment.GetEnvironmentVariable("PIXIV_IMAGE_PROXY_HOST");
if (!string.IsNullOrWhiteSpace(envVal))
{
return envVal.Trim().TrimEnd('/');
}
return _imageProxyHost.TrimEnd('/');
}
set => _imageProxyHost = value;
}
private static string _imageProxyHost = "feeds.armonica-vps.work/pximg";
/// <summary>
/// 1回の生成で取得する最大ページ数(1ページあたり約60作品)
@@ -371,52 +387,19 @@ internal static class pixiv_common
/// <summary>
/// Pixiv の作品アイテムリストを非同期で SyndicationItem のリストに変換します。
/// EmbedThumbnailBase64 が有効な場合、サムネイル画像を最大並列数で直接ダウンロードして Base64 埋め込みを行います。
/// </summary>
/// <param name="client">HttpClient インスタンス</param>
/// <param name="illusts">Pixiv 作品アイテム列挙</param>
/// <param name="maxParallelDownloads">画像ダウンロードの最大並列数(デフォルト: 6)</param>
/// <param name="maxParallelDownloads">画像ダウンロードの最大並列数(互換性パラメータ)</param>
/// <returns>SyndicationItem リスト</returns>
public static async Task<List<SyndicationItem>> ConvertToSyndicationItemsAsync(
public static Task<List<SyndicationItem>> ConvertToSyndicationItemsAsync(
HttpClient client,
IEnumerable<PixivIllustItem> illusts,
int maxParallelDownloads = 6)
{
var illustList = illusts.ToList();
var base64ImageMap = new Dictionary<string, string>(StringComparer.OrdinalIgnoreCase);
// Base64 埋め込みが有効な場合、画像を並列ダウンロードしてマップに保持
if (EmbedThumbnailBase64)
{
using var semaphore = new SemaphoreSlim(maxParallelDownloads);
var tasks = illustList
.Where(i => !string.IsNullOrWhiteSpace(i.Url))
.Select(async illust =>
{
await semaphore.WaitAsync();
try
{
var dataUri = await FetchImageAsBase64Async(client, illust.Url);
if (!string.IsNullOrWhiteSpace(dataUri))
{
lock (base64ImageMap)
{
base64ImageMap[illust.Id] = dataUri;
}
}
}
finally
{
semaphore.Release();
}
});
await Task.WhenAll(tasks);
AddLog($"[情報] [pixiv_common] サムネイル画像の Base64 取得完了: {base64ImageMap.Count}/{illustList.Count} 件成功");
}
// アイテムの組み立て(各アイテムに Base64 またはフォールバック URL を設定)
return ConvertToSyndicationItemsInternal(illustList, base64ImageMap);
// 自前の Caddy オンデマンド・リバースプロキシ(feeds.armonica-vps.work/pximg)により高速配信するため、
// ローカルディスクへのファイル保存や事前ダウンロード待ち(I/O)は行わず即座に変換
return Task.FromResult(ConvertToSyndicationItems(illusts));
}
/// <summary>
@@ -434,7 +417,7 @@ internal static class pixiv_common
/// </summary>
private static List<SyndicationItem> ConvertToSyndicationItemsInternal(
IEnumerable<PixivIllustItem> illusts,
Dictionary<string, string>? base64ImageMap)
Dictionary<string, string>? customImageUrlMap = null)
{
var items = new List<SyndicationItem>();
@@ -507,19 +490,11 @@ internal static class pixiv_common
// 本文 HTML の生成
var body = new StringBuilder();
// 画像 URL の決定(Base64 埋め込み優先、なければプロキシまたは元URL適用)
string? displayImageUrl = null;
if (base64ImageMap != null && base64ImageMap.TryGetValue(illust.Id, out var base64Uri))
// 画像 URL の決定(自前の高速リバースプロキシ feeds.armonica-vps.work/pximg を適用)
var displayImageUrl = illust.Url;
if (UseImageProxy && !string.IsNullOrWhiteSpace(displayImageUrl))
{
displayImageUrl = base64Uri;
}
else
{
displayImageUrl = illust.Url;
if (UseImageProxy && !string.IsNullOrWhiteSpace(displayImageUrl))
{
displayImageUrl = displayImageUrl.Replace("i.pximg.net", ImageProxyHost);
}
displayImageUrl = displayImageUrl.Replace("i.pximg.net", ImageProxyHost);
}
if (!string.IsNullOrWhiteSpace(displayImageUrl))
@@ -588,8 +563,8 @@ internal static class pixiv_common
items
);
// Pixiv は Base64 画像埋め込みを有効にして出力する
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, embedBase64: true);
// Pixiv は自前画像URLまたはプロキシ画像URLを出力するため、Base64への再変換は行わない
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, addDir: "pixiv.net", embedBase64: false);
}
/// <summary>
@@ -609,7 +584,7 @@ internal static class pixiv_common
items
);
CmnUtil.ExportXMLFile(fileName, feed);
CmnUtil.ExportXMLFile(fileName, feed, addDir: "pixiv.net");
}
#region Pixiv API レスポンス用データモデル
File diff suppressed because it is too large. Load diff
+47 -141
View File
@@ -1,4 +1,4 @@
using System;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Net;
@@ -30,27 +30,27 @@ internal static class skebetter
/// <summary>
/// Skebetter の全フィード(漫画急上昇・イラスト急上昇)を順次生成します。
/// </summary>
public static async Task CreateRSSAsync(HttpClient client)
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
{
// 1. 急上昇(漫画・総合)の生成
try
{
await CreateMangaHotRssAsync(client);
await CreateMangaHotRssAsync(client, sessionId);
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [skebetter] 漫画急上昇 RSS 生成失敗: {ex.Message}");
LogManager.AddLog($"[エラー] 【skebetter】 漫画急上昇 RSS 生成失敗: {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
// 2. イラスト急上昇の生成
try
{
await CreateIllustHotRssAsync(client);
await CreateIllustHotRssAsync(client, sessionId);
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [skebetter] イラスト急上昇 RSS 生成失敗: {ex.Message}");
LogManager.AddLog($"[エラー] 【skebetter】 イラスト急上昇 RSS 生成失敗: {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
@@ -59,13 +59,13 @@ internal static class skebetter
/// 急上昇(漫画・総合)の RSS フィード (skebetter.xml) を生成します。
/// 複数ページつながっている漫画は同一記事内で全ページをつなげて出力します。
/// </summary>
public static async Task CreateMangaHotRssAsync(HttpClient client)
public static async Task CreateMangaHotRssAsync(HttpClient client, string? sessionId = null)
{
LogManager.AddLog("[情報] [skebetter] 漫画急上昇の取得を開始します");
var posts = await FetchPostsAsync(client, MangaApiUrl, MangaPageUrl, isIllust: false);
LogManager.AddLog("[情報] 【skebetter】 漫画急上昇の取得を開始します");
var posts = await FetchPostsAsync(client, MangaApiUrl, MangaPageUrl, isIllust: false, sessionId);
if (posts == null || posts.Count == 0)
{
LogManager.AddLog("[警告] [skebetter] 漫画急上昇の投稿が取得できませんでした");
LogManager.AddLog("[警告] 【skebetter】 漫画急上昇の投稿が取得できませんでした");
return;
}
@@ -75,23 +75,23 @@ internal static class skebetter
new Uri(MangaPageUrl)
);
var items = await ConvertToSyndicationItemsAsync(client, posts, isIllust: false);
var items = await ConvertToSyndicationItemsAsync(client, posts, isIllust: false, sessionId);
feed.Items = items;
// 急上昇フィードのため、過去の人気作品・連載が除外されないよう filter24Hours: false で出力
await CmnUtil.ExportXMLFileAsync("skebetter.xml", feed, client, embedBase64: false, filter24Hours: false);
await CmnUtil.ExportXMLFileAsync("skebetter.xml", feed, client, addDir: "skebetter.com", embedBase64: false, filter24Hours: false);
}
/// <summary>
/// イラスト急上昇の RSS フィード (skebetter_illust.xml) を生成します。
/// </summary>
public static async Task CreateIllustHotRssAsync(HttpClient client)
public static async Task CreateIllustHotRssAsync(HttpClient client, string? sessionId = null)
{
LogManager.AddLog("[情報] [skebetter] イラスト急上昇の取得を開始します");
var posts = await FetchPostsAsync(client, IllustApiUrl, IllustPageUrl, isIllust: true);
LogManager.AddLog("[情報] 【skebetter】 イラスト急上昇の取得を開始します");
var posts = await FetchPostsAsync(client, IllustApiUrl, IllustPageUrl, isIllust: true, sessionId);
if (posts == null || posts.Count == 0)
{
LogManager.AddLog("[警告] [skebetter] イラスト急上昇の投稿が取得できませんでした");
LogManager.AddLog("[警告] 【skebetter】 イラスト急上昇の投稿が取得できませんでした");
return;
}
@@ -101,11 +101,11 @@ internal static class skebetter
new Uri(IllustPageUrl)
);
var items = await ConvertToSyndicationItemsAsync(client, posts, isIllust: true);
var items = await ConvertToSyndicationItemsAsync(client, posts, isIllust: true, sessionId);
feed.Items = items;
// 急上昇フィードのため、過去の人気作品が除外されないよう filter24Hours: false で出力
await CmnUtil.ExportXMLFileAsync("skebetter_illust.xml", feed, client, embedBase64: false, filter24Hours: false);
await CmnUtil.ExportXMLFileAsync("skebetter_illust.xml", feed, client, addDir: "skebetter.com", embedBase64: false, filter24Hours: false);
}
/// <summary>
@@ -130,73 +130,14 @@ internal static class skebetter
}
/// <summary>
/// API から投稿リストを取得します。失敗した場合は Web ページの __NEXT_DATA__、
/// それでも失敗した場合は FlareSolverr 経由でフォールバック取得します。
/// 投稿リストを常に FlareSolverr 経由で取得します(API または Web ページの __NEXT_DATA__)。
/// </summary>
private static async Task<List<SkebetterPost>> FetchPostsAsync(HttpClient client, string apiUrl, string pageUrl, bool isIllust)
private static async Task<List<SkebetterPost>> FetchPostsAsync(HttpClient client, string apiUrl, string pageUrl, bool isIllust, string? sessionId = null)
{
// 1. 通常 HttpClient による API 取得を試行
try
{
using var request = new HttpRequestMessage(HttpMethod.Get, apiUrl);
ApplyBrowserHeaders(request, referrer: pageUrl, isJson: true);
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
if (response.IsSuccessStatusCode)
{
var jsonString = await response.Content.ReadAsStringAsync();
var apiResult = JsonSerializer.Deserialize<SkebetterApiResponse>(jsonString, JsonOptions);
if (apiResult != null)
{
var list = CombinePosts(apiResult);
if (list.Count > 0)
{
return list;
}
}
}
else
{
LogManager.AddLog($"[警告] [skebetter] API 取得失敗 (Status: {(int)response.StatusCode}): {apiUrl}。Web ページからの抽出を試みます。");
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [skebetter] API リクエスト例外: {ex.Message}。Web ページからの抽出を試みます。");
}
// 2. フォールバック: 通常 HttpClient による Web ページの __NEXT_DATA__ からの抽出
try
{
using var pageRequest = new HttpRequestMessage(HttpMethod.Get, pageUrl);
ApplyBrowserHeaders(pageRequest, referrer: null, isJson: false);
using var pageResponse = await client.SendAsync(pageRequest, HttpCompletionOption.ResponseContentRead);
if (pageResponse.IsSuccessStatusCode)
{
var html = await pageResponse.Content.ReadAsStringAsync();
var list = ExtractPostsFromNextData(html);
if (list != null && list.Count > 0)
{
LogManager.AddLog($"[情報] [skebetter] Web ページの __NEXT_DATA__ から {list.Count} 件の投稿を抽出しました");
return list;
}
}
else
{
LogManager.AddLog($"[警告] [skebetter] Web ページ取得失敗 (Status: {(int)pageResponse.StatusCode}): {pageUrl}。");
}
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [skebetter] Web ページからの抽出例外: {ex.Message}");
}
// 3. フォールバック: Cloudflare ブロック(Status 520等)対策として FlareSolverr 経由で取得
try
{
LogManager.AddLog($"[情報] [skebetter] 通常リクエストでの取得に失敗したため、FlareSolverr 経由での取得を試行します: {apiUrl}");
var flareJson = await CmnUtil.GetStringFlareSolverr(client, apiUrl);
LogManager.AddLog($"[情報] 【skebetter】 常に FlareSolverr 経由で API 取得を実行します: {apiUrl}");
var flareJson = await CmnUtil.GetStringFlareSolverr(client, apiUrl, session: sessionId ?? CmnUtil.SharedFlareSolverrSessionId);
if (!string.IsNullOrEmpty(flareJson))
{
var apiResult = JsonSerializer.Deserialize<SkebetterApiResponse>(flareJson, JsonOptions);
@@ -205,28 +146,28 @@ internal static class skebetter
var list = CombinePosts(apiResult);
if (list.Count > 0)
{
LogManager.AddLog($"[情報] [skebetter] FlareSolverr 経由で {list.Count} 件の投稿を取得しました");
LogManager.AddLog($"[情報] 【skebetter】 FlareSolverr 経由で {list.Count} 件の投稿を取得しました");
return list;
}
}
}
// 万が一 API の取得が空だった場合、Web ページを FlareSolverr で取得して __NEXT_DATA__ をパース
LogManager.AddLog($"[情報] [skebetter] FlareSolverr 経由で Web ページからの抽出を試みます: {pageUrl}");
var flareHtml = await CmnUtil.GetStringFlareSolverr(client, pageUrl);
LogManager.AddLog($"[情報] 【skebetter】 FlareSolverr 経由で Web ページからの抽出を試みます: {pageUrl}");
var flareHtml = await CmnUtil.GetStringFlareSolverr(client, pageUrl, session: sessionId ?? CmnUtil.SharedFlareSolverrSessionId);
if (!string.IsNullOrEmpty(flareHtml))
{
var list = ExtractPostsFromNextData(flareHtml);
if (list != null && list.Count > 0)
{
LogManager.AddLog($"[情報] [skebetter] FlareSolverr 経由で Web ページから {list.Count} 件の投稿を抽出しました");
LogManager.AddLog($"[情報] 【skebetter】 FlareSolverr 経由で Web ページから {list.Count} 件の投稿を抽出しました");
return list;
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [skebetter] FlareSolverr フォールバック例外: {ex.Message}");
LogManager.AddLog($"[エラー] 【skebetter】 FlareSolverr 取得例外: {ex.Message}");
}
return new List<SkebetterPost>();
@@ -303,37 +244,14 @@ internal static class skebetter
}
/// <summary>
/// シリーズ作品の全ツイート・全ページ情報を API から取得します(失敗時は FlareSolverr フォールバック)。
/// シリーズ作品の全ツイート・全ページ情報を常に FlareSolverr 経由で API から取得します。
/// </summary>
private static async Task<List<SkebetterPost>?> FetchSeriesTweetsAsync(HttpClient client, long seriesId)
private static async Task<List<SkebetterPost>?> FetchSeriesTweetsAsync(HttpClient client, long seriesId, string? sessionId = null)
{
string url = $"{SeriesDetailApiUrl}{seriesId}";
try
{
using var request = new HttpRequestMessage(HttpMethod.Get, url);
ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/series/{seriesId}", isJson: true);
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
if (response.IsSuccessStatusCode)
{
var jsonString = await response.Content.ReadAsStringAsync();
var result = JsonSerializer.Deserialize<MangaSeriesDetailResponse>(jsonString, JsonOptions);
var tweets = result?.Tweets?.Tweets;
if (tweets != null && tweets.Count > 0)
{
return tweets;
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [skebetter] シリーズ詳細通常取得失敗 (series_id: {seriesId}): {ex.Message}");
}
// FlareSolverr フォールバック
try
{
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url, session: sessionId ?? CmnUtil.SharedFlareSolverrSessionId);
if (!string.IsNullOrEmpty(flareJson))
{
var result = JsonSerializer.Deserialize<MangaSeriesDetailResponse>(flareJson, JsonOptions);
@@ -346,45 +264,23 @@ internal static class skebetter
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [skebetter] シリーズ詳細 FlareSolverr 取得失敗 (series_id: {seriesId}): {ex.Message}");
LogManager.AddLog($"[警告] 【skebetter】 シリーズ詳細 FlareSolverr 取得失敗 (series_id: {seriesId}): {ex.Message}");
}
return null;
}
/// <summary>
/// 通常作品のリプライツリー情報を API から取得します(複数ツイートがある場合、失敗時は FlareSolverr フォールバック)。
/// 通常作品のリプライツリー情報を常に FlareSolverr 経由で API から取得します。
/// </summary>
private static async Task<List<SkebetterPost>?> FetchUserTweetDetailAsync(HttpClient client, string? userId, string? tweetId)
private static async Task<List<SkebetterPost>?> FetchUserTweetDetailAsync(HttpClient client, string? userId, string? tweetId, string? sessionId = null)
{
if (string.IsNullOrEmpty(userId) || string.IsNullOrEmpty(tweetId)) return null;
string url = $"{UserTweetDetailApiUrl}?user_id={userId}&tweet_uri={tweetId}&ssr=1";
try
{
using var request = new HttpRequestMessage(HttpMethod.Get, url);
ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/author/{userId}/manga/{tweetId}", isJson: true);
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
if (response.IsSuccessStatusCode)
{
var jsonString = await response.Content.ReadAsStringAsync();
var result = JsonSerializer.Deserialize<UserTweetDetailResponse>(jsonString, JsonOptions);
if (result?.Tweet != null && result.Tweet.Count > 1)
{
return result.Tweet;
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [skebetter] 個別詳細通常取得失敗 (tweet: {tweetId}): {ex.Message}");
}
// FlareSolverr フォールバック
try
{
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url, session: sessionId ?? CmnUtil.SharedFlareSolverrSessionId);
if (!string.IsNullOrEmpty(flareJson))
{
var result = JsonSerializer.Deserialize<UserTweetDetailResponse>(flareJson, JsonOptions);
@@ -396,7 +292,7 @@ internal static class skebetter
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [skebetter] 個別詳細 FlareSolverr 取得失敗 (tweet: {tweetId}): {ex.Message}");
LogManager.AddLog($"[警告] 【skebetter】 個別詳細 FlareSolverr 取得失敗 (tweet: {tweetId}): {ex.Message}");
}
return null;
@@ -416,7 +312,7 @@ internal static class skebetter
/// Skebetter 投稿一覧を SyndicationItem のリストに変換します。
/// 複数ページつながっている漫画は全ページをつなげて1つの記事にします。
/// </summary>
private static async Task<List<SyndicationItem>> ConvertToSyndicationItemsAsync(HttpClient client, List<SkebetterPost> posts, bool isIllust)
private static async Task<List<SyndicationItem>> ConvertToSyndicationItemsAsync(HttpClient client, List<SkebetterPost> posts, bool isIllust, string? sessionId = null)
{
var items = new List<SyndicationItem>();
int index = 0;
@@ -555,6 +451,16 @@ internal static class skebetter
{
body.Append($" | <a href=\"https://x.com/{authorScreenName}\" target=\"_blank\" rel=\"noopener noreferrer\">@{authorScreenName}</a>");
}
// ポスト自体のリンク (x.com)
string? tweetIdStr = !string.IsNullOrEmpty(post.TweetUri) ? post.TweetUri : post.Id;
if (!string.IsNullOrEmpty(tweetIdStr))
{
string postUrl = !string.IsNullOrEmpty(authorScreenName)
? $"https://x.com/{authorScreenName}/status/{tweetIdStr}"
: $"https://x.com/i/web/status/{tweetIdStr}";
body.Append($" | <a href=\"{postUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">ポストを開く</a>");
}
body.Append("</p>");
// 6. SyndicationItem の生成
@@ -778,4 +684,4 @@ internal static class skebetter
}
#endregion
}
}
+160 -55
View File
@@ -1,12 +1,14 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.RegularExpressions;
using System.Threading.Tasks;
using System.Xml;
using rss_generator.Class.Common;
namespace rss_generator.Class.SpankBang;
@@ -14,11 +16,35 @@ namespace rss_generator.Class.SpankBang;
/// <summary>
/// SpankBang (https://spankbang.com/new_videos/) の最新動画を取得し、
/// WebImageViewer (https://udukipc-web.armonica-vps.work/) での再生リンクを含むRSSフィード (spankbang.xml) を生成します。
/// 既存のフィードが存在する場合は同一動画の情報を引き継ぎ、再生数の変動等で FreshRSS の「更新された記事を未読とする」が反応しないようにします。
/// </summary>
internal static class spankbang
{
#region □定数(Private)
private const string BaseUrl = "https://spankbang.com";
private const string TargetUrl = "https://spankbang.com/new_videos/";
private const string FileName = "spankbang.xml";
#endregion
#region □クラス(Private)
/// <summary>
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
/// </summary>
private sealed class ExistingFeedEntry
{
public string Title { get; set; } = string.Empty;
public string SummaryHtml { get; set; } = string.Empty;
public DateTimeOffset PublishDate { get; set; }
public DateTimeOffset LastUpdatedTime { get; set; }
public List<string> Categories { get; set; } = new();
}
#endregion
#region □メソッド(Public)
/// <summary>
/// SpankBang の最新動画RSSを生成します。
@@ -36,47 +62,79 @@ internal static class spankbang
try
{
// 外部からセッションが渡されなかった場合は自前で作成
bool ownSession = sessionId == null;
if (ownSession)
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
// 既存フィードの読み込み(再生数変動による未読化防止および高速化)
var existingEntries = LoadExistingEntries(FileName);
var document = await CmnUtil.GetDocumentFlareSolverr(client, TargetUrl, session: sessionId);
if (document == null)
{
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
LogManager.AddLog("[警告] 【spankbang】 ドキュメントの取得に失敗しました。");
return;
}
try
// 動画カードを取得 (data-testid="video-item" または class に js-video-item を含む div)
var videoElements = document.QuerySelectorAll("div[data-testid='video-item'], div.js-video-item");
var linkList = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
int itemIndex = 0;
foreach (var videoDiv in videoElements)
{
var document = await CmnUtil.GetDocumentFlareSolverr(client, TargetUrl, session: sessionId);
if (document == null)
// 動画リンクを取得
var linkElement = videoDiv.QuerySelector("a[href*='/video/']");
var rawHref = linkElement?.GetAttribute("href")?.Trim() ?? string.Empty;
if (string.IsNullOrEmpty(rawHref))
{
LogManager.AddLog("[警告] [spankbang] ドキュメントの取得に失敗しました。");
return;
continue;
}
// 動画カードを取得 (data-testid="video-item" または class に js-video-item を含む div)
var videoElements = document.QuerySelectorAll("div[data-testid='video-item'], div.js-video-item");
var linkList = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
var fullUrl = rawHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
? rawHref
: $"{BaseUrl.TrimEnd('/')}/{rawHref.TrimStart('/')}";
int itemIndex = 0;
foreach (var videoDiv in videoElements)
// 重複URLのスキップ
if (!linkList.Add(fullUrl))
{
// 動画リンクを取得
var linkElement = videoDiv.QuerySelector("a[href*='/video/']");
var rawHref = linkElement?.GetAttribute("href")?.Trim() ?? string.Empty;
if (string.IsNullOrEmpty(rawHref))
continue;
}
var guid = CmnUtil.CreateGuid(fullUrl);
var itemUri = new Uri(fullUrl);
existingEntries.TryGetValue(fullUrl, out var prevEntry);
if (prevEntry == null && !string.IsNullOrEmpty(guid))
{
existingEntries.TryGetValue(guid, out prevEntry);
}
SyndicationItem item;
if (prevEntry != null && !string.IsNullOrEmpty(prevEntry.SummaryHtml))
{
// 【未更新記事】
// 前回の本文HTMLおよび日時(PublishDate / LastUpdatedTime)を完全維持
// これにより再生数 views の増加による本文ハッシュ変化を防止し、FreshRSSの未読化を完全抑止
item = new SyndicationItem(
prevEntry.Title,
(string?)null,
itemUri,
guid,
prevEntry.LastUpdatedTime
)
{
continue;
}
PublishDate = prevEntry.PublishDate,
LastUpdatedTime = prevEntry.LastUpdatedTime,
Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html)
};
var fullUrl = rawHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
? rawHref
: $"{BaseUrl.TrimEnd('/')}/{rawHref.TrimStart('/')}";
// 重複URLのスキップ
if (!linkList.Add(fullUrl))
foreach (var cat in prevEntry.Categories)
{
continue;
item.Categories.Add(new SyndicationCategory(cat));
}
}
else
{
// 【新規記事】
// タイトルを取得
var title = videoDiv.QuerySelector("p a[title]")?.GetAttribute("title")?.Trim()
?? videoDiv.QuerySelector("p a")?.TextContent?.Trim()
@@ -105,18 +163,11 @@ internal static class spankbang
var tag = videoDiv.QuerySelector("span[data-badge='tag'] ~ a[data-testid='title'], a[href^='/s/']")?.TextContent?.Trim();
var views = videoDiv.QuerySelector("span[data-testid='views']")?.TextContent?.Trim();
var itemUri = new Uri(fullUrl);
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
var previewVideoUri = !string.IsNullOrEmpty(previewVideoSrc) ? new Uri(previewVideoSrc) : null;
// 動画IDの抽出とWebImageViewerリンクの生成
var videoIdMatch = Regex.Match(fullUrl, @"spankbang\.(?:com|party)/([a-z0-9]+)(?:/video|/|$)", RegexOptions.IgnoreCase);
if (!videoIdMatch.Success)
{
videoIdMatch = Regex.Match(rawHref, @"^/?([a-z0-9]+)/video", RegexOptions.IgnoreCase);
}
string videoId = videoIdMatch.Success ? videoIdMatch.Groups[1].Value : rawHref.TrimEnd('/').Split('/').Last();
string viewerUrl = $"https://udukipc-web.armonica-vps.work/spankbang/{Uri.EscapeDataString(videoId)}";
// WebImageViewer統一リンクの生成 (https://udukipc-web.armonica-vps.work/?url=[ページURL])
string viewerUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(fullUrl)}";
// RSS 本文 HTML (Summary) の構築
var body = new StringBuilder();
@@ -142,7 +193,6 @@ internal static class spankbang
}
else if (imageUri != null)
{
// プレビュー動画がない場合はサムネイル画像を表示
body.Append($@"<div style=""margin-bottom: 10px;"">");
body.Append($@"<a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">");
body.Append($@"<img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; border-radius: 6px;"">");
@@ -197,20 +247,20 @@ internal static class spankbang
// 下部リンク
body.Append($@"<p style=""margin-top: 10px;""><a href=""{viewerUrl}"" target=""_blank"" rel=""noopener noreferrer"" style=""font-weight: bold; color: #e11d48;"">▶ WebImageViewerで動画を再生する</a> | <a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">SpankBang公式で視聴する</a></p>");
// 取得できた場合はその日時、取得できなかった場合は新着順維持のためフォールバック日時
var itemPubDate = publishedDateOffset ?? new DateTimeOffset(DateTime.Now.AddSeconds(-itemIndex));
itemIndex++;
var item = new SyndicationItem(
item = new SyndicationItem(
title,
string.Empty,
(string?)null,
itemUri,
CmnUtil.CreateGuid(fullUrl),
guid,
itemPubDate
)
{
PublishDate = itemPubDate,
LastUpdatedTime = itemPubDate
LastUpdatedTime = itemPubDate,
Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html)
};
// カテゴリ
@@ -222,26 +272,81 @@ internal static class spankbang
{
item.Categories.Add(new SyndicationCategory(resolution));
}
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
items.Add(item);
}
feed.Items = items;
await CmnUtil.ExportXMLFileAsync("spankbang.xml", feed, client);
items.Add(item);
}
finally
feed.Items = items;
await CmnUtil.ExportXMLFileAsync(FileName, feed, client, filter24Hours: false);
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 【spankbang】 {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
#endregion
#region □メソッド(Private)
/// <summary>
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。
/// </summary>
/// <param name="fileName">XML ファイル名</param>
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
{
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
try
{
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
if (!File.Exists(xmlPath))
{
if (ownSession && sessionId != null)
return existingEntries;
}
using var reader = XmlReader.Create(xmlPath);
var existingFeed = SyndicationFeed.Load(reader);
if (existingFeed?.Items != null)
{
foreach (var item in existingFeed.Items)
{
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
var guid = item.Id;
var entry = new ExistingFeedEntry
{
Title = item.Title?.Text?.Trim() ?? string.Empty,
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
PublishDate = item.PublishDate != DateTimeOffset.MinValue
? item.PublishDate
: (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now),
LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue
? item.LastUpdatedTime
: (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now),
Categories = item.Categories.Select(c => c.Name).ToList()
};
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
{
existingEntries[linkUrl] = entry;
}
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
{
existingEntries[guid] = entry;
}
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] spankbang: {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
LogManager.AddLog($"[情報] spankbang 既存エントリ読み込みスキップ: {ex.Message}");
}
return existingEntries;
}
}
#endregion
}
+132 -18
View File
@@ -1,13 +1,35 @@
using System;
using System.Collections.Generic;
using System.Linq;
using System.Net;
using System.ServiceModel.Syndication;
using System.Text.RegularExpressions;
using System.Threading.Tasks;
using System.Xml.Linq;
using rss_generator.Class.Common;
namespace rss_generator.Class.X;
/// <summary>
/// x.com (Twitter) のリストから RSS フィードを生成・統合するクラスです。
/// </summary>
internal class x_list
{
#region □定数(Private)
private const string BASE_URL = "https://rsshub.armonica-vps.work/twitter/list";
private const string QUERY1 = "showEmojiForRetweetAndReply=1?filterout_title=%5E%28🔁%7CRT%29";
private const string QUERY2 = "showEmojiForRetweetAndReply=1?filter_title=%5E%28🔁%7CRT%29";
#endregion
#region □メソッド(Public)
/// <summary>
/// 各対象リストの RSS を順次生成します。
/// </summary>
/// <param name="client">HTTP 通信用 HttpClient</param>
/// <returns>非同期タスク</returns>
public static async Task CreateRSSAsync(HttpClient client)
{
// メモリ消費を最小化するため、各リストを1つずつ順次処理
@@ -31,17 +53,32 @@ internal class x_list
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] Xリスト生成失敗 ({fileName}): {ex.Message}");
LogManager.AddLog($"[エラー] 【x_list】 Xリスト生成失敗 ({fileName}): {ex.Message}");
}
}
}
/// <summary>
/// 単一リストの通常ツイートとRTツイートの RSS を生成します。
/// </summary>
/// <param name="client">HttpClient</param>
/// <param name="listId">リストID</param>
/// <param name="fileName">出力ファイル名(プレフィックス)</param>
/// <returns>非同期タスク</returns>
public static async Task CreateSub1(HttpClient client, string listId, string fileName)
{
await CreateSub2(client, listId, QUERY1, $"{fileName}");
await CreateSub2(client, listId, QUERY2, $"{fileName}RT");
}
/// <summary>
/// 指定されたクエリ条件で RSS を取得・整形して出力します。
/// </summary>
/// <param name="client">HttpClient</param>
/// <param name="listId">リストID</param>
/// <param name="query">クエリ文字列</param>
/// <param name="fileName">出力ファイル名</param>
/// <returns>非同期タスク</returns>
public static async Task CreateSub2(HttpClient client, string listId, string query, string fileName)
{
try
@@ -52,37 +89,112 @@ internal class x_list
// 簡潔なRSSに整形
var simplifiedItems = allItems.OrderByDescending(x => x.PublishDate).Select(originalItem =>
{
var newItem = new SyndicationItem()
{
// タイトルは TextSyndicationContent でラップする必要があります
Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title")
, Id = CmnUtil.CreateGuid(originalItem.Id)
, PublishDate = originalItem.PublishDate
, LastUpdatedTime = originalItem.LastUpdatedTime
// リンクの取得
var link = originalItem.Links.FirstOrDefault()?.Uri;
// 元のコンテンツをそのまま引き継ぐ
// Content = originalItem.Content,
, Summary = originalItem.Summary
// 著者の取得 (originalItem.Authors または dc:creator から取得)
string? authorName = originalItem.Authors.FirstOrDefault()?.Name;
if (string.IsNullOrWhiteSpace(authorName))
{
// ElementExtensions から dc:creator を取得
foreach (var ext in originalItem.ElementExtensions)
{
if (string.Equals(ext.OuterName, "creator", StringComparison.OrdinalIgnoreCase))
{
try
{
authorName = ext.GetObject<XElement>()?.Value?.Trim();
if (!string.IsNullOrEmpty(authorName))
{
break;
}
}
catch
{
try
{
using var reader = ext.GetReader();
authorName = reader.ReadElementContentAsString()?.Trim();
if (!string.IsNullOrEmpty(authorName))
{
break;
}
}
catch
{
}
}
}
}
}
// リンクURLからスクリーン名を抽出(例: https://x.com/PeroVRC/status/... -> @PeroVRC)
string? screenName = null;
if (link != null)
{
var match = Regex.Match(link.AbsoluteUri, @"(?:x|twitter)\.com/([^/]+)/status/", RegexOptions.IgnoreCase);
if (match.Success)
{
screenName = match.Groups[1].Value;
}
}
if (string.IsNullOrWhiteSpace(authorName) && !string.IsNullOrWhiteSpace(screenName))
{
authorName = screenName;
}
// 本文(Summary)にも著者情報を上部に付与して各種リーダーで確実に可視化
var rawSummary = originalItem.Summary?.Text ?? string.Empty;
string authorHeader = "";
if (!string.IsNullOrWhiteSpace(authorName))
{
string authorDisplay = !string.IsNullOrWhiteSpace(screenName) && !string.Equals(authorName, screenName, StringComparison.OrdinalIgnoreCase)
? $"{WebUtility.HtmlEncode(authorName)} (@{screenName})"
: WebUtility.HtmlEncode(authorName);
string authorUrl = !string.IsNullOrWhiteSpace(screenName)
? $"https://x.com/{screenName}"
: (link?.AbsoluteUri ?? "#");
authorHeader = $"<p style=\"font-size: 0.95em; color: #475569; margin-bottom: 8px;\"><strong>👤 投稿者:</strong> <a href=\"{authorUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">{authorDisplay}</a></p>\n";
}
var newItem = new SyndicationItem
{
Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title"),
Id = CmnUtil.CreateGuid(originalItem.Id),
PublishDate = originalItem.PublishDate,
LastUpdatedTime = originalItem.LastUpdatedTime,
Summary = new TextSyndicationContent(authorHeader + rawSummary, TextSyndicationContentKind.Html)
};
// リンクを引き継ぐ
var link = originalItem.Links.FirstOrDefault()?.Uri;
if (link != null)
{
newItem.Links.Add(new SyndicationLink(link));
}
// 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
// 元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
foreach (var category in originalItem.Categories)
{
category.Scheme = null;
newItem.Categories.Add(category);
}
foreach (var author in originalItem.Authors)
// 著者の設定 (Atom用 Authors および RSS 2.0 Dublin Core用 dc:creator)
if (!string.IsNullOrWhiteSpace(authorName))
{
newItem.Authors.Add(author);
newItem.Authors.Add(new SyndicationPerson { Name = authorName });
newItem.ElementExtensions.Add(new XElement(
XName.Get("creator", "http://purl.org/dc/elements/1.1/"),
authorName
));
}
return newItem;
});
// 新しい統合フィードを作成
var mergedFeed = new SyndicationFeed(
fileName,
@@ -92,11 +204,13 @@ internal class x_list
);
// X (Twitter) は画像リンクを Base64 変換せず、通常の画像リンクとして出力する
await CmnUtil.ExportXMLFileAsync($"{fileName}.xml", mergedFeed, client, embedBase64: false);
await CmnUtil.ExportXMLFileAsync($"{fileName}.xml", mergedFeed, client, addDir: "x.com", embedBase64: false);
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] fileName:{ex.Message}");
LogManager.AddLog($"[エラー] 【x_list】 {fileName}: {ex.Message}");
}
}
}
#endregion
}
+147 -34
View File
@@ -1,41 +1,69 @@
using AngleSharp.Dom;
using PuppeteerSharp;
using AngleSharp.Dom;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net.Http;
using System.ServiceModel.Syndication;
using System.Text;
using System.Threading.Tasks;
using System.Xml;
using rss_generator.Class.Common;
namespace rss_generator.Class.YahooBaseball;
/// <summary>
/// 広島東洋カープ(スポーツナビ)のニュースタイムラインからRSSフィードを生成するクラス
/// </summary>
internal class npb_6
{
/// <summary>
/// 広島東洋カープの最新情報を取得し、npb_6.xml として出力します。
/// 既存フィードを読み込み、過去の公開日時および本文HTMLを維持することで、FreshRSSにおける不要な未読化を防ぎます。
/// </summary>
/// <param name="client">HttpClient インスタンス</param>
/// <param name="sessionId">FlareSolverr セッションID(任意)</param>
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
{
var feed = new SyndicationFeed("広島東洋カープ - プロ野球 - スポーツナビ", "", new Uri("https://baseball.yahoo.co.jp/npb/teams/6/top"));
var feed = new SyndicationFeed("広島東洋カープ - プロ野球 - スポーツナビ", "広島東洋カープの最新ニュース・タイムライン", new Uri("https://baseball.yahoo.co.jp/npb/teams/6/top"));
var items = new List<SyndicationItem>();
try
{
var pageURL = $"https://baseball.yahoo.co.jp/npb/teams/6/top";
IDocument document;
bool ownSession = sessionId == null;
if (ownSession)
var pageURL = "https://baseball.yahoo.co.jp/npb/teams/6/top";
sessionId ??= CmnUtil.SharedFlareSolverrSessionId;
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
// 既存フィードを読み込み、過去の公開日時・更新日時・本文HTMLを引き継ぐ
var existingEntries = LoadExistingEntries("npb_6.xml");
var mergedDict = new Dictionary<string, SyndicationItem>(StringComparer.OrdinalIgnoreCase);
// 既存フィードの全アイテムを登録
foreach (var kvp in existingEntries)
{
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
}
try
{
document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
}
finally
{
if (ownSession && sessionId != null)
var entry = kvp.Value;
if (!mergedDict.ContainsKey(entry.Guid))
{
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
var synItem = new SyndicationItem(
entry.Title,
(string?)null,
!string.IsNullOrEmpty(entry.Link) ? new Uri(entry.Link) : null,
entry.Guid,
entry.PublishDate != DateTimeOffset.MinValue ? entry.PublishDate : entry.LastUpdatedTime
)
{
PublishDate = entry.PublishDate != DateTimeOffset.MinValue ? entry.PublishDate : entry.LastUpdatedTime,
LastUpdatedTime = entry.LastUpdatedTime != DateTimeOffset.MinValue ? entry.LastUpdatedTime : entry.PublishDate,
Summary = new TextSyndicationContent(entry.SummaryHtml, TextSyndicationContentKind.Html)
};
foreach (var author in entry.Authors)
{
synItem.Authors.Add(new SyndicationPerson { Name = author });
}
mergedDict[entry.Guid] = synItem;
}
}
var linkList = new List<string>();
if (document != null)
{
var elements = document.QuerySelectorAll("li.sn-timeLine__item");
@@ -57,36 +85,121 @@ internal class npb_6
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
string guid = CmnUtil.CreateGuid(linkHref);
var body = new StringBuilder();
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
var updateTime = DateTime.Now;
if (DateTime.TryParse(elemTime?.TextContent?.Trim(), out DateTime itemTime))
if (imageUri != null)
{
updateTime = itemTime;
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
}
// 既存エントリが存在する場合は前回の公開日時・本文HTMLを最優先で維持
DateTimeOffset itemDate;
string summaryHtml = body.ToString();
if (existingEntries.TryGetValue(guid, out var existing))
{
itemDate = existing.PublishDate != DateTimeOffset.MinValue ? existing.PublishDate : existing.LastUpdatedTime;
if (!string.IsNullOrWhiteSpace(existing.SummaryHtml))
{
summaryHtml = existing.SummaryHtml;
}
}
else
{
if (DateTime.TryParse(elemTime?.TextContent?.Trim(), out DateTime parsedTime))
{
itemDate = new DateTimeOffset(parsedTime);
}
else
{
itemDate = DateTimeOffset.Now;
}
}
var item = new SyndicationItem(
title,
string.Empty,
(string?)null,
itemUri,
CmnUtil.CreateGuid(linkHref),
updateTime
);
item.Authors.Add(new SyndicationPerson() { Name = elemCredit?.TextContent?.Trim() ?? "" });
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
guid,
itemDate
)
{
PublishDate = itemDate,
LastUpdatedTime = itemDate,
Summary = new TextSyndicationContent(summaryHtml, TextSyndicationContentKind.Html)
};
items.Add(item);
var credit = elemCredit?.TextContent?.Trim();
if (!string.IsNullOrEmpty(credit))
{
item.Authors.Add(new SyndicationPerson { Name = credit });
}
mergedDict[guid] = item;
}
}
feed.Items = items;
await CmnUtil.ExportXMLFileAsync("npb_6.xml", feed, client);
// 重複除外とソート(新しい順)
var finalItems = mergedDict.Values
.OrderByDescending(x => x.PublishDate != DateTimeOffset.MinValue ? x.PublishDate : x.LastUpdatedTime)
.Take(100)
.ToList();
feed.Items = finalItems;
await CmnUtil.ExportXMLFileAsync("npb_6.xml", feed, client, filter24Hours: false);
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] npb_6:{ex.Message}");
LogManager.AddLog($"[エラー] 【npb_6】 {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
}
/// <summary>
/// 既存の npb_6.xml を読み込み、GUIDおよびURLをキーとするキャッシュ辞書を返します。
/// </summary>
private static Dictionary<string, (string Guid, string Link, string Title, string SummaryHtml, DateTimeOffset PublishDate, DateTimeOffset LastUpdatedTime, List<string> Authors)> LoadExistingEntries(string fileName)
{
var dict = new Dictionary<string, (string Guid, string Link, string Title, string SummaryHtml, DateTimeOffset PublishDate, DateTimeOffset LastUpdatedTime, List<string> Authors)>(StringComparer.OrdinalIgnoreCase);
var filePath = CmnUtil.GetExportXmlPath(fileName);
if (!File.Exists(filePath)) return dict;
try
{
using var reader = XmlReader.Create(filePath);
var feed = SyndicationFeed.Load(reader);
if (feed?.Items != null)
{
foreach (var item in feed.Items)
{
string guid = item.Id ?? string.Empty;
string link = item.Links.FirstOrDefault()?.Uri?.ToString() ?? string.Empty;
string title = item.Title?.Text ?? string.Empty;
string summary = item.Summary?.Text ?? string.Empty;
DateTimeOffset pubDate = item.PublishDate;
DateTimeOffset lastUpdated = item.LastUpdatedTime;
var authors = item.Authors.Select(a => a.Name).Where(n => !string.IsNullOrEmpty(n)).ToList();
var entry = (guid, link, title, summary, pubDate, lastUpdated, authors);
if (!string.IsNullOrEmpty(guid) && !dict.ContainsKey(guid))
{
dict[guid] = entry;
}
if (!string.IsNullOrEmpty(link) && !dict.ContainsKey(link))
{
dict[link] = entry;
}
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] 【npb_6】 既存フィード読み込み失敗 ({fileName}): {ex.Message}");
}
return dict;
}
}
+34 -3
View File
@@ -1,4 +1,6 @@
using System.Collections.Generic;
using System.Threading.Tasks;
using rss_generator.Class.Common;
namespace rss_generator.Class.YouTube;
@@ -8,14 +10,42 @@ namespace rss_generator.Class.YouTube;
public static class YouTubeConfig
{
/// <summary>
/// 出力対象とするYouTubeチャンネル・ユーザーの固定一覧。
/// ここにチャンネルID(UC...)またはハンドル(@...)を追加してください。
/// 設定ファイル名(C:\feeds\src\youtube.json)
/// </summary>
public static readonly List<YouTubeChannelTarget> Channels = new()
public const string ConfigFileName = "youtube.json";
/// <summary>
/// 出力対象とするYouTubeチャンネル・ユーザーの一覧。
/// 外部ファイル(C:\feeds\src\youtube.json)から読み込まれます。
/// </summary>
public static List<YouTubeChannelTarget> Channels { get; private set; }
static YouTubeConfig()
{
Channels = new(DefaultChannels);
}
/// <summary>
/// 外部ファイル(C:\feeds\src\youtube.json)から最新のチャンネル設定を読み込みます。
/// ファイルが存在しない場合は DefaultChannels の内容で自動作成されます。
/// </summary>
public static async Task LoadAsync()
{
Channels = await ExternalFeedConfigManager.LoadTargetsAsync<YouTubeChannelTarget>(
ConfigFileName,
DefaultChannels
);
}
/// <summary>
/// 初期移行用およびフォールバック用のデフォルトチャンネル一覧
/// </summary>
public static readonly List<YouTubeChannelTarget> DefaultChannels = new()
{
// === ゲームカテゴリ ===
new YouTubeChannelTarget { IdOrHandle = "UC4jVPBw6dP3mXCGJvRi3Xbw", Name = "0m0ti channel", Category = "ゲーム" },
new YouTubeChannelTarget { IdOrHandle = "UCbNycyGQrscpF1TD9xJ8Gig", Name = "78 moco", Category = "ゲーム" },
new YouTubeChannelTarget { IdOrHandle = "UCDirLAyBL7m8sYxvchargpQ", Name = "Ao Game Channel", Category = "ゲーム" },
new YouTubeChannelTarget { IdOrHandle = "UCLezUXWjiJNxKqmAj6y-6FQ", Name = "asdfgame", Category = "ゲーム" },
new YouTubeChannelTarget { IdOrHandle = "UCpjv8V_jiIO9SdXfqp3lUDA", Name = "Bell's Workshop 2号店", Category = "ゲーム" },
new YouTubeChannelTarget { IdOrHandle = "UC0VoI57B2_63MErt_1QBpxA", Name = "EXAM", Category = "ゲーム" },
@@ -50,6 +80,7 @@ public static class YouTubeConfig
new YouTubeChannelTarget { IdOrHandle = "UCeVxYzfdg2hJlwXsx3vcIfA", Name = "れもん", Category = "ゲーム" },
new YouTubeChannelTarget { IdOrHandle = "UC08BWOux8OI84Zg5O8lzPLw", Name = "ろぉれわち", Category = "ゲーム" },
new YouTubeChannelTarget { IdOrHandle = "UCo1RH7pR_wdgY_9LKONxXvA", Name = "エナメル巻きで食べるサラダ", Category = "ゲーム" },
new YouTubeChannelTarget { IdOrHandle = "UC8mdqNhvFF6396bcF_0vNjw", Name = "クロカツゲーム(白猫)ch", Category = "ゲーム" },
new YouTubeChannelTarget { IdOrHandle = "UCbC7w818ZosPu6OtXsrEnow", Name = "クワトロ【GBF】 quwatoro", Category = "ゲーム" },
new YouTubeChannelTarget { IdOrHandle = "UCfxC2jkCQn3SEMYYtprPQ4w", Name = "タコ丸 / 村人狂【マイクラ 小ネタ 検証 茶番】", Category = "ゲーム" },
new YouTubeChannelTarget { IdOrHandle = "UCmIxgPt36VRqcvu8cJRgl3g", Name = "ニグチャンネル", Category = "ゲーム" },
+102 -21
View File
@@ -1,4 +1,4 @@
using System;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Net;
@@ -22,10 +22,13 @@ public static class YouTubeFeedManager
/// <param name="client">HttpClient インスタンス</param>
public static async Task CreateRSSAsync(HttpClient client)
{
LogManager.AddLog("[情報] YouTubeフィード生成を開始します");
LogManager.AddLog("[情報] 【YouTube】 YouTubeフィード生成を開始します");
try
{
// 外部ファイル(C:\feeds\src\youtube.json)から最新のチャンネル設定を読み込み
await YouTubeConfig.LoadAsync();
var allLiveItems = new List<YouTubeVideoItem>();
var allVideoItems = new List<YouTubeVideoItem>();
var allShortsItems = new List<YouTubeVideoItem>();
@@ -42,7 +45,7 @@ public static class YouTubeFeedManager
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] チャンネル処理失敗 ({channel.Name ?? channel.IdOrHandle}): {ex.Message}");
LogManager.AddLog($"[エラー] 【YouTube】 チャンネル処理失敗 ({channel.Name ?? channel.IdOrHandle}): {ex.Message}");
}
finally
{
@@ -79,15 +82,15 @@ public static class YouTubeFeedManager
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] カテゴリ出力失敗 ({category}): {ex.Message}");
LogManager.AddLog($"[エラー] 【YouTube】 カテゴリ出力失敗 ({category}): {ex.Message}");
}
}
LogManager.AddLog("[情報] YouTubeフィード生成が完了しました");
LogManager.AddLog("[情報] 【YouTube】 YouTubeフィード生成が完了しました");
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] YouTubeFeedManager.CreateRSSAsync: {ex.Message}");
LogManager.AddLog($"[エラー] 【YouTube】 YouTubeFeedManager.CreateRSSAsync: {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
@@ -138,7 +141,7 @@ public static class YouTubeFeedManager
int totalCount = liveItems.Count + videoItems.Count + shortsItems.Count;
if (totalCount == 0)
{
LogManager.AddLog($"[警告] 取得アイテム0件 【{channelDisplayName}】 ({channel.IdOrHandle})");
LogManager.AddLog($"[警告] 【YouTube】 取得アイテム0件 【{channelDisplayName}】 ({channel.IdOrHandle})");
}
// 統合フィード用に蓄積
@@ -149,7 +152,7 @@ public static class YouTubeFeedManager
catch (Exception ex)
{
// チャンネルごとのエラーを出力して処理を続行
LogManager.AddLog($"[エラー] チャンネル処理失敗 【{channelDisplayName}】 ({channel.IdOrHandle}): {ex.Message}");
LogManager.AddLog($"[エラー] 【YouTube】 チャンネル処理失敗 【{channelDisplayName}】 ({channel.IdOrHandle}): {ex.Message}");
}
}
@@ -173,7 +176,7 @@ public static class YouTubeFeedManager
using var response = await client.SendAsync(request);
if (!response.IsSuccessStatusCode)
{
LogManager.AddLog($"[警告] タブ取得HTTPエラー 【{channelDisplayName}】({feedType}) [{(int)response.StatusCode} {response.StatusCode}]: {url}");
LogManager.AddLog($"[警告] 【YouTube】 タブ取得HTTPエラー 【{channelDisplayName}】({feedType}) [{(int)response.StatusCode} {response.StatusCode}]: {url}");
return new List<YouTubeVideoItem>();
}
@@ -185,7 +188,7 @@ public static class YouTubeFeedManager
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] タブ取得失敗 【{channelDisplayName}】({feedType}): {ex.Message}");
LogManager.AddLog($"[エラー] 【YouTube】 タブ取得失敗 【{channelDisplayName}】({feedType}): {ex.Message}");
return new List<YouTubeVideoItem>();
}
}
@@ -339,30 +342,91 @@ public static class YouTubeFeedManager
_ => "フィード"
};
// 公開日時の新しい順にソートし、重複を除外
var distinctItems = items
// 既存フィードを読み込み、過去の公開日時・本文HTML・タイトルを引き継げるようにする
var existingDict = LoadExistingFeedItems(fileName, YouTubeConfig.OutputSubDir);
// 重複を除外
var distinctRawItems = items
.GroupBy(i => i.VideoId)
.Select(g => g.First())
.OrderByDescending(i => i.PublishedDate)
.ToList();
var syndicationItems = new List<SyndicationItem>();
foreach (var video in distinctRawItems)
{
string guid = CmnUtil.CreateGuid(video.Url);
existingDict.TryGetValue(guid, out var existingItem);
if (existingItem == null && !string.IsNullOrWhiteSpace(video.Url))
{
existingDict.TryGetValue(video.Url, out existingItem);
}
var synItem = CreateSyndicationItem(video, existingItem, feedType);
syndicationItems.Add(synItem);
}
// 公開日時の新しい順にソートし、最大件数に制限
var finalItems = syndicationItems
.OrderByDescending(i => i.PublishDate)
.Take(YouTubeConfig.MaxItemsPerFeed * 3)
.Select(CreateSyndicationItem)
.ToList();
var feed = new SyndicationFeed(
$"{feedTitle} ({typeLabel})",
$"登録チャンネル全件の {typeLabel} 統合RSSフィード",
new Uri("https://www.youtube.com"),
distinctItems
finalItems
);
// YouTube は画像リンクを Base64 変換せず、通常の画像リンクとして出力する
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, YouTubeConfig.OutputSubDir, embedBase64: false);
// YouTube は画像リンクを Base64 変換せず、通常の画像リンクとして出力する(filter24Hours: false で全件維持)
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, YouTubeConfig.OutputSubDir, embedBase64: false, filter24Hours: false);
}
/// <summary>
/// 既存のXMLファイルから SyndicationItem を読み込み、GUIDおよびURLをキーとする辞書を返します。
/// </summary>
private static Dictionary<string, SyndicationItem> LoadExistingFeedItems(string fileName, string subDir)
{
var dict = new Dictionary<string, SyndicationItem>(StringComparer.OrdinalIgnoreCase);
var filePath = CmnUtil.GetExportXmlPath(fileName, subDir);
if (!System.IO.File.Exists(filePath)) return dict;
try
{
using var reader = System.Xml.XmlReader.Create(filePath);
var feed = SyndicationFeed.Load(reader);
if (feed?.Items != null)
{
foreach (var item in feed.Items)
{
if (!string.IsNullOrWhiteSpace(item.Id) && !dict.ContainsKey(item.Id))
{
dict[item.Id] = item;
}
var link = item.Links.FirstOrDefault()?.Uri?.ToString();
if (!string.IsNullOrWhiteSpace(link) && !dict.ContainsKey(link))
{
dict[link] = item;
}
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] 【YouTube】 既存フィード読み込み失敗 ({fileName}): {ex.Message}");
}
return dict;
}
/// <summary>
/// YouTubeVideoItemからSyndicationItemを生成します。
/// 既存アイテムが存在する場合は、前回のPublishDateおよびSummaryHtmlを最優先で維持し、
/// 再生回数の増加や「○時間前」の更新によるFreshRSSの未読化を防ぎます。
/// </summary>
private static SyndicationItem CreateSyndicationItem(YouTubeVideoItem video)
private static SyndicationItem CreateSyndicationItem(
YouTubeVideoItem video,
SyndicationItem? existingItem = null,
YouTubeFeedType feedType = YouTubeFeedType.Video)
{
// フィードタイトルの先頭にチャンネル・ユーザー名を付与(例: 【白上フブキ】 動画タイトル)
string channelName = !string.IsNullOrWhiteSpace(video.ChannelTitle) ? video.ChannelTitle.Trim() : "";
@@ -376,12 +440,21 @@ public static class YouTubeFeedManager
}
}
// 既存アイテムが存在する場合、ライブ配信以外は前回の公開日時を完全に維持
var pubDate = (existingItem != null && existingItem.PublishDate != DateTimeOffset.MinValue && feedType != YouTubeFeedType.Live)
? existingItem.PublishDate
: video.PublishedDate;
var lastUpdate = (existingItem != null && existingItem.LastUpdatedTime != DateTimeOffset.MinValue && feedType != YouTubeFeedType.Live)
? existingItem.LastUpdatedTime
: pubDate;
var item = new SyndicationItem
{
Title = new TextSyndicationContent(displayTitle),
Id = CmnUtil.CreateGuid(video.Url),
PublishDate = video.PublishedDate,
LastUpdatedTime = video.PublishedDate
PublishDate = pubDate,
LastUpdatedTime = lastUpdate
};
item.Links.Add(new SyndicationLink(new Uri(video.Url)));
@@ -393,7 +466,15 @@ public static class YouTubeFeedManager
item.Categories.Add(new SyndicationCategory(video.FeedType.ToString()));
// HTML形式のSummaryを生成
// 既存エントリがあり、かつライブ配信でない場合は、前回のSummary(本文HTML)をそのまま引き継ぐ
// (再生回数や相対日時の変化による本文ハッシュ変動を100%防止)
if (existingItem?.Summary != null && !string.IsNullOrWhiteSpace(existingItem.Summary.Text) && feedType != YouTubeFeedType.Live)
{
item.Summary = new TextSyndicationContent(existingItem.Summary.Text, TextSyndicationContentKind.Html);
return item;
}
// 新規アイテムまたはライブ配信の場合の本文HTML生成
var body = new StringBuilder();
if (!string.IsNullOrWhiteSpace(video.ThumbnailUrl))
+25 -12
View File
@@ -1,4 +1,6 @@
using System;
using System.Text.Json.Serialization;
using rss_generator.Class.Common;
namespace rss_generator.Class.YouTube;
@@ -17,31 +19,42 @@ public enum YouTubeFeedType
/// <summary>
/// 監視対象チャンネル・ユーザーの設定情報
/// 共通モデル ExternalFeedTarget を継承し、YouTube固有のURL生成ロジックを持ちます。
/// </summary>
public class YouTubeChannelTarget
public class YouTubeChannelTarget : ExternalFeedTarget
{
/// <summary>
/// チャンネルID(例: "UCdn5BQ06XqgXoAxIhbqw5Rg")またはハンドル名(例: "@ShirakamiFubuki")
/// 旧プロパティ名との後方互換用エイリアス(Urlと同じ値を参照・設定)
/// </summary>
public string IdOrHandle { get; set; } = "";
[JsonIgnore]
public string IdOrHandle
{
get => Url;
set => Url = value;
}
/// <summary>
/// チャンネル名(未指定の場合は自動取得またはIdOrHandleを使用)
/// JSON読み込み時の旧フォーマット(idOrHandle)対応用プロパティ
/// 書き出し時は出力されません
/// </summary>
public string? Name { get; set; }
/// <summary>
/// 出力カテゴリ名(例: "その他", "野球", "ゲーム", "音楽", "ニュース" 等)
/// カテゴリごとに独立したRSSフィード(XML)が出力されます。
/// </summary>
public string Category { get; set; } = "その他";
[JsonPropertyName("idOrHandle")]
public string? LegacyIdOrHandle
{
set
{
if (!string.IsNullOrEmpty(value) && string.IsNullOrEmpty(Url))
{
Url = value;
}
}
}
/// <summary>
/// 指定したタブ種別に応じたURLを取得します。
/// </summary>
public string GetTabUrl(YouTubeFeedType type)
{
string baseTarget = IdOrHandle.Trim();
string baseTarget = (Url ?? "").Trim();
string baseUrl;
if (baseTarget.StartsWith("@"))
+2 -2
View File
@@ -1,4 +1,4 @@
using System;
using System;
using System.Collections.Generic;
using System.Globalization;
using System.Text.Json;
@@ -97,7 +97,7 @@ public static class YouTubeParser
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] YouTubeParser.ParseTabContent: {ex.Message}");
LogManager.AddLog($"[エラー] 【YouTube】 YouTubeParser.ParseTabContent: {ex.Message}");
}
return items;
+4 -4
View File
@@ -1,4 +1,4 @@
using AngleSharp.Html.Dom;
using AngleSharp.Html.Dom;
using System;
using System.Collections.Generic;
using System.ServiceModel.Syndication;
@@ -57,8 +57,8 @@ internal class Youtube
}
catch (Exception ex)
{
AddLog($"[エラー] Youtube:{ex.Message}");
AddLog($"StackTrace\n{ex.StackTrace}");
AddLog($"[エラー] 【YouTube】 {ex.Message}");
AddLog($"[エラー] 【YouTube】 StackTrace\n{ex.StackTrace}");
}
}
@@ -78,7 +78,7 @@ internal class Youtube
}
catch (Exception ex)
{
AddLog($"[エラー] {url} の取得に失敗: {ex.Message}");
AddLog($"[エラー] 【YouTube】 {url} の取得に失敗: {ex.Message}");
return Enumerable.Empty<SyndicationItem>();
}
}
+109 -53
View File
@@ -1,18 +1,23 @@
using Microsoft.Extensions.DependencyInjection;
using Microsoft.Extensions.DependencyInjection;
using rss_generator.Class.AnigeSokuhou;
using rss_generator.Class.AuraHentai;
using rss_generator.Class.CiEn;
using rss_generator.Class.Common;
using rss_generator.Class.Danbooru;
using rss_generator.Class.EHentai;
using rss_generator.Class.Eroterest;
using rss_generator.Class.HentaiPaw;
using rss_generator.Class.HitomiLa;
using rss_generator.Class.JapaneseAvi;
using rss_generator.Class.Javtwi;
using rss_generator.Class.Jpfiles;
using rss_generator.Class.KimochiInfo;
using rss_generator.Class.Mangalear;
using rss_generator.Class.MissAV;
using rss_generator.Class.MissAV123;
using rss_generator.Class.Momonga;
using rss_generator.Class.Pixiv;
using rss_generator.Class.Ryuugames;
using rss_generator.Class.Skebetter;
using rss_generator.Class.SpankBang;
using rss_generator.Class.X;
@@ -20,7 +25,6 @@ using rss_generator.Class.YahooBaseball;
using rss_generator.Class.YouTube;
using System.Diagnostics;
// 1. 同期スレッド等の未処理例外
AppDomain.CurrentDomain.UnhandledException += (sender, e) =>
{
@@ -49,7 +53,15 @@ var serviceProvider = services.BuildServiceProvider();
// ファクトリインスタンスを取り出す
var httpClientFactory = serviceProvider.GetRequiredService<IHttpClientFactory>();
LogManager.AddLog($"[情報] rss-generatorの起動");
// 定期実行とファイル変更監視トリガーとの排他制御用セマフォ
var executionLock = new SemaphoreSlim(1, 1);
// 外部設定ファイル(C:\feeds\src\*.json)の変更監視を開始
using var configWatcher = new ExternalConfigWatcher(httpClientFactory, executionLock);
configWatcher.RegisterHandler(YouTubeConfig.ConfigFileName, "YouTube", client => YouTubeFeedManager.CreateRSSAsync(client));
configWatcher.Start();
LogManager.AddLog($"[情報] 【Program】 rss-generatorの起動");
var isFirst = true;
// 生成完了後の待機時間(固定で30分)
@@ -66,97 +78,141 @@ while (true)
#if DEBUG
#else
var nextRunTime = DateTime.Now.Add(waitInterval);
LogManager.AddLog($"[情報] 次回実行予定: {nextRunTime:HH:mm:ss} (固定で30分待機)");
LogManager.AddLog($"[情報] 【Program】 次回実行予定: {nextRunTime:HH:mm:ss} (固定で30分待機)");
// 生成完了後、固定で30分待機(非同期スリープ)
await Task.Delay(waitInterval);
#endif
}
// 定期実行の排他ロックを取得
await executionLock.WaitAsync();
// 指定時刻になったら処理を実行
Stopwatch totalSw = Stopwatch.StartNew();
Stopwatch sw = Stopwatch.StartNew();
LogManager.AddLog("[情報] 全フィードの取得処理を開始します");
LogManager.AddLog("[情報] 【Program】 全フィードの取得処理を開始します");
try
{
using var client = httpClientFactory.CreateClient("webClient");
client.DefaultRequestHeaders.UserAgent.Clear();
// ここでブラウザのUser-Agentを偽装(最新のChromeを偽装)
client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
// サイトによってはAcceptヘッダーがないと弾く場合もあるため、念のため追加
client.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
// メモリ消費を最小化(512MB制限内)するため、各フィードを並行ではなく順次実行し、タスクごとにGCを実行
var feedActions = new List<(string Name, Func<Task> Action)>();
// =====================================================================
// 1. FlareSolverr を利用しない RSS 群(非同期で同時に取得処理を実行)
// =====================================================================
var nonFlareActions = new List<(string Name, Func<HttpClient, Task> Action)>();
#if DEBUG
feedActions.Add(("skebetter", () => skebetter.CreateRSSAsync(client)));
nonFlareActions.Add(("YouTube", client => YouTubeFeedManager.CreateRSSAsync(client)));
nonFlareActions.Add(("ryuugames", client => ryuugames.CreateRSSAsync(client)));
nonFlareActions.Add(("japaneseavi", client => japaneseavi.CreateRSSAsync(client)));
nonFlareActions.Add(("jpfiles", client => jpfiles.CreateRSSAsync(client)));
#else
feedActions.Add(("YouTube", () => YouTubeFeedManager.CreateRSSAsync(client)));
feedActions.Add(("X (Twitter)", () => x_list.CreateRSSAsync(client)));
feedActions.Add(("kimochiinfo", () => kimochiinfo.CreateRSSAsync(client)));
feedActions.Add(("ci_en", () => ci_en.CreateRSSAsync(client)));
feedActions.Add(("javtwi", () => javtwi.CreateRSSAsync(client)));
feedActions.Add(("mangalear", () => mangalear.CreateRSSAsync(client)));
feedActions.Add(("e_hentai_ai", () => e_hentai_ai.CreateRSSAsync(client)));
feedActions.Add(("e_hentai_non_ai", () => e_hentai_non_ai.CreateRSSAsync(client)));
feedActions.Add(("pixiv_non_r18_non_ai", () => pixiv_non_r18_non_ai.CreateRSSAsync(client)));
feedActions.Add(("pixiv_non_r18_ai", () => pixiv_non_r18_ai.CreateRSSAsync(client)));
feedActions.Add(("pixiv_r18_non_ai", () => pixiv_r18_non_ai.CreateRSSAsync(client)));
feedActions.Add(("pixiv_r18_ai", () => pixiv_r18_ai.CreateRSSAsync(client)));
feedActions.Add(("momonga_fanzine", () => momonga_fanzine.CreateRSSAsync(client)));
feedActions.Add(("momonga_magazine", () => momonga_magazine.CreateRSSAsync(client)));
feedActions.Add(("skebetter", () => skebetter.CreateRSSAsync(client)));
// FlareSolverr 利用タスク群(単一セッションで順次実行し、完了後に破棄してメモリ最小化)
feedActions.Add(("FlareSolverr", () => FlareSolverrFeedManager.CreateAllRSSAsync(client)));
// ※ movie.eroterest.net は取得処理停止のため除外
nonFlareActions.Add(("ryuugames", client => ryuugames.CreateRSSAsync(client)));
nonFlareActions.Add(("YouTube", client => YouTubeFeedManager.CreateRSSAsync(client)));
nonFlareActions.Add(("X (Twitter)", client => x_list.CreateRSSAsync(client)));
nonFlareActions.Add(("kimochiinfo", client => kimochiinfo.CreateRSSAsync(client)));
nonFlareActions.Add(("japaneseavi", client => japaneseavi.CreateRSSAsync(client)));
nonFlareActions.Add(("jpfiles", client => jpfiles.CreateRSSAsync(client)));
nonFlareActions.Add(("ci_en", client => ci_en.CreateRSSAsync(client)));
nonFlareActions.Add(("javtwi", client => javtwi.CreateRSSAsync(client)));
nonFlareActions.Add(("mangalear", client => mangalear.CreateRSSAsync(client)));
nonFlareActions.Add(("e_hentai_ai", client => e_hentai_ai.CreateRSSAsync(client)));
nonFlareActions.Add(("e_hentai_non_ai", client => e_hentai_non_ai.CreateRSSAsync(client)));
nonFlareActions.Add(("pixiv_non_r18_non_ai", client => pixiv_non_r18_non_ai.CreateRSSAsync(client)));
nonFlareActions.Add(("pixiv_non_r18_ai", client => pixiv_non_r18_ai.CreateRSSAsync(client)));
nonFlareActions.Add(("pixiv_r18_non_ai", client => pixiv_r18_non_ai.CreateRSSAsync(client)));
nonFlareActions.Add(("pixiv_r18_ai", client => pixiv_r18_ai.CreateRSSAsync(client)));
nonFlareActions.Add(("momonga_fanzine", client => momonga_fanzine.CreateRSSAsync(client)));
nonFlareActions.Add(("momonga_magazine", client => momonga_magazine.CreateRSSAsync(client)));
nonFlareActions.Add(("anige_sokuhouvip", client => anige_sokuhouvip.CreateRSSAsync(client)));
#endif
foreach (var (name, action) in feedActions)
LogManager.AddLog($"[情報] 【Program】 非FlareSolverrフィード ({nonFlareActions.Count} 件) の非同期同時取得を開始します");
var nonFlareSw = Stopwatch.StartNew();
var nonFlareTasks = nonFlareActions.Select(async item =>
{
// 各タスクに独立した HttpClient インスタンスを割り当てて競合・Cookie漏れを防止
using var taskClient = httpClientFactory.CreateClient("webClient");
taskClient.DefaultRequestHeaders.UserAgent.Clear();
taskClient.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
taskClient.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
var taskSw = Stopwatch.StartNew();
LogManager.AddLog($"[情報] 【{item.Name}】 取得開始");
try
{
var taskSw = Stopwatch.StartNew();
LogManager.AddLog($"[情報] 【{name}】 取得開始");
await action();
await item.Action(taskClient);
taskSw.Stop();
LogManager.AddLog($"[情報] 【{name}】 完了 ({taskSw.Elapsed.TotalSeconds:0.##}秒)");
LogManager.AddLog($"[情報] 【{item.Name}】 完了 ({taskSw.Elapsed.TotalSeconds:0.##}秒)");
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 【{name}】 実行時エラー: {ex.Message}");
}
finally
{
// 各タスク完了後にメモリを積極回収してOSに返却
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
GC.WaitForPendingFinalizers();
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
LogManager.AddLog($"[エラー] 【{item.Name}】 実行時エラー: {ex.Message}");
}
});
// 非FlareSolverrフィードをすべて同時に実行し、完了を待機
await Task.WhenAll(nonFlareTasks);
nonFlareSw.Stop();
LogManager.AddLog($"[情報] 【Program】 非FlareSolverrフィードの取得がすべて完了しました ({nonFlareSw.Elapsed.TotalSeconds:0.##}秒)");
// メモリ積極回収
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
GC.WaitForPendingFinalizers();
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
#if DEBUG
#else
// =====================================================================
// 2. FlareSolverr を利用する RSS 群
// (非FlareSolverr完了後に実行。全体セッションを共有し単一Chromiumインスタンスで順次実行)
// =====================================================================
LogManager.AddLog("[情報] 【Program】 FlareSolverr 利用フィードの取得を開始します");
using var flareClient = httpClientFactory.CreateClient("webClient");
flareClient.DefaultRequestHeaders.UserAgent.Clear();
flareClient.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
flareClient.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
try
{
await FlareSolverrFeedManager.CreateAllRSSAsync(flareClient);
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 【Program】 FlareSolverrタスク全体エラー: {ex.Message}");
}
finally
{
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
GC.WaitForPendingFinalizers();
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
}
#endif
sw.Stop();
LogManager.AddLog($"[情報] RSS生成完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
LogManager.AddLog($"[情報] 【Program】 RSS生成完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
#if DEBUG
sw.Stop();
totalSw.Stop();
LogManager.AddLog($"[情報] 全処理完了 トータル実行時間:{totalSw.Elapsed.TotalSeconds:0.##}秒");
LogManager.AddLog($"[情報] デバッグ完了");
LogManager.AddLog($"[情報] 【Program】 全処理完了 トータル実行時間:{totalSw.Elapsed.TotalSeconds:0.##}秒");
LogManager.AddLog($"[情報] 【Program】 デバッグ完了");
await LogManager.FlushAndCloseAsync();
break;
#else
sw.Stop();
totalSw.Stop();
LogManager.AddLog($"[情報] 全処理完了 トータル実行時間:{totalSw.Elapsed.TotalSeconds:0.##}秒");
LogManager.AddLog($"[情報] 【Program】 全処理完了 トータル実行時間:{totalSw.Elapsed.TotalSeconds:0.##}秒");
#endif
}
catch (Exception ex)
{
// 途中でエラーが起きてもプログラム全体がクラッシュして止まらないように保護
LogManager.AddLog($"[エラー] main:{ex.Message}");
LogManager.AddLog($"[エラー] 【Program】 main:{ex.Message}");
LogManager.AddLog($"{ex.StackTrace}");
//await LogManager.FlushAndCloseAsync();
}
}
finally
{
executionLock.Release();
}
}