- Ryuugames (ryuugames.com) から新着情報を収集し、日本語版と海外向け翻訳版を自動判別 - ryuugames.xml (全件), ryuugames_jp.xml (日本語限定), ryuugames_trans.xml (翻訳限定) の3フィードを出力 - タイトルへの言語タグ付与およびリッチな本文HTML整形(カバー画像、INFO表、あらすじ、スクリーンショット) - 既存XML読み込みキャッシュによる未読維持 - Program.cs の非FlareSolverrフィード一覧への登録
214 lines
9.5 KiB
C#
214 lines
9.5 KiB
C#
using Microsoft.Extensions.DependencyInjection;
|
|
using rss_generator.Class.AnigeSokuhou;
|
|
using rss_generator.Class.AuraHentai;
|
|
using rss_generator.Class.CiEn;
|
|
using rss_generator.Class.Common;
|
|
using rss_generator.Class.Danbooru;
|
|
using rss_generator.Class.EHentai;
|
|
using rss_generator.Class.Eroterest;
|
|
using rss_generator.Class.HentaiPaw;
|
|
using rss_generator.Class.HitomiLa;
|
|
using rss_generator.Class.Javtwi;
|
|
using rss_generator.Class.KimochiInfo;
|
|
using rss_generator.Class.Mangalear;
|
|
using rss_generator.Class.MissAV;
|
|
using rss_generator.Class.MissAV123;
|
|
using rss_generator.Class.Momonga;
|
|
using rss_generator.Class.Pixiv;
|
|
using rss_generator.Class.Ryuugames;
|
|
using rss_generator.Class.Skebetter;
|
|
using rss_generator.Class.SpankBang;
|
|
using rss_generator.Class.X;
|
|
using rss_generator.Class.YahooBaseball;
|
|
using rss_generator.Class.YouTube;
|
|
using System.Diagnostics;
|
|
|
|
|
|
// 1. 同期スレッド等の未処理例外
|
|
AppDomain.CurrentDomain.UnhandledException += (sender, e) =>
|
|
{
|
|
Exception? ex = e.ExceptionObject as Exception;
|
|
if (ex != null)
|
|
{
|
|
CmnUtil.PrintCallStackToEvent(ex);
|
|
}
|
|
};
|
|
|
|
// 2. async/await や Task 内で放置された未処理例外 (GC回収時に発火)
|
|
TaskScheduler.UnobservedTaskException += (sender, e) =>
|
|
{
|
|
if (e != null)
|
|
{
|
|
CmnUtil.PrintCallStackToEvent(e.Exception);
|
|
e.SetObserved(); // クラッシュを防止する場合に指定
|
|
}
|
|
};
|
|
|
|
ServiceCollection services = new ServiceCollection();
|
|
// 2. IHttpClientFactory の登録とクッキーの有効化設定(名前付きクライアント)
|
|
services.AddHttpClient("webClient");
|
|
// コンテナをビルド
|
|
var serviceProvider = services.BuildServiceProvider();
|
|
// ファクトリインスタンスを取り出す
|
|
var httpClientFactory = serviceProvider.GetRequiredService<IHttpClientFactory>();
|
|
|
|
// 定期実行とファイル変更監視トリガーとの排他制御用セマフォ
|
|
var executionLock = new SemaphoreSlim(1, 1);
|
|
|
|
// 外部設定ファイル(C:\feeds\src\*.json)の変更監視を開始
|
|
using var configWatcher = new ExternalConfigWatcher(httpClientFactory, executionLock);
|
|
configWatcher.RegisterHandler(YouTubeConfig.ConfigFileName, "YouTube", client => YouTubeFeedManager.CreateRSSAsync(client));
|
|
configWatcher.Start();
|
|
|
|
LogManager.AddLog($"[情報] 【Program】 rss-generatorの起動");
|
|
var isFirst = true;
|
|
|
|
// 生成完了後の待機時間(固定で30分)
|
|
TimeSpan waitInterval = TimeSpan.FromMinutes(30);
|
|
|
|
while (true)
|
|
{
|
|
if (isFirst)
|
|
{
|
|
isFirst = false;
|
|
}
|
|
else
|
|
{
|
|
#if DEBUG
|
|
#else
|
|
var nextRunTime = DateTime.Now.Add(waitInterval);
|
|
LogManager.AddLog($"[情報] 【Program】 次回実行予定: {nextRunTime:HH:mm:ss} (固定で30分待機)");
|
|
|
|
// 生成完了後、固定で30分待機(非同期スリープ)
|
|
await Task.Delay(waitInterval);
|
|
#endif
|
|
}
|
|
|
|
// 定期実行の排他ロックを取得
|
|
await executionLock.WaitAsync();
|
|
// 指定時刻になったら処理を実行
|
|
Stopwatch totalSw = Stopwatch.StartNew();
|
|
Stopwatch sw = Stopwatch.StartNew();
|
|
LogManager.AddLog("[情報] 【Program】 全フィードの取得処理を開始します");
|
|
try
|
|
{
|
|
// =====================================================================
|
|
// 1. FlareSolverr を利用しない RSS 群(非同期で同時に取得処理を実行)
|
|
// =====================================================================
|
|
var nonFlareActions = new List<(string Name, Func<HttpClient, Task> Action)>();
|
|
|
|
#if DEBUG
|
|
nonFlareActions.Add(("YouTube", client => YouTubeFeedManager.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("ryuugames", client => ryuugames.CreateRSSAsync(client)));
|
|
#else
|
|
// ※ movie.eroterest.net は取得処理停止のため除外
|
|
nonFlareActions.Add(("ryuugames", client => ryuugames.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("YouTube", client => YouTubeFeedManager.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("X (Twitter)", client => x_list.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("kimochiinfo", client => kimochiinfo.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("ci_en", client => ci_en.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("javtwi", client => javtwi.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("mangalear", client => mangalear.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("e_hentai_ai", client => e_hentai_ai.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("e_hentai_non_ai", client => e_hentai_non_ai.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("pixiv_non_r18_non_ai", client => pixiv_non_r18_non_ai.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("pixiv_non_r18_ai", client => pixiv_non_r18_ai.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("pixiv_r18_non_ai", client => pixiv_r18_non_ai.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("pixiv_r18_ai", client => pixiv_r18_ai.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("momonga_fanzine", client => momonga_fanzine.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("momonga_magazine", client => momonga_magazine.CreateRSSAsync(client)));
|
|
nonFlareActions.Add(("anige_sokuhouvip", client => anige_sokuhouvip.CreateRSSAsync(client)));
|
|
#endif
|
|
|
|
LogManager.AddLog($"[情報] 【Program】 非FlareSolverrフィード ({nonFlareActions.Count} 件) の非同期同時取得を開始します");
|
|
var nonFlareSw = Stopwatch.StartNew();
|
|
|
|
var nonFlareTasks = nonFlareActions.Select(async item =>
|
|
{
|
|
// 各タスクに独立した HttpClient インスタンスを割り当てて競合・Cookie漏れを防止
|
|
using var taskClient = httpClientFactory.CreateClient("webClient");
|
|
taskClient.DefaultRequestHeaders.UserAgent.Clear();
|
|
taskClient.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
|
|
taskClient.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
|
|
|
|
var taskSw = Stopwatch.StartNew();
|
|
LogManager.AddLog($"[情報] 【{item.Name}】 取得開始");
|
|
try
|
|
{
|
|
await item.Action(taskClient);
|
|
taskSw.Stop();
|
|
LogManager.AddLog($"[情報] 【{item.Name}】 完了 ({taskSw.Elapsed.TotalSeconds:0.##}秒)");
|
|
}
|
|
catch (Exception ex)
|
|
{
|
|
LogManager.AddLog($"[エラー] 【{item.Name}】 実行時エラー: {ex.Message}");
|
|
}
|
|
});
|
|
|
|
// 非FlareSolverrフィードをすべて同時に実行し、完了を待機
|
|
await Task.WhenAll(nonFlareTasks);
|
|
nonFlareSw.Stop();
|
|
LogManager.AddLog($"[情報] 【Program】 非FlareSolverrフィードの取得がすべて完了しました ({nonFlareSw.Elapsed.TotalSeconds:0.##}秒)");
|
|
|
|
// メモリ積極回収
|
|
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
|
|
GC.WaitForPendingFinalizers();
|
|
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
|
|
|
|
#if DEBUG
|
|
#else
|
|
// =====================================================================
|
|
// 2. FlareSolverr を利用する RSS 群
|
|
// (非FlareSolverr完了後に実行。全体セッションを共有し単一Chromiumインスタンスで順次実行)
|
|
// =====================================================================
|
|
LogManager.AddLog("[情報] 【Program】 FlareSolverr 利用フィードの取得を開始します");
|
|
using var flareClient = httpClientFactory.CreateClient("webClient");
|
|
flareClient.DefaultRequestHeaders.UserAgent.Clear();
|
|
flareClient.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
|
|
flareClient.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
|
|
|
|
try
|
|
{
|
|
await FlareSolverrFeedManager.CreateAllRSSAsync(flareClient);
|
|
}
|
|
catch (Exception ex)
|
|
{
|
|
LogManager.AddLog($"[エラー] 【Program】 FlareSolverrタスク全体エラー: {ex.Message}");
|
|
}
|
|
finally
|
|
{
|
|
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
|
|
GC.WaitForPendingFinalizers();
|
|
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
|
|
}
|
|
#endif
|
|
|
|
sw.Stop();
|
|
LogManager.AddLog($"[情報] 【Program】 RSS生成完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
|
|
#if DEBUG
|
|
sw.Stop();
|
|
totalSw.Stop();
|
|
LogManager.AddLog($"[情報] 【Program】 全処理完了 トータル実行時間:{totalSw.Elapsed.TotalSeconds:0.##}秒");
|
|
LogManager.AddLog($"[情報] 【Program】 デバッグ完了");
|
|
|
|
await LogManager.FlushAndCloseAsync();
|
|
break;
|
|
#else
|
|
sw.Stop();
|
|
totalSw.Stop();
|
|
LogManager.AddLog($"[情報] 【Program】 全処理完了 トータル実行時間:{totalSw.Elapsed.TotalSeconds:0.##}秒");
|
|
#endif
|
|
|
|
}
|
|
catch (Exception ex)
|
|
{
|
|
// 途中でエラーが起きてもプログラム全体がクラッシュして止まらないように保護
|
|
LogManager.AddLog($"[エラー] 【Program】 main:{ex.Message}");
|
|
LogManager.AddLog($"{ex.StackTrace}");
|
|
}
|
|
finally
|
|
{
|
|
executionLock.Release();
|
|
}
|
|
}
|