refactor: 接続先ドメイン別および共通フォルダへのクラス再配置と参照更新
- 共通クラス(CmnDB, CmnDefine, CmnUtil, LogManager, FlareSolverrFeedManager)を Class/Common フォルダへ移動 - 各フィード生成クラスを接続先ドメインごとのフォルダ(YouTube, Pixiv, X, Danbooru, EHentai, HitomiLa, SpankBang, CiEn, MissAV, MissAV123, Momonga, AuraHentai, Javtwi, KimochiInfo, Mangalear, YahooBaseball)へ移動 - 旧 Class/RSS フォルダを廃止 - フォルダ構成に合わせて各クラスの名前空間(namespace)と using 参照を更新 - Program.cs の using および呼び出し参照を新しい名前空間に更新 - rss-generator.csproj の不要な Folder 要素をクリーンアップ
This commit is contained in:
1 parent
aeef4b37c8
commit
922e226b0a
34 files changed
+97
-58
No files matched your search
@@ -0,0 +1,90 @@
|
||||
using Dapper;
|
||||
using Npgsql;
|
||||
#if DEBUG
|
||||
using Renci.SshNet;
|
||||
#endif
|
||||
|
||||
namespace rss_generator.Class.Common;
|
||||
|
||||
internal class CmnDB : IDisposable
|
||||
{
|
||||
private readonly string _connectionString;
|
||||
|
||||
#if DEBUG
|
||||
private SshClient _sshClient;
|
||||
private ForwardedPortLocal _forwardedPort;
|
||||
#endif
|
||||
|
||||
public CmnDB()
|
||||
{
|
||||
// データベースの接続情報
|
||||
string dbName = "freshrss";
|
||||
string dbUser = "armonica";
|
||||
string dbPass = "mashiro0403";
|
||||
|
||||
#if DEBUG
|
||||
// ==========================================
|
||||
// 【Debug環境】SSHトンネル(秘密鍵認証)を構築して接続
|
||||
// ==========================================
|
||||
|
||||
// SSH接続情報
|
||||
string sshHost = "162.43.79.113";
|
||||
string sshUser = "armonica";
|
||||
string keyFilePath = @"C:\Users\uduki\Documents\_MEGA同期\VPS認証キー\シンVPS\armonica.pem";
|
||||
|
||||
// トンネリングの設定
|
||||
string dbHostInVps = "127.0.0.1";
|
||||
uint dbPortInVps = 5432;
|
||||
uint localPort = 15432;
|
||||
|
||||
// 秘密鍵ファイルを用いた認証メソッドを作成
|
||||
var keyFile = new PrivateKeyFile(keyFilePath);
|
||||
var authMethod = new PrivateKeyAuthenticationMethod(sshUser, keyFile);
|
||||
var connectionInfo = new ConnectionInfo(sshHost, sshUser, authMethod);
|
||||
|
||||
_sshClient = new SshClient(connectionInfo);
|
||||
_sshClient.Connect();
|
||||
|
||||
_forwardedPort = new ForwardedPortLocal("127.0.0.1", localPort, dbHostInVps, dbPortInVps);
|
||||
_sshClient.AddForwardedPort(_forwardedPort);
|
||||
_forwardedPort.Start();
|
||||
|
||||
// ローカルに構築したSSHトンネルのポートへ繋ぐ
|
||||
_connectionString = $"Host=127.0.0.1;Port={localPort};Database={dbName};Username={dbUser};Password={dbPass}";
|
||||
#else
|
||||
// ==========================================
|
||||
// 【Release環境】VPS内部のネットワークで直接接続
|
||||
// ==========================================
|
||||
// VPS上からDockerコンテナ(postgres-common)へ繋ぐため、127.0.0.1の5432ポートを指定
|
||||
_connectionString = $"Host=postgres;Port=5432;Database={dbName};Username={dbUser};Password={dbPass}";
|
||||
#endif
|
||||
}
|
||||
|
||||
public async Task<IEnumerable<T>> QueryAsync<T>(string sql, object? parameters = null)
|
||||
{
|
||||
await using var connection = new NpgsqlConnection(_connectionString);
|
||||
return await connection.QueryAsync<T>(sql, parameters);
|
||||
}
|
||||
|
||||
public async Task<int> ExecuteAsync(string sql, object? parameters = null)
|
||||
{
|
||||
await using var connection = new NpgsqlConnection(_connectionString);
|
||||
return await connection.ExecuteAsync(sql, parameters);
|
||||
}
|
||||
|
||||
public void Dispose()
|
||||
{
|
||||
#if DEBUG
|
||||
if (_forwardedPort != null && _forwardedPort.IsStarted)
|
||||
{
|
||||
_forwardedPort.Stop();
|
||||
_forwardedPort.Dispose();
|
||||
}
|
||||
if (_sshClient != null && _sshClient.IsConnected)
|
||||
{
|
||||
_sshClient.Disconnect();
|
||||
_sshClient.Dispose();
|
||||
}
|
||||
#endif
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,90 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Text;
|
||||
|
||||
namespace rss_generator.Class.Common;
|
||||
|
||||
internal class CmnDefine
|
||||
{
|
||||
public class ArmonicaFeed
|
||||
{
|
||||
public int Id { get; set; }
|
||||
|
||||
public string Url { get; set; } = string.Empty;
|
||||
|
||||
// smallintはC#のshort(Int16)に対応
|
||||
public short Kind { get; set; }
|
||||
|
||||
public int Category { get; set; }
|
||||
|
||||
public string Name { get; set; } = string.Empty;
|
||||
|
||||
// NULL許容型(Nullable)
|
||||
public string? Website { get; set; }
|
||||
|
||||
public string? Description { get; set; }
|
||||
|
||||
// bigintはC#のlong(Int64)に対応
|
||||
// SQL側がダブルクォーテーションで囲まれているため、
|
||||
// Dapperの自動マッピングを効かせるためにプロパティ名も大文字小文字を合わせます
|
||||
public long LastUpdate { get; set; }
|
||||
|
||||
public short Priority { get; set; }
|
||||
|
||||
public string? PathEntries { get; set; }
|
||||
|
||||
public string? HttpAuth { get; set; }
|
||||
|
||||
public short Error { get; set; }
|
||||
|
||||
public int Ttl { get; set; }
|
||||
|
||||
public string? Attributes { get; set; }
|
||||
|
||||
public int CacheNbEntries { get; set; }
|
||||
|
||||
public int CacheNbUnreads { get; set; }
|
||||
}
|
||||
|
||||
public class ArmonicaEntry
|
||||
{
|
||||
// bigintはC#のlong(Int64)に対応
|
||||
public long Id { get; set; }
|
||||
|
||||
// not nullカラムは string.Empty で初期化
|
||||
public string Guid { get; set; } = string.Empty;
|
||||
|
||||
public string Title { get; set; } = string.Empty;
|
||||
|
||||
// NULL許容カラムは string? (Nullable)
|
||||
public string? Author { get; set; }
|
||||
|
||||
public string? Content { get; set; }
|
||||
|
||||
public string LinK { get; set; } = string.Empty;
|
||||
|
||||
// NULL許容のbigintは long? に対応
|
||||
public long? Date { get; set; }
|
||||
|
||||
public long LastSeen { get; set; }
|
||||
|
||||
public long LastUserModified { get; set; }
|
||||
|
||||
// bytea(バイナリデータ)は byte[] にマッピングされます
|
||||
public byte[]? Hash { get; set; }
|
||||
|
||||
// smallintは short(Int16) に対応
|
||||
public short IsRead { get; set; }
|
||||
|
||||
public short IsFavorite { get; set; }
|
||||
|
||||
// NULL許容のintegerは int? に対応
|
||||
public int? IdFeed { get; set; }
|
||||
|
||||
public string? Tags { get; set; }
|
||||
|
||||
public string? Attributes { get; set; }
|
||||
|
||||
public long? LastModified { get; set; }
|
||||
}
|
||||
}
|
||||
File diff suppressed because it is too large.
Load diff
@@ -0,0 +1,137 @@
|
||||
using System;
|
||||
using System.Diagnostics;
|
||||
using System.Net.Http;
|
||||
using System.Threading.Tasks;
|
||||
using rss_generator.Class.AuraHentai;
|
||||
using rss_generator.Class.Danbooru;
|
||||
using rss_generator.Class.HitomiLa;
|
||||
using rss_generator.Class.MissAV;
|
||||
using rss_generator.Class.MissAV123;
|
||||
using rss_generator.Class.SpankBang;
|
||||
using rss_generator.Class.YahooBaseball;
|
||||
|
||||
namespace rss_generator.Class.Common;
|
||||
|
||||
/// <summary>
|
||||
/// FlareSolverr を利用するすべての RSS 生成処理を単一のセッションで順次(直列)実行し、
|
||||
/// 完了後に確実にセッションを破棄してメモリ消費を極小化するマネージャークラス
|
||||
/// </summary>
|
||||
internal static class FlareSolverrFeedManager
|
||||
{
|
||||
/// <summary>
|
||||
/// FlareSolverr セッションを 1 つ作成し、そのセッションを共有して各フィードを順次生成します。
|
||||
/// 完了後(または異常終了時)にセッションを確実に破棄して Chromium プロセスを終了させます。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
public static async Task CreateAllRSSAsync(HttpClient client)
|
||||
{
|
||||
LogManager.AddLog("[情報] FlareSolverr フィード生成(単一セッション順次実行)を開始します");
|
||||
var sw = Stopwatch.StartNew();
|
||||
string? sessionId = null;
|
||||
|
||||
try
|
||||
{
|
||||
// 0. 開始前に過去の残留セッションがあればすべて事前に破棄
|
||||
await CmnUtil.DestroyAllFlareSolverrSessions(client);
|
||||
|
||||
// 1. 全タスク共通の単一 FlareSolverr セッションを作成(Chromium 1インスタンスのみ起動)
|
||||
sessionId = await CmnUtil.CreateFlareSolverrSession(client);
|
||||
LogManager.AddLog($"[情報] 共通 FlareSolverr セッションを作成しました (Session: {sessionId ?? "none"})");
|
||||
|
||||
// 2. メモリ節約のため、1つのセッションを使い回して直列(同期)で順番に実行
|
||||
// 個別のエラーで全体が止まらないよう各タスクを保護
|
||||
|
||||
// npb_6
|
||||
try
|
||||
{
|
||||
await npb_6.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] npb_6 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// aurahentai
|
||||
try
|
||||
{
|
||||
await aurahentai.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] aurahentai 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// Danbooru rank
|
||||
try
|
||||
{
|
||||
await rank.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] Danbooru.rank 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// missav
|
||||
try
|
||||
{
|
||||
await missav.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] missav 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// missav123
|
||||
try
|
||||
{
|
||||
await missav123.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] missav123 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// hitomi.la
|
||||
try
|
||||
{
|
||||
await index_japanese.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] hitomi.la 実行失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// spankbang
|
||||
try
|
||||
{
|
||||
await spankbang.CreateRSSAsync(client, sessionId);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] spankbang 実行失敗: {ex.Message}");
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [FlareSolverrFeedManager] 共通セッション処理中に例外発生: {ex.Message}");
|
||||
CmnUtil.PrintCallStackToEvent(ex);
|
||||
}
|
||||
finally
|
||||
{
|
||||
// 3. すべて取得完了後にセッション(Chromiumインスタンス)を確実に破棄してメモリ・CPUを完全解放
|
||||
// 個別の sessionId 破棄に加え、万が一の残留セッションも一括破棄
|
||||
try
|
||||
{
|
||||
await CmnUtil.DestroyAllFlareSolverrSessions(client);
|
||||
LogManager.AddLog($"[情報] [FlareSolverrFeedManager] FlareSolverr セッションクリーンアップ完了");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [FlareSolverrFeedManager] セッションクリーンアップ中にエラー: {ex.Message}");
|
||||
}
|
||||
|
||||
sw.Stop();
|
||||
LogManager.AddLog($"[情報] FlareSolverr フィード生成完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,101 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Text;
|
||||
using System.Threading.Channels;
|
||||
|
||||
namespace rss_generator.Class.Common;
|
||||
|
||||
internal static class LogManager // 実際のクラス名に合わせてください
|
||||
{
|
||||
// ログ情報を受け渡すための構造
|
||||
private class LogMessage
|
||||
{
|
||||
public string? Message { get; set; }
|
||||
public DateTime Timestamp { get; set; }
|
||||
}
|
||||
|
||||
// スレッドセーフな非同期キュー
|
||||
private static readonly Channel<LogMessage> _channel;
|
||||
|
||||
// バックグラウンドタスク自体を保持する変数
|
||||
private static readonly Task _backgroundTask;
|
||||
|
||||
// 静的コンストラクタで、バックグラウンドの書き込みタスクを1つだけ起動する
|
||||
static LogManager()
|
||||
{
|
||||
_channel = Channel.CreateUnbounded<LogMessage>(new UnboundedChannelOptions
|
||||
{
|
||||
SingleReader = true // 読み取り(書き込み処理)を行うのは1タスクのみ
|
||||
});
|
||||
|
||||
// アプリケーション起動時に、バックグラウンドで専属のファイル書き込み処理を走らせる
|
||||
_backgroundTask = Task.Run(WriteToFileBackgroundAsync);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 既存のログ出力メソッド(インターフェースはそのまま)
|
||||
/// </summary>
|
||||
public static void AddLog(string? message)
|
||||
{
|
||||
|
||||
var log = new LogMessage
|
||||
{
|
||||
Message = message!.TrimEnd('\r', '\n'),
|
||||
Timestamp = DateTime.Now // ログが発生した瞬間の時間を保持
|
||||
};
|
||||
|
||||
// キューにデータを放り込む(一瞬で終わるため、呼び出し元の非同期処理を1ミリ秒も邪魔しません)
|
||||
_channel.Writer.TryWrite(log);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// キューから届くログを、1件ずつ順番にファイルへ書き込むバックグラウンド処理
|
||||
/// </summary>
|
||||
private static async Task WriteToFileBackgroundAsync()
|
||||
{
|
||||
// キューにデータが届くのを非同期で待機し、届いた順に1件ずつ処理する
|
||||
// (書き込みを行うのは常にこの1タスクだけなので、絶対にファイルの排他競合は起きません)
|
||||
await foreach (var log in _channel.Reader.ReadAllAsync())
|
||||
{
|
||||
try
|
||||
{
|
||||
var fileDir = Path.Combine(CmnUtil.GetExportXmlPath(""), "Log");
|
||||
if (Directory.Exists(fileDir) == false)
|
||||
{
|
||||
Directory.CreateDirectory(fileDir);
|
||||
}
|
||||
|
||||
// ログが発生した日付(log.Timestamp)に基づいてファイル名を決定
|
||||
// これにより、日付をまたぐ瞬間のログも正しい日付のファイルに書き込まれます
|
||||
var fileName = $"{log.Timestamp:yyyy-MM-dd}.log";
|
||||
var filePath = Path.Combine(fileDir, fileName);
|
||||
|
||||
using var sw = File.AppendText(filePath);
|
||||
|
||||
// 必要に応じてログに時間を付与して書き込み
|
||||
sw.WriteLine($"[{log.Timestamp:HH:mm:ss.fff}] {log.Message}");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
// 万が一ファイルI/O自体がシステム起因等で一時的に失敗した場合の対策
|
||||
Console.Error.WriteLine($"ログファイルへの書き込みに失敗しました: {ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// キューの受け付けを終了し、溜まっているすべてのログがファイルに書き込まれるまで待機します。
|
||||
/// (コンソールアプリの終了直前に呼び出してください)
|
||||
/// </summary>
|
||||
public static async Task FlushAndCloseAsync()
|
||||
{
|
||||
// 1. もう新しいログは受け付けない(キューを閉じる)と宣言する
|
||||
_channel.Writer.Complete();
|
||||
|
||||
// 2. Readerの完了(キューの中身が空になり、バックグラウンドタスクが終わる)を待つ
|
||||
if (_backgroundTask != null)
|
||||
{
|
||||
await _backgroundTask;
|
||||
}
|
||||
}
|
||||
}
|
||||
Reference in new issue
Block a user