From 9cb9892cb321fa2eee296594378ab6608a7b9c43 Mon Sep 17 00:00:00 2001 From: "KOUJIRI-WIN11\\koujiri" Date: Mon, 7 Sep 2026 16:41:38 +0900 Subject: [PATCH] =?UTF-8?q?feat:=20Skebetter=E3=81=AE=E5=8F=96=E5=BE=97?= =?UTF-8?q?=E5=87=A6=E7=90=86=E3=81=ABFlareSolverr=E3=83=95=E3=82=A9?= =?UTF-8?q?=E3=83=BC=E3=83=AB=E3=83=90=E3=83=83=E3=82=AF=E3=82=92=E8=BF=BD?= =?UTF-8?q?=E5=8A=A0=E3=81=8A=E3=82=88=E3=81=B3CmnUtil=E3=81=ABGetStringFl?= =?UTF-8?q?areSolverr=E3=82=92=E5=AE=9F=E8=A3=85?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- rss-generator/Class/Common/CmnUtil.cs | 112 ++++++++++++++ rss-generator/Class/Skebetter/skebetter.cs | 172 ++++++++++++++++----- 2 files changed, 249 insertions(+), 35 deletions(-) diff --git a/rss-generator/Class/Common/CmnUtil.cs b/rss-generator/Class/Common/CmnUtil.cs index 7b2530b..eac0695 100644 --- a/rss-generator/Class/Common/CmnUtil.cs +++ b/rss-generator/Class/Common/CmnUtil.cs @@ -704,6 +704,118 @@ public class CmnUtil } } + /// + /// FlareSolverr 経由で対象 URL のレスポンス文字列(HTML または JSON)を取得します。 + /// Chromium が JSON を表示した際の <pre>...</pre> ラップも自動検出してアンラップ・HTMLデコードします。 + /// + /// HttpClient インスタンス + /// 取得対象のURL + /// FlareSolverrのエンドポイントURL(デフォルト: https://udukipc-flaresolverr.armonica-vps.work/v1) + /// FlareSolverr側の最大タイムアウトミリ秒(デフォルト: 60000ms) + /// セッションID(セッションを再利用して高速化する場合に指定) + /// レスポンス文字列(失敗時は null または空文字) + public static async Task GetStringFlareSolverr( + HttpClient client, + string url, + string flareSolverrEndpoint = "https://udukipc-flaresolverr.armonica-vps.work/v1", + int maxTimeout = 60000, + string? session = null) + { + await FlareSolverrSemaphore.WaitAsync(); + try + { + const int maxRetries = 3; + string? currentSession = session; + + for (int attempt = 1; attempt <= maxRetries; attempt++) + { + Console.WriteLine($"Fetching String via FlareSolverr (試行 {attempt}/{maxRetries}): {url}"); + + var payload = new FlareSolverrRequest + { + Cmd = "request.get", + Url = url, + MaxTimeout = maxTimeout, + Session = currentSession + }; + + using var request = new HttpRequestMessage(HttpMethod.Post, flareSolverrEndpoint) + { + Content = JsonContent.Create(payload, options: FlareSolverrJsonOptions) + }; + + try + { + using var response = await client.SendAsync(request); + var responseContent = await response.Content.ReadAsStringAsync(); + + if (!response.IsSuccessStatusCode) + { + LogManager.AddLog($"[警告] FlareSolverr HTTP失敗 (Status: {(int)response.StatusCode} {response.ReasonPhrase}, URL: {url}, Detail: {responseContent})"); + + if (currentSession != null) + { + LogManager.AddLog($"[情報] セッション {currentSession} を解除して次回セッションなしで再試行します。"); + currentSession = null; + } + + if (attempt < maxRetries) + { + await Task.Delay(attempt * 2500); + continue; + } + + throw new HttpRequestException($"FlareSolverr サーバーエラー (Status: {(int)response.StatusCode}, Detail: {responseContent})"); + } + + var flareResponse = JsonSerializer.Deserialize(responseContent, FlareSolverrJsonOptions); + if (flareResponse == null) + { + throw new InvalidOperationException($"FlareSolverr レスポンスのデシリアライズ失敗: {url}"); + } + + if (!string.Equals(flareResponse.Status, "ok", StringComparison.OrdinalIgnoreCase)) + { + string errorMsg = $"FlareSolverr エラー (Status: {flareResponse.Status}, Message: {flareResponse.Message}): {url}"; + LogManager.AddLog($"[警告] {errorMsg}"); + + if (attempt < maxRetries) + { + currentSession = null; + await Task.Delay(attempt * 2500); + continue; + } + + throw new InvalidOperationException(errorMsg); + } + + string rawContent = flareResponse.Solution?.Response ?? string.Empty; + + // Chromium が JSON を表示した際の
...
をアンラップ + var match = Regex.Match(rawContent, @"]*>(.*?)", RegexOptions.Singleline | RegexOptions.IgnoreCase); + if (match.Success) + { + return WebUtility.HtmlDecode(match.Groups[1].Value).Trim(); + } + + return rawContent; + } + catch (Exception ex) when (attempt < maxRetries && ex is not OperationCanceledException) + { + LogManager.AddLog($"[警告] FlareSolverr リクエスト再試行 (試行 {attempt}/{maxRetries}, URL: {url}): {ex.Message}"); + currentSession = null; + await Task.Delay(attempt * 2500); + } + } + + throw new InvalidOperationException($"FlareSolverr での取得が最大試行回数 ({maxRetries}回) を超えて失敗しました: {url}"); + } + finally + { + FlareSolverrSemaphore.Release(); + } + } + /// /// FlareSolverr 経由で対象 URL の RSS/Atom フィードを取得し、SyndicationItem のコレクションを返します。 /// メモリ割り当ての最小化およびストリーム直接デシリアライズにより、メモリリーク防止と高速化を行っています。 diff --git a/rss-generator/Class/Skebetter/skebetter.cs b/rss-generator/Class/Skebetter/skebetter.cs index 4c0dfa0..0734274 100644 --- a/rss-generator/Class/Skebetter/skebetter.cs +++ b/rss-generator/Class/Skebetter/skebetter.cs @@ -109,17 +109,37 @@ internal static class skebetter } /// - /// API から投稿リストを取得します。失敗した場合は Web ページの __NEXT_DATA__ からフォールバック取得します。 + /// Chrome 相当の正規ブラウザヘッダーを設定します。 + /// + private static void ApplyBrowserHeaders(HttpRequestMessage request, string? referrer = null, bool isJson = true) + { + request.Headers.UserAgent.Clear(); + request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36"); + request.Headers.Add("Accept", isJson ? "application/json, text/plain, */*" : "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8"); + request.Headers.Add("Accept-Language", "ja,en-US;q=0.9,en;q=0.8"); + request.Headers.Add("sec-ch-ua", "\"Not(A:Brand\";v=\"99\", \"Google Chrome\";v=\"133\", \"Chromium\";v=\"133\""); + request.Headers.Add("sec-ch-ua-mobile", "?0"); + request.Headers.Add("sec-ch-ua-platform", "\"Windows\""); + request.Headers.Add("sec-fetch-dest", isJson ? "empty" : "document"); + request.Headers.Add("sec-fetch-mode", isJson ? "cors" : "navigate"); + request.Headers.Add("sec-fetch-site", "same-origin"); + if (!string.IsNullOrEmpty(referrer)) + { + request.Headers.Referrer = new Uri(referrer); + } + } + + /// + /// API から投稿リストを取得します。失敗した場合は Web ページの __NEXT_DATA__、 + /// それでも失敗した場合は FlareSolverr 経由でフォールバック取得します。 /// private static async Task> FetchPostsAsync(HttpClient client, string apiUrl, string pageUrl, bool isIllust) { - // 1. API からの取得を試行 + // 1. 通常 HttpClient による API 取得を試行 try { using var request = new HttpRequestMessage(HttpMethod.Get, apiUrl); - request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"); - request.Headers.Add("Accept", "application/json, text/plain, */*"); - request.Headers.Referrer = new Uri(pageUrl); + ApplyBrowserHeaders(request, referrer: pageUrl, isJson: true); using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead); if (response.IsSuccessStatusCode) @@ -137,7 +157,7 @@ internal static class skebetter } else { - LogManager.AddLog($"[警告] [skebetter] API 取得失敗 (Status: {response.StatusCode}): {apiUrl}。Web ページからの抽出を試みます。"); + LogManager.AddLog($"[警告] [skebetter] API 取得失敗 (Status: {(int)response.StatusCode}): {apiUrl}。Web ページからの抽出を試みます。"); } } catch (Exception ex) @@ -145,43 +165,92 @@ internal static class skebetter LogManager.AddLog($"[警告] [skebetter] API リクエスト例外: {ex.Message}。Web ページからの抽出を試みます。"); } - // 2. フォールバック: Web ページの __NEXT_DATA__ からの抽出 + // 2. フォールバック: 通常 HttpClient による Web ページの __NEXT_DATA__ からの抽出 try { using var pageRequest = new HttpRequestMessage(HttpMethod.Get, pageUrl); - pageRequest.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"); - pageRequest.Headers.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"); + ApplyBrowserHeaders(pageRequest, referrer: null, isJson: false); using var pageResponse = await client.SendAsync(pageRequest, HttpCompletionOption.ResponseContentRead); if (pageResponse.IsSuccessStatusCode) { var html = await pageResponse.Content.ReadAsStringAsync(); - var match = Regex.Match(html, @"", RegexOptions.Singleline); - if (match.Success) + var list = ExtractPostsFromNextData(html); + if (list != null && list.Count > 0) { - var nextDataJson = match.Groups[1].Value; - var nextData = JsonSerializer.Deserialize(nextDataJson, JsonOptions); - var postsObj = nextData?.Props?.PageProps?.Posts; - if (postsObj != null) - { - var list = CombinePosts(postsObj); - if (list.Count > 0) - { - LogManager.AddLog($"[情報] [skebetter] Web ページの __NEXT_DATA__ から {list.Count} 件の投稿を抽出しました"); - return list; - } - } + LogManager.AddLog($"[情報] [skebetter] Web ページの __NEXT_DATA__ から {list.Count} 件の投稿を抽出しました"); + return list; } } + else + { + LogManager.AddLog($"[警告] [skebetter] Web ページ取得失敗 (Status: {(int)pageResponse.StatusCode}): {pageUrl}。"); + } } catch (Exception ex) { LogManager.AddLog($"[エラー] [skebetter] Web ページからの抽出例外: {ex.Message}"); } + // 3. フォールバック: Cloudflare ブロック(Status 520等)対策として FlareSolverr 経由で取得 + try + { + LogManager.AddLog($"[情報] [skebetter] 通常リクエストでの取得に失敗したため、FlareSolverr 経由での取得を試行します: {apiUrl}"); + var flareJson = await CmnUtil.GetStringFlareSolverr(client, apiUrl); + if (!string.IsNullOrEmpty(flareJson)) + { + var apiResult = JsonSerializer.Deserialize(flareJson, JsonOptions); + if (apiResult != null) + { + var list = CombinePosts(apiResult); + if (list.Count > 0) + { + LogManager.AddLog($"[情報] [skebetter] FlareSolverr 経由で {list.Count} 件の投稿を取得しました"); + return list; + } + } + } + + // 万が一 API の取得が空だった場合、Web ページを FlareSolverr で取得して __NEXT_DATA__ をパース + LogManager.AddLog($"[情報] [skebetter] FlareSolverr 経由で Web ページからの抽出を試みます: {pageUrl}"); + var flareHtml = await CmnUtil.GetStringFlareSolverr(client, pageUrl); + if (!string.IsNullOrEmpty(flareHtml)) + { + var list = ExtractPostsFromNextData(flareHtml); + if (list != null && list.Count > 0) + { + LogManager.AddLog($"[情報] [skebetter] FlareSolverr 経由で Web ページから {list.Count} 件の投稿を抽出しました"); + return list; + } + } + } + catch (Exception ex) + { + LogManager.AddLog($"[エラー] [skebetter] FlareSolverr フォールバック例外: {ex.Message}"); + } + return new List(); } + /// + /// HTML 内の <script id="__NEXT_DATA__"> から投稿リストを抽出します。 + /// + private static List? ExtractPostsFromNextData(string html) + { + var match = Regex.Match(html, @"", RegexOptions.Singleline); + if (match.Success) + { + var nextDataJson = match.Groups[1].Value; + var nextData = JsonSerializer.Deserialize(nextDataJson, JsonOptions); + var postsObj = nextData?.Props?.PageProps?.Posts; + if (postsObj != null) + { + return CombinePosts(postsObj); + } + } + return null; + } + /// /// API レスポンス内の tweet と series を統合し、重複を排除したリストを作成します。 /// @@ -234,17 +303,15 @@ internal static class skebetter } /// - /// シリーズ作品の全ツイート・全ページ情報を API から取得します。 + /// シリーズ作品の全ツイート・全ページ情報を API から取得します(失敗時は FlareSolverr フォールバック)。 /// private static async Task?> FetchSeriesTweetsAsync(HttpClient client, long seriesId) { + string url = $"{SeriesDetailApiUrl}{seriesId}"; try { - string url = $"{SeriesDetailApiUrl}{seriesId}"; using var request = new HttpRequestMessage(HttpMethod.Get, url); - request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"); - request.Headers.Add("Accept", "application/json, text/plain, */*"); - request.Headers.Referrer = new Uri($"{BaseUrl}/series/{seriesId}"); + ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/series/{seriesId}", isJson: true); using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead); if (response.IsSuccessStatusCode) @@ -260,26 +327,43 @@ internal static class skebetter } catch (Exception ex) { - LogManager.AddLog($"[警告] [skebetter] シリーズ詳細取得失敗 (series_id: {seriesId}): {ex.Message}"); + LogManager.AddLog($"[警告] [skebetter] シリーズ詳細通常取得失敗 (series_id: {seriesId}): {ex.Message}"); + } + + // FlareSolverr フォールバック + try + { + var flareJson = await CmnUtil.GetStringFlareSolverr(client, url); + if (!string.IsNullOrEmpty(flareJson)) + { + var result = JsonSerializer.Deserialize(flareJson, JsonOptions); + var tweets = result?.Tweets?.Tweets; + if (tweets != null && tweets.Count > 0) + { + return tweets; + } + } + } + catch (Exception ex) + { + LogManager.AddLog($"[警告] [skebetter] シリーズ詳細 FlareSolverr 取得失敗 (series_id: {seriesId}): {ex.Message}"); } return null; } /// - /// 通常作品のリプライツリー情報を API から取得します(複数ツイートがある場合)。 + /// 通常作品のリプライツリー情報を API から取得します(複数ツイートがある場合、失敗時は FlareSolverr フォールバック)。 /// private static async Task?> FetchUserTweetDetailAsync(HttpClient client, string? userId, string? tweetId) { if (string.IsNullOrEmpty(userId) || string.IsNullOrEmpty(tweetId)) return null; + string url = $"{UserTweetDetailApiUrl}?user_id={userId}&tweet_uri={tweetId}&ssr=1"; try { - string url = $"{UserTweetDetailApiUrl}?user_id={userId}&tweet_uri={tweetId}&ssr=1"; using var request = new HttpRequestMessage(HttpMethod.Get, url); - request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"); - request.Headers.Add("Accept", "application/json, text/plain, */*"); - request.Headers.Referrer = new Uri($"{BaseUrl}/author/{userId}/manga/{tweetId}"); + ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/author/{userId}/manga/{tweetId}", isJson: true); using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead); if (response.IsSuccessStatusCode) @@ -294,7 +378,25 @@ internal static class skebetter } catch (Exception ex) { - LogManager.AddLog($"[警告] [skebetter] 個別詳細取得失敗 (tweet: {tweetId}): {ex.Message}"); + LogManager.AddLog($"[警告] [skebetter] 個別詳細通常取得失敗 (tweet: {tweetId}): {ex.Message}"); + } + + // FlareSolverr フォールバック + try + { + var flareJson = await CmnUtil.GetStringFlareSolverr(client, url); + if (!string.IsNullOrEmpty(flareJson)) + { + var result = JsonSerializer.Deserialize(flareJson, JsonOptions); + if (result?.Tweet != null && result.Tweet.Count > 1) + { + return result.Tweet; + } + } + } + catch (Exception ex) + { + LogManager.AddLog($"[警告] [skebetter] 個別詳細 FlareSolverr 取得失敗 (tweet: {tweetId}): {ex.Message}"); } return null;