diff --git a/rss-generator/Class/Common/CmnUtil.cs b/rss-generator/Class/Common/CmnUtil.cs
index 7b2530b..eac0695 100644
--- a/rss-generator/Class/Common/CmnUtil.cs
+++ b/rss-generator/Class/Common/CmnUtil.cs
@@ -704,6 +704,118 @@ public class CmnUtil
}
}
+ ///
+ /// FlareSolverr 経由で対象 URL のレスポンス文字列(HTML または JSON)を取得します。
+ /// Chromium が JSON を表示した際の <pre>...</pre> ラップも自動検出してアンラップ・HTMLデコードします。
+ ///
+ /// HttpClient インスタンス
+ /// 取得対象のURL
+ /// FlareSolverrのエンドポイントURL(デフォルト: https://udukipc-flaresolverr.armonica-vps.work/v1)
+ /// FlareSolverr側の最大タイムアウトミリ秒(デフォルト: 60000ms)
+ /// セッションID(セッションを再利用して高速化する場合に指定)
+ /// レスポンス文字列(失敗時は null または空文字)
+ public static async Task GetStringFlareSolverr(
+ HttpClient client,
+ string url,
+ string flareSolverrEndpoint = "https://udukipc-flaresolverr.armonica-vps.work/v1",
+ int maxTimeout = 60000,
+ string? session = null)
+ {
+ await FlareSolverrSemaphore.WaitAsync();
+ try
+ {
+ const int maxRetries = 3;
+ string? currentSession = session;
+
+ for (int attempt = 1; attempt <= maxRetries; attempt++)
+ {
+ Console.WriteLine($"Fetching String via FlareSolverr (試行 {attempt}/{maxRetries}): {url}");
+
+ var payload = new FlareSolverrRequest
+ {
+ Cmd = "request.get",
+ Url = url,
+ MaxTimeout = maxTimeout,
+ Session = currentSession
+ };
+
+ using var request = new HttpRequestMessage(HttpMethod.Post, flareSolverrEndpoint)
+ {
+ Content = JsonContent.Create(payload, options: FlareSolverrJsonOptions)
+ };
+
+ try
+ {
+ using var response = await client.SendAsync(request);
+ var responseContent = await response.Content.ReadAsStringAsync();
+
+ if (!response.IsSuccessStatusCode)
+ {
+ LogManager.AddLog($"[警告] FlareSolverr HTTP失敗 (Status: {(int)response.StatusCode} {response.ReasonPhrase}, URL: {url}, Detail: {responseContent})");
+
+ if (currentSession != null)
+ {
+ LogManager.AddLog($"[情報] セッション {currentSession} を解除して次回セッションなしで再試行します。");
+ currentSession = null;
+ }
+
+ if (attempt < maxRetries)
+ {
+ await Task.Delay(attempt * 2500);
+ continue;
+ }
+
+ throw new HttpRequestException($"FlareSolverr サーバーエラー (Status: {(int)response.StatusCode}, Detail: {responseContent})");
+ }
+
+ var flareResponse = JsonSerializer.Deserialize(responseContent, FlareSolverrJsonOptions);
+ if (flareResponse == null)
+ {
+ throw new InvalidOperationException($"FlareSolverr レスポンスのデシリアライズ失敗: {url}");
+ }
+
+ if (!string.Equals(flareResponse.Status, "ok", StringComparison.OrdinalIgnoreCase))
+ {
+ string errorMsg = $"FlareSolverr エラー (Status: {flareResponse.Status}, Message: {flareResponse.Message}): {url}";
+ LogManager.AddLog($"[警告] {errorMsg}");
+
+ if (attempt < maxRetries)
+ {
+ currentSession = null;
+ await Task.Delay(attempt * 2500);
+ continue;
+ }
+
+ throw new InvalidOperationException(errorMsg);
+ }
+
+ string rawContent = flareResponse.Solution?.Response ?? string.Empty;
+
+ // Chromium が JSON を表示した際の ...
をアンラップ
+ var match = Regex.Match(rawContent, @"]*>(.*?)
", RegexOptions.Singleline | RegexOptions.IgnoreCase);
+ if (match.Success)
+ {
+ return WebUtility.HtmlDecode(match.Groups[1].Value).Trim();
+ }
+
+ return rawContent;
+ }
+ catch (Exception ex) when (attempt < maxRetries && ex is not OperationCanceledException)
+ {
+ LogManager.AddLog($"[警告] FlareSolverr リクエスト再試行 (試行 {attempt}/{maxRetries}, URL: {url}): {ex.Message}");
+ currentSession = null;
+ await Task.Delay(attempt * 2500);
+ }
+ }
+
+ throw new InvalidOperationException($"FlareSolverr での取得が最大試行回数 ({maxRetries}回) を超えて失敗しました: {url}");
+ }
+ finally
+ {
+ FlareSolverrSemaphore.Release();
+ }
+ }
+
///
/// FlareSolverr 経由で対象 URL の RSS/Atom フィードを取得し、SyndicationItem のコレクションを返します。
/// メモリ割り当ての最小化およびストリーム直接デシリアライズにより、メモリリーク防止と高速化を行っています。
diff --git a/rss-generator/Class/Skebetter/skebetter.cs b/rss-generator/Class/Skebetter/skebetter.cs
index 4c0dfa0..0734274 100644
--- a/rss-generator/Class/Skebetter/skebetter.cs
+++ b/rss-generator/Class/Skebetter/skebetter.cs
@@ -109,17 +109,37 @@ internal static class skebetter
}
///
- /// API から投稿リストを取得します。失敗した場合は Web ページの __NEXT_DATA__ からフォールバック取得します。
+ /// Chrome 相当の正規ブラウザヘッダーを設定します。
+ ///
+ private static void ApplyBrowserHeaders(HttpRequestMessage request, string? referrer = null, bool isJson = true)
+ {
+ request.Headers.UserAgent.Clear();
+ request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36");
+ request.Headers.Add("Accept", isJson ? "application/json, text/plain, */*" : "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8");
+ request.Headers.Add("Accept-Language", "ja,en-US;q=0.9,en;q=0.8");
+ request.Headers.Add("sec-ch-ua", "\"Not(A:Brand\";v=\"99\", \"Google Chrome\";v=\"133\", \"Chromium\";v=\"133\"");
+ request.Headers.Add("sec-ch-ua-mobile", "?0");
+ request.Headers.Add("sec-ch-ua-platform", "\"Windows\"");
+ request.Headers.Add("sec-fetch-dest", isJson ? "empty" : "document");
+ request.Headers.Add("sec-fetch-mode", isJson ? "cors" : "navigate");
+ request.Headers.Add("sec-fetch-site", "same-origin");
+ if (!string.IsNullOrEmpty(referrer))
+ {
+ request.Headers.Referrer = new Uri(referrer);
+ }
+ }
+
+ ///
+ /// API から投稿リストを取得します。失敗した場合は Web ページの __NEXT_DATA__、
+ /// それでも失敗した場合は FlareSolverr 経由でフォールバック取得します。
///
private static async Task> FetchPostsAsync(HttpClient client, string apiUrl, string pageUrl, bool isIllust)
{
- // 1. API からの取得を試行
+ // 1. 通常 HttpClient による API 取得を試行
try
{
using var request = new HttpRequestMessage(HttpMethod.Get, apiUrl);
- request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36");
- request.Headers.Add("Accept", "application/json, text/plain, */*");
- request.Headers.Referrer = new Uri(pageUrl);
+ ApplyBrowserHeaders(request, referrer: pageUrl, isJson: true);
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
if (response.IsSuccessStatusCode)
@@ -137,7 +157,7 @@ internal static class skebetter
}
else
{
- LogManager.AddLog($"[警告] [skebetter] API 取得失敗 (Status: {response.StatusCode}): {apiUrl}。Web ページからの抽出を試みます。");
+ LogManager.AddLog($"[警告] [skebetter] API 取得失敗 (Status: {(int)response.StatusCode}): {apiUrl}。Web ページからの抽出を試みます。");
}
}
catch (Exception ex)
@@ -145,43 +165,92 @@ internal static class skebetter
LogManager.AddLog($"[警告] [skebetter] API リクエスト例外: {ex.Message}。Web ページからの抽出を試みます。");
}
- // 2. フォールバック: Web ページの __NEXT_DATA__ からの抽出
+ // 2. フォールバック: 通常 HttpClient による Web ページの __NEXT_DATA__ からの抽出
try
{
using var pageRequest = new HttpRequestMessage(HttpMethod.Get, pageUrl);
- pageRequest.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36");
- pageRequest.Headers.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
+ ApplyBrowserHeaders(pageRequest, referrer: null, isJson: false);
using var pageResponse = await client.SendAsync(pageRequest, HttpCompletionOption.ResponseContentRead);
if (pageResponse.IsSuccessStatusCode)
{
var html = await pageResponse.Content.ReadAsStringAsync();
- var match = Regex.Match(html, @"", RegexOptions.Singleline);
- if (match.Success)
+ var list = ExtractPostsFromNextData(html);
+ if (list != null && list.Count > 0)
{
- var nextDataJson = match.Groups[1].Value;
- var nextData = JsonSerializer.Deserialize(nextDataJson, JsonOptions);
- var postsObj = nextData?.Props?.PageProps?.Posts;
- if (postsObj != null)
- {
- var list = CombinePosts(postsObj);
- if (list.Count > 0)
- {
- LogManager.AddLog($"[情報] [skebetter] Web ページの __NEXT_DATA__ から {list.Count} 件の投稿を抽出しました");
- return list;
- }
- }
+ LogManager.AddLog($"[情報] [skebetter] Web ページの __NEXT_DATA__ から {list.Count} 件の投稿を抽出しました");
+ return list;
}
}
+ else
+ {
+ LogManager.AddLog($"[警告] [skebetter] Web ページ取得失敗 (Status: {(int)pageResponse.StatusCode}): {pageUrl}。");
+ }
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [skebetter] Web ページからの抽出例外: {ex.Message}");
}
+ // 3. フォールバック: Cloudflare ブロック(Status 520等)対策として FlareSolverr 経由で取得
+ try
+ {
+ LogManager.AddLog($"[情報] [skebetter] 通常リクエストでの取得に失敗したため、FlareSolverr 経由での取得を試行します: {apiUrl}");
+ var flareJson = await CmnUtil.GetStringFlareSolverr(client, apiUrl);
+ if (!string.IsNullOrEmpty(flareJson))
+ {
+ var apiResult = JsonSerializer.Deserialize(flareJson, JsonOptions);
+ if (apiResult != null)
+ {
+ var list = CombinePosts(apiResult);
+ if (list.Count > 0)
+ {
+ LogManager.AddLog($"[情報] [skebetter] FlareSolverr 経由で {list.Count} 件の投稿を取得しました");
+ return list;
+ }
+ }
+ }
+
+ // 万が一 API の取得が空だった場合、Web ページを FlareSolverr で取得して __NEXT_DATA__ をパース
+ LogManager.AddLog($"[情報] [skebetter] FlareSolverr 経由で Web ページからの抽出を試みます: {pageUrl}");
+ var flareHtml = await CmnUtil.GetStringFlareSolverr(client, pageUrl);
+ if (!string.IsNullOrEmpty(flareHtml))
+ {
+ var list = ExtractPostsFromNextData(flareHtml);
+ if (list != null && list.Count > 0)
+ {
+ LogManager.AddLog($"[情報] [skebetter] FlareSolverr 経由で Web ページから {list.Count} 件の投稿を抽出しました");
+ return list;
+ }
+ }
+ }
+ catch (Exception ex)
+ {
+ LogManager.AddLog($"[エラー] [skebetter] FlareSolverr フォールバック例外: {ex.Message}");
+ }
+
return new List();
}
+ ///
+ /// HTML 内の <script id="__NEXT_DATA__"> から投稿リストを抽出します。
+ ///
+ private static List? ExtractPostsFromNextData(string html)
+ {
+ var match = Regex.Match(html, @"", RegexOptions.Singleline);
+ if (match.Success)
+ {
+ var nextDataJson = match.Groups[1].Value;
+ var nextData = JsonSerializer.Deserialize(nextDataJson, JsonOptions);
+ var postsObj = nextData?.Props?.PageProps?.Posts;
+ if (postsObj != null)
+ {
+ return CombinePosts(postsObj);
+ }
+ }
+ return null;
+ }
+
///
/// API レスポンス内の tweet と series を統合し、重複を排除したリストを作成します。
///
@@ -234,17 +303,15 @@ internal static class skebetter
}
///
- /// シリーズ作品の全ツイート・全ページ情報を API から取得します。
+ /// シリーズ作品の全ツイート・全ページ情報を API から取得します(失敗時は FlareSolverr フォールバック)。
///
private static async Task?> FetchSeriesTweetsAsync(HttpClient client, long seriesId)
{
+ string url = $"{SeriesDetailApiUrl}{seriesId}";
try
{
- string url = $"{SeriesDetailApiUrl}{seriesId}";
using var request = new HttpRequestMessage(HttpMethod.Get, url);
- request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36");
- request.Headers.Add("Accept", "application/json, text/plain, */*");
- request.Headers.Referrer = new Uri($"{BaseUrl}/series/{seriesId}");
+ ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/series/{seriesId}", isJson: true);
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
if (response.IsSuccessStatusCode)
@@ -260,26 +327,43 @@ internal static class skebetter
}
catch (Exception ex)
{
- LogManager.AddLog($"[警告] [skebetter] シリーズ詳細取得失敗 (series_id: {seriesId}): {ex.Message}");
+ LogManager.AddLog($"[警告] [skebetter] シリーズ詳細通常取得失敗 (series_id: {seriesId}): {ex.Message}");
+ }
+
+ // FlareSolverr フォールバック
+ try
+ {
+ var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
+ if (!string.IsNullOrEmpty(flareJson))
+ {
+ var result = JsonSerializer.Deserialize(flareJson, JsonOptions);
+ var tweets = result?.Tweets?.Tweets;
+ if (tweets != null && tweets.Count > 0)
+ {
+ return tweets;
+ }
+ }
+ }
+ catch (Exception ex)
+ {
+ LogManager.AddLog($"[警告] [skebetter] シリーズ詳細 FlareSolverr 取得失敗 (series_id: {seriesId}): {ex.Message}");
}
return null;
}
///
- /// 通常作品のリプライツリー情報を API から取得します(複数ツイートがある場合)。
+ /// 通常作品のリプライツリー情報を API から取得します(複数ツイートがある場合、失敗時は FlareSolverr フォールバック)。
///
private static async Task?> FetchUserTweetDetailAsync(HttpClient client, string? userId, string? tweetId)
{
if (string.IsNullOrEmpty(userId) || string.IsNullOrEmpty(tweetId)) return null;
+ string url = $"{UserTweetDetailApiUrl}?user_id={userId}&tweet_uri={tweetId}&ssr=1";
try
{
- string url = $"{UserTweetDetailApiUrl}?user_id={userId}&tweet_uri={tweetId}&ssr=1";
using var request = new HttpRequestMessage(HttpMethod.Get, url);
- request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36");
- request.Headers.Add("Accept", "application/json, text/plain, */*");
- request.Headers.Referrer = new Uri($"{BaseUrl}/author/{userId}/manga/{tweetId}");
+ ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/author/{userId}/manga/{tweetId}", isJson: true);
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
if (response.IsSuccessStatusCode)
@@ -294,7 +378,25 @@ internal static class skebetter
}
catch (Exception ex)
{
- LogManager.AddLog($"[警告] [skebetter] 個別詳細取得失敗 (tweet: {tweetId}): {ex.Message}");
+ LogManager.AddLog($"[警告] [skebetter] 個別詳細通常取得失敗 (tweet: {tweetId}): {ex.Message}");
+ }
+
+ // FlareSolverr フォールバック
+ try
+ {
+ var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
+ if (!string.IsNullOrEmpty(flareJson))
+ {
+ var result = JsonSerializer.Deserialize(flareJson, JsonOptions);
+ if (result?.Tweet != null && result.Tweet.Count > 1)
+ {
+ return result.Tweet;
+ }
+ }
+ }
+ catch (Exception ex)
+ {
+ LogManager.AddLog($"[警告] [skebetter] 個別詳細 FlareSolverr 取得失敗 (tweet: {tweetId}): {ex.Message}");
}
return null;