feat: Skebetterの取得処理にFlareSolverrフォールバックを追加およびCmnUtilにGetStringFlareSolverrを実装

This commit is contained in:
armonica committed 2026-09-07 16:41:38 +09:00
1 parent a0158db108
commit 9cb9892cb3
2 files changed
+249 -35

No files matched your search

+112
View File
@@ -704,6 +704,118 @@ public class CmnUtil
}
}
/// <summary>
/// FlareSolverr 経由で対象 URL のレスポンス文字列(HTML または JSON)を取得します。
/// Chromium が JSON を表示した際の &lt;pre&gt;...&lt;/pre&gt; ラップも自動検出してアンラップ・HTMLデコードします。
/// </summary>
/// <param name="client">HttpClient インスタンス</param>
/// <param name="url">取得対象のURL</param>
/// <param name="flareSolverrEndpoint">FlareSolverrのエンドポイントURL(デフォルト: https://udukipc-flaresolverr.armonica-vps.work/v1)</param>
/// <param name="maxTimeout">FlareSolverr側の最大タイムアウトミリ秒(デフォルト: 60000ms)</param>
/// <param name="session">セッションID(セッションを再利用して高速化する場合に指定)</param>
/// <returns>レスポンス文字列(失敗時は null または空文字)</returns>
public static async Task<string?> GetStringFlareSolverr(
HttpClient client,
string url,
string flareSolverrEndpoint = "https://udukipc-flaresolverr.armonica-vps.work/v1",
int maxTimeout = 60000,
string? session = null)
{
await FlareSolverrSemaphore.WaitAsync();
try
{
const int maxRetries = 3;
string? currentSession = session;
for (int attempt = 1; attempt <= maxRetries; attempt++)
{
Console.WriteLine($"Fetching String via FlareSolverr (試行 {attempt}/{maxRetries}): {url}");
var payload = new FlareSolverrRequest
{
Cmd = "request.get",
Url = url,
MaxTimeout = maxTimeout,
Session = currentSession
};
using var request = new HttpRequestMessage(HttpMethod.Post, flareSolverrEndpoint)
{
Content = JsonContent.Create(payload, options: FlareSolverrJsonOptions)
};
try
{
using var response = await client.SendAsync(request);
var responseContent = await response.Content.ReadAsStringAsync();
if (!response.IsSuccessStatusCode)
{
LogManager.AddLog($"[警告] FlareSolverr HTTP失敗 (Status: {(int)response.StatusCode} {response.ReasonPhrase}, URL: {url}, Detail: {responseContent})");
if (currentSession != null)
{
LogManager.AddLog($"[情報] セッション {currentSession} を解除して次回セッションなしで再試行します。");
currentSession = null;
}
if (attempt < maxRetries)
{
await Task.Delay(attempt * 2500);
continue;
}
throw new HttpRequestException($"FlareSolverr サーバーエラー (Status: {(int)response.StatusCode}, Detail: {responseContent})");
}
var flareResponse = JsonSerializer.Deserialize<FlareSolverrResponse>(responseContent, FlareSolverrJsonOptions);
if (flareResponse == null)
{
throw new InvalidOperationException($"FlareSolverr レスポンスのデシリアライズ失敗: {url}");
}
if (!string.Equals(flareResponse.Status, "ok", StringComparison.OrdinalIgnoreCase))
{
string errorMsg = $"FlareSolverr エラー (Status: {flareResponse.Status}, Message: {flareResponse.Message}): {url}";
LogManager.AddLog($"[警告] {errorMsg}");
if (attempt < maxRetries)
{
currentSession = null;
await Task.Delay(attempt * 2500);
continue;
}
throw new InvalidOperationException(errorMsg);
}
string rawContent = flareResponse.Solution?.Response ?? string.Empty;
// Chromium が JSON を表示した際の <pre>...</pre> をアンラップ
var match = Regex.Match(rawContent, @"<pre[^>]*>(.*?)</pre>", RegexOptions.Singleline | RegexOptions.IgnoreCase);
if (match.Success)
{
return WebUtility.HtmlDecode(match.Groups[1].Value).Trim();
}
return rawContent;
}
catch (Exception ex) when (attempt < maxRetries && ex is not OperationCanceledException)
{
LogManager.AddLog($"[警告] FlareSolverr リクエスト再試行 (試行 {attempt}/{maxRetries}, URL: {url}): {ex.Message}");
currentSession = null;
await Task.Delay(attempt * 2500);
}
}
throw new InvalidOperationException($"FlareSolverr での取得が最大試行回数 ({maxRetries}回) を超えて失敗しました: {url}");
}
finally
{
FlareSolverrSemaphore.Release();
}
}
/// <summary>
/// FlareSolverr 経由で対象 URL の RSS/Atom フィードを取得し、SyndicationItem のコレクションを返します。
/// メモリ割り当ての最小化およびストリーム直接デシリアライズにより、メモリリーク防止と高速化を行っています。
+137 -35
View File
@@ -109,17 +109,37 @@ internal static class skebetter
}
/// <summary>
/// API から投稿リストを取得します。失敗した場合は Web ページの __NEXT_DATA__ からフォールバック取得します。
/// Chrome 相当の正規ブラウザヘッダーを設定します。
/// </summary>
private static void ApplyBrowserHeaders(HttpRequestMessage request, string? referrer = null, bool isJson = true)
{
request.Headers.UserAgent.Clear();
request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36");
request.Headers.Add("Accept", isJson ? "application/json, text/plain, */*" : "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8");
request.Headers.Add("Accept-Language", "ja,en-US;q=0.9,en;q=0.8");
request.Headers.Add("sec-ch-ua", "\"Not(A:Brand\";v=\"99\", \"Google Chrome\";v=\"133\", \"Chromium\";v=\"133\"");
request.Headers.Add("sec-ch-ua-mobile", "?0");
request.Headers.Add("sec-ch-ua-platform", "\"Windows\"");
request.Headers.Add("sec-fetch-dest", isJson ? "empty" : "document");
request.Headers.Add("sec-fetch-mode", isJson ? "cors" : "navigate");
request.Headers.Add("sec-fetch-site", "same-origin");
if (!string.IsNullOrEmpty(referrer))
{
request.Headers.Referrer = new Uri(referrer);
}
}
/// <summary>
/// API から投稿リストを取得します。失敗した場合は Web ページの __NEXT_DATA__、
/// それでも失敗した場合は FlareSolverr 経由でフォールバック取得します。
/// </summary>
private static async Task<List<SkebetterPost>> FetchPostsAsync(HttpClient client, string apiUrl, string pageUrl, bool isIllust)
{
// 1. API からの取得を試行
// 1. 通常 HttpClient による API 取得を試行
try
{
using var request = new HttpRequestMessage(HttpMethod.Get, apiUrl);
request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36");
request.Headers.Add("Accept", "application/json, text/plain, */*");
request.Headers.Referrer = new Uri(pageUrl);
ApplyBrowserHeaders(request, referrer: pageUrl, isJson: true);
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
if (response.IsSuccessStatusCode)
@@ -137,7 +157,7 @@ internal static class skebetter
}
else
{
LogManager.AddLog($"[警告] [skebetter] API 取得失敗 (Status: {response.StatusCode}): {apiUrl}。Web ページからの抽出を試みます。");
LogManager.AddLog($"[警告] [skebetter] API 取得失敗 (Status: {(int)response.StatusCode}): {apiUrl}。Web ページからの抽出を試みます。");
}
}
catch (Exception ex)
@@ -145,43 +165,92 @@ internal static class skebetter
LogManager.AddLog($"[警告] [skebetter] API リクエスト例外: {ex.Message}。Web ページからの抽出を試みます。");
}
// 2. フォールバック: Web ページの __NEXT_DATA__ からの抽出
// 2. フォールバック: 通常 HttpClient による Web ページの __NEXT_DATA__ からの抽出
try
{
using var pageRequest = new HttpRequestMessage(HttpMethod.Get, pageUrl);
pageRequest.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36");
pageRequest.Headers.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
ApplyBrowserHeaders(pageRequest, referrer: null, isJson: false);
using var pageResponse = await client.SendAsync(pageRequest, HttpCompletionOption.ResponseContentRead);
if (pageResponse.IsSuccessStatusCode)
{
var html = await pageResponse.Content.ReadAsStringAsync();
var match = Regex.Match(html, @"<script id=""__NEXT_DATA__"" type=""application/json"">(.*?)</script>", RegexOptions.Singleline);
if (match.Success)
var list = ExtractPostsFromNextData(html);
if (list != null && list.Count > 0)
{
var nextDataJson = match.Groups[1].Value;
var nextData = JsonSerializer.Deserialize<NextDataWrapper>(nextDataJson, JsonOptions);
var postsObj = nextData?.Props?.PageProps?.Posts;
if (postsObj != null)
{
var list = CombinePosts(postsObj);
if (list.Count > 0)
{
LogManager.AddLog($"[情報] [skebetter] Web ページの __NEXT_DATA__ から {list.Count} 件の投稿を抽出しました");
return list;
}
}
LogManager.AddLog($"[情報] [skebetter] Web ページの __NEXT_DATA__ から {list.Count} 件の投稿を抽出しました");
return list;
}
}
else
{
LogManager.AddLog($"[警告] [skebetter] Web ページ取得失敗 (Status: {(int)pageResponse.StatusCode}): {pageUrl}。");
}
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [skebetter] Web ページからの抽出例外: {ex.Message}");
}
// 3. フォールバック: Cloudflare ブロック(Status 520等)対策として FlareSolverr 経由で取得
try
{
LogManager.AddLog($"[情報] [skebetter] 通常リクエストでの取得に失敗したため、FlareSolverr 経由での取得を試行します: {apiUrl}");
var flareJson = await CmnUtil.GetStringFlareSolverr(client, apiUrl);
if (!string.IsNullOrEmpty(flareJson))
{
var apiResult = JsonSerializer.Deserialize<SkebetterApiResponse>(flareJson, JsonOptions);
if (apiResult != null)
{
var list = CombinePosts(apiResult);
if (list.Count > 0)
{
LogManager.AddLog($"[情報] [skebetter] FlareSolverr 経由で {list.Count} 件の投稿を取得しました");
return list;
}
}
}
// 万が一 API の取得が空だった場合、Web ページを FlareSolverr で取得して __NEXT_DATA__ をパース
LogManager.AddLog($"[情報] [skebetter] FlareSolverr 経由で Web ページからの抽出を試みます: {pageUrl}");
var flareHtml = await CmnUtil.GetStringFlareSolverr(client, pageUrl);
if (!string.IsNullOrEmpty(flareHtml))
{
var list = ExtractPostsFromNextData(flareHtml);
if (list != null && list.Count > 0)
{
LogManager.AddLog($"[情報] [skebetter] FlareSolverr 経由で Web ページから {list.Count} 件の投稿を抽出しました");
return list;
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] [skebetter] FlareSolverr フォールバック例外: {ex.Message}");
}
return new List<SkebetterPost>();
}
/// <summary>
/// HTML 内の &lt;script id="__NEXT_DATA__"&gt; から投稿リストを抽出します。
/// </summary>
private static List<SkebetterPost>? ExtractPostsFromNextData(string html)
{
var match = Regex.Match(html, @"<script id=""__NEXT_DATA__"" type=""application/json"">(.*?)</script>", RegexOptions.Singleline);
if (match.Success)
{
var nextDataJson = match.Groups[1].Value;
var nextData = JsonSerializer.Deserialize<NextDataWrapper>(nextDataJson, JsonOptions);
var postsObj = nextData?.Props?.PageProps?.Posts;
if (postsObj != null)
{
return CombinePosts(postsObj);
}
}
return null;
}
/// <summary>
/// API レスポンス内の tweet と series を統合し、重複を排除したリストを作成します。
/// </summary>
@@ -234,17 +303,15 @@ internal static class skebetter
}
/// <summary>
/// シリーズ作品の全ツイート・全ページ情報を API から取得します。
/// シリーズ作品の全ツイート・全ページ情報を API から取得します(失敗時は FlareSolverr フォールバック)。
/// </summary>
private static async Task<List<SkebetterPost>?> FetchSeriesTweetsAsync(HttpClient client, long seriesId)
{
string url = $"{SeriesDetailApiUrl}{seriesId}";
try
{
string url = $"{SeriesDetailApiUrl}{seriesId}";
using var request = new HttpRequestMessage(HttpMethod.Get, url);
request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36");
request.Headers.Add("Accept", "application/json, text/plain, */*");
request.Headers.Referrer = new Uri($"{BaseUrl}/series/{seriesId}");
ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/series/{seriesId}", isJson: true);
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
if (response.IsSuccessStatusCode)
@@ -260,26 +327,43 @@ internal static class skebetter
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [skebetter] シリーズ詳細取得失敗 (series_id: {seriesId}): {ex.Message}");
LogManager.AddLog($"[警告] [skebetter] シリーズ詳細通常取得失敗 (series_id: {seriesId}): {ex.Message}");
}
// FlareSolverr フォールバック
try
{
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
if (!string.IsNullOrEmpty(flareJson))
{
var result = JsonSerializer.Deserialize<MangaSeriesDetailResponse>(flareJson, JsonOptions);
var tweets = result?.Tweets?.Tweets;
if (tweets != null && tweets.Count > 0)
{
return tweets;
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [skebetter] シリーズ詳細 FlareSolverr 取得失敗 (series_id: {seriesId}): {ex.Message}");
}
return null;
}
/// <summary>
/// 通常作品のリプライツリー情報を API から取得します(複数ツイートがある場合)。
/// 通常作品のリプライツリー情報を API から取得します(複数ツイートがある場合、失敗時は FlareSolverr フォールバック)。
/// </summary>
private static async Task<List<SkebetterPost>?> FetchUserTweetDetailAsync(HttpClient client, string? userId, string? tweetId)
{
if (string.IsNullOrEmpty(userId) || string.IsNullOrEmpty(tweetId)) return null;
string url = $"{UserTweetDetailApiUrl}?user_id={userId}&tweet_uri={tweetId}&ssr=1";
try
{
string url = $"{UserTweetDetailApiUrl}?user_id={userId}&tweet_uri={tweetId}&ssr=1";
using var request = new HttpRequestMessage(HttpMethod.Get, url);
request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36");
request.Headers.Add("Accept", "application/json, text/plain, */*");
request.Headers.Referrer = new Uri($"{BaseUrl}/author/{userId}/manga/{tweetId}");
ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/author/{userId}/manga/{tweetId}", isJson: true);
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
if (response.IsSuccessStatusCode)
@@ -294,7 +378,25 @@ internal static class skebetter
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [skebetter] 個別詳細取得失敗 (tweet: {tweetId}): {ex.Message}");
LogManager.AddLog($"[警告] [skebetter] 個別詳細通常取得失敗 (tweet: {tweetId}): {ex.Message}");
}
// FlareSolverr フォールバック
try
{
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
if (!string.IsNullOrEmpty(flareJson))
{
var result = JsonSerializer.Deserialize<UserTweetDetailResponse>(flareJson, JsonOptions);
if (result?.Tweet != null && result.Tweet.Count > 1)
{
return result.Tweet;
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [skebetter] 個別詳細 FlareSolverr 取得失敗 (tweet: {tweetId}): {ex.Message}");
}
return null;