feat: EroterestCrawlerの探索10階層化・403時FlareSolverr対応、skebetterの常時FlareSolverr化、タグ別RSS生成およびキーワードcategory追加
This commit is contained in:
1 parent
ca164a4ef2
commit
63fd421550
6 files changed
+283
-153
No files matched your search
@@ -554,6 +554,12 @@ public class CmnUtil
|
||||
linkedCts.CancelAfter(TimeSpan.FromSeconds(15)); // ハング防止の最大15秒タイムアウト
|
||||
|
||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, linkedCts.Token);
|
||||
// 403 Forbidden が返された場合は自動的に FlareSolverr 経由で取得
|
||||
if (response.StatusCode == HttpStatusCode.Forbidden)
|
||||
{
|
||||
LogManager.AddLog($"[情報] [CmnUtil] 403 Forbidden を検知したため、FlareSolverr 経由で取得します: {pageURL}");
|
||||
return await GetDocumentFlareSolverr(client, pageURL);
|
||||
}
|
||||
response.EnsureSuccessStatusCode();
|
||||
|
||||
await using var stream = await response.Content.ReadAsStreamAsync(linkedCts.Token);
|
||||
|
||||
@@ -50,7 +50,7 @@ internal static class EroterestCrawler
|
||||
context.TraversedRoute.Add(currentUrl);
|
||||
|
||||
using var timeoutCts = CancellationTokenSource.CreateLinkedTokenSource(ct);
|
||||
timeoutCts.CancelAfter(TimeSpan.FromSeconds(8));
|
||||
timeoutCts.CancelAfter(TimeSpan.FromSeconds(30)); // FlareSolverr 実行時も余裕を持たせるため30秒に設定
|
||||
|
||||
try
|
||||
{
|
||||
|
||||
@@ -46,6 +46,16 @@ internal static class MovieEroterestConfig
|
||||
{ "巨乳", "https://movie.eroterest.net/?c=%E5%B7%A8%E4%B9%B3" }
|
||||
};
|
||||
|
||||
/// <summary>
|
||||
/// カテゴリ(タグ)別RSSの出力サブディレクトリ名
|
||||
/// </summary>
|
||||
public const string CategorySubDir = "categories";
|
||||
|
||||
/// <summary>
|
||||
/// 各カテゴリ(タグ)別フィードで保持・出力する最大記事数
|
||||
/// </summary>
|
||||
public const int MaxArticlesPerCategoryFeed = 50;
|
||||
|
||||
/// <summary>
|
||||
/// 各フィードで取得する最大記事数
|
||||
/// </summary>
|
||||
@@ -62,12 +72,12 @@ internal static class MovieEroterestConfig
|
||||
public const bool PreferOriginalVideoDateOverArticleDate = false;
|
||||
|
||||
/// <summary>
|
||||
/// 1記事あたりの動画探索における最大リンク階層深度(デフォルト: 3階層まで深掘り)
|
||||
/// 1記事あたりの動画探索における最大リンク階層深度(10階層まで深掘り)
|
||||
/// </summary>
|
||||
public const int MaxCrawlDepth = 3;
|
||||
public const int MaxCrawlDepth = 10;
|
||||
|
||||
/// <summary>
|
||||
/// 1記事あたりの動画探索で訪問する最大ページ数(過剰クロール防止)
|
||||
/// </summary>
|
||||
public const int MaxCrawledPagesPerArticle = 10;
|
||||
public const int MaxCrawledPagesPerArticle = 30;
|
||||
}
|
||||
@@ -10,17 +10,18 @@ using System.ServiceModel.Syndication;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
using System.Xml;
|
||||
|
||||
namespace rss_generator.Class.Eroterest;
|
||||
|
||||
/// <summary>
|
||||
/// movie.eroterest.net の RSS フィード生成・管理を行うクラス
|
||||
/// 出力先: output/movie.eroterest.net/ (all.xml, popular.xml, categories/*.xml)
|
||||
/// 出力先: output/movie.eroterest.net/ (all.xml, popular.xml, categories/{タグ名}.xml)
|
||||
/// </summary>
|
||||
internal static class MovieEroterestFeedManager
|
||||
{
|
||||
/// <summary>
|
||||
/// movie.eroterest.net の全フィード(新着、人気、各カテゴリ)を生成します。
|
||||
/// movie.eroterest.net の全フィード(新着、人気、各記事タグ別フィード)を生成します。
|
||||
/// </summary>
|
||||
public static async Task CreateAllRSSAsync(HttpClient client)
|
||||
{
|
||||
@@ -29,16 +30,28 @@ internal static class MovieEroterestFeedManager
|
||||
|
||||
try
|
||||
{
|
||||
// 全記事キャッシュ(URL をキーとして新着・人気から取得した全記事情報を集約)
|
||||
var allArticles = new Dictionary<string, (SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info)>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
// 1. 新着動画フィード (all.xml)
|
||||
try
|
||||
{
|
||||
await GenerateFeedFromPageAsync(
|
||||
var newVideos = await GenerateFeedFromPageAsync(
|
||||
client,
|
||||
MovieEroterestConfig.NewVideosUrl,
|
||||
"all.xml",
|
||||
"動画エロタレスト - 新着エロ動画",
|
||||
"動画エロタレストの最新新着エロ動画一覧(WebImageViewer対応)",
|
||||
subDir: MovieEroterestConfig.OutputSubDir);
|
||||
|
||||
foreach (var entry in newVideos)
|
||||
{
|
||||
var key = entry.Info.ArticlePageUrl;
|
||||
if (!string.IsNullOrWhiteSpace(key))
|
||||
{
|
||||
allArticles[key] = (entry.Item, entry.Info);
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
@@ -48,42 +61,30 @@ internal static class MovieEroterestFeedManager
|
||||
// 2. 人気動画フィード (popular.xml)
|
||||
try
|
||||
{
|
||||
await GenerateFeedFromPageAsync(
|
||||
var popularVideos = await GenerateFeedFromPageAsync(
|
||||
client,
|
||||
MovieEroterestConfig.PopularVideosUrl,
|
||||
"popular.xml",
|
||||
"動画エロタレスト - 今日の人気動画",
|
||||
"動画エロタレストの今日人気ランキング動画一覧(WebImageViewer対応)",
|
||||
subDir: MovieEroterestConfig.OutputSubDir);
|
||||
|
||||
foreach (var entry in popularVideos)
|
||||
{
|
||||
var key = entry.Info.ArticlePageUrl;
|
||||
if (!string.IsNullOrWhiteSpace(key) && !allArticles.ContainsKey(key))
|
||||
{
|
||||
allArticles[key] = (entry.Item, entry.Info);
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [movie.eroterest.net] 人気フィード生成失敗: {ex.Message}");
|
||||
}
|
||||
|
||||
// 3. 主要カテゴリ・チャンネル別フィード (categories/{category}.xml)
|
||||
var categorySubDir = Path.Combine(MovieEroterestConfig.OutputSubDir, "categories");
|
||||
foreach (var kvp in MovieEroterestConfig.Categories)
|
||||
{
|
||||
var categoryName = kvp.Key;
|
||||
var categoryUrl = kvp.Value;
|
||||
var fileName = $"{categoryName}.xml";
|
||||
|
||||
try
|
||||
{
|
||||
await GenerateFeedFromPageAsync(
|
||||
client,
|
||||
categoryUrl,
|
||||
fileName,
|
||||
$"動画エロタレスト - {categoryName}",
|
||||
$"動画エロタレストの「{categoryName}」チャンネル動画一覧(WebImageViewer対応)",
|
||||
subDir: categorySubDir);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [movie.eroterest.net] カテゴリフィード生成失敗 ({categoryName}): {ex.Message}");
|
||||
}
|
||||
}
|
||||
// 3. 記事から取得した全タグに基づくカテゴリ別フィード (categories/{タグ名}.xml)
|
||||
await GenerateTagFeedsAsync(client, allArticles.Values);
|
||||
|
||||
sw.Stop();
|
||||
LogManager.AddLog($"[情報] 【movie.eroterest.net】 全フィード出力完了 ({sw.Elapsed.TotalSeconds:0.##}秒)");
|
||||
@@ -96,9 +97,79 @@ internal static class MovieEroterestFeedManager
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 指定されたページURLから記事一覧を取得・探索し、RSSフィードを出力します。
|
||||
/// 取得した全記事のタグを網羅的に抽出し、各タグについての RSS フィード (categories/{タグ名}.xml) を生成・蓄積します。
|
||||
/// </summary>
|
||||
private static async Task GenerateFeedFromPageAsync(
|
||||
private static async Task GenerateTagFeedsAsync(
|
||||
HttpClient client,
|
||||
IEnumerable<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info)> articleEntries)
|
||||
{
|
||||
var articlesList = articleEntries.ToList();
|
||||
if (articlesList.Count == 0)
|
||||
{
|
||||
LogManager.AddLog("[警告] [movie.eroterest.net] タグ別フィード生成対象の記事が存在しません");
|
||||
return;
|
||||
}
|
||||
|
||||
// 全記事からタグを収集(重複除外)
|
||||
var allTags = articlesList
|
||||
.SelectMany(a => a.Info.Tags)
|
||||
.Where(t => !string.IsNullOrWhiteSpace(t))
|
||||
.Select(t => t.Trim())
|
||||
.Distinct(StringComparer.OrdinalIgnoreCase)
|
||||
.OrderBy(t => t)
|
||||
.ToList();
|
||||
|
||||
LogManager.AddLog($"[情報] 【movie.eroterest.net】 記事から抽出されたユニークなタグ数: {allTags.Count} 件");
|
||||
|
||||
var categorySubDir = Path.Combine(MovieEroterestConfig.OutputSubDir, MovieEroterestConfig.CategorySubDir);
|
||||
int successCount = 0;
|
||||
|
||||
foreach (var tag in allTags)
|
||||
{
|
||||
var safeTagName = SanitizeFileName(tag);
|
||||
if (string.IsNullOrWhiteSpace(safeTagName)) continue;
|
||||
|
||||
var fileName = $"{safeTagName}.xml";
|
||||
|
||||
// 今回取得した記事の中でそのタグを持つアイテム
|
||||
var matchingItems = articlesList
|
||||
.Where(a => a.Info.Tags.Any(t => string.Equals(t.Trim(), tag, StringComparison.OrdinalIgnoreCase)))
|
||||
.Select(a => a.Item)
|
||||
.ToList();
|
||||
|
||||
if (matchingItems.Count == 0) continue;
|
||||
|
||||
try
|
||||
{
|
||||
// 既存の XML ファイルがあれば読み込み、新着アイテムとマージして蓄積
|
||||
var existingItems = LoadExistingFeedItems(fileName, categorySubDir);
|
||||
var mergedItems = MergeFeedItems(matchingItems, existingItems, MovieEroterestConfig.MaxArticlesPerCategoryFeed);
|
||||
|
||||
var feed = new SyndicationFeed(
|
||||
$"動画エロタレスト - {tag}",
|
||||
$"動画エロタレストの「{tag}」タグ動画一覧(WebImageViewer対応)",
|
||||
new Uri($"https://movie.eroterest.net/?word={Uri.EscapeDataString(tag)}")
|
||||
)
|
||||
{
|
||||
Items = mergedItems
|
||||
};
|
||||
|
||||
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, addDir: categorySubDir, embedBase64: false, filter24Hours: false);
|
||||
successCount++;
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [movie.eroterest.net] タグ別フィード生成失敗 ({tag}): {ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
LogManager.AddLog($"[情報] 【movie.eroterest.net】 カテゴリ(タグ)別フィード出力完了: {successCount}/{allTags.Count} 件成功");
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 指定されたページURLから記事一覧を取得・探索し、RSSフィードを出力します。また、解析された記事一覧を返します。
|
||||
/// </summary>
|
||||
private static async Task<List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>> GenerateFeedFromPageAsync(
|
||||
HttpClient client,
|
||||
string pageUrl,
|
||||
string outputFileName,
|
||||
@@ -106,11 +177,13 @@ internal static class MovieEroterestFeedManager
|
||||
string feedDescription,
|
||||
string subDir)
|
||||
{
|
||||
var resultList = new List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>();
|
||||
|
||||
var doc = await CmnUtil.GetDocument(client, pageUrl);
|
||||
if (doc == null)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [movie.eroterest.net] ページ取得失敗: {pageUrl}");
|
||||
return;
|
||||
return resultList;
|
||||
}
|
||||
|
||||
// 記事カード一覧の抽出
|
||||
@@ -118,7 +191,7 @@ internal static class MovieEroterestFeedManager
|
||||
if (itemElements.Length == 0)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [movie.eroterest.net] 記事要素が見つかりませんでした: {pageUrl}");
|
||||
return;
|
||||
return resultList;
|
||||
}
|
||||
|
||||
var feed = new SyndicationFeed(
|
||||
@@ -184,7 +257,7 @@ internal static class MovieEroterestFeedManager
|
||||
|
||||
// 同時並行数を制御して各記事の詳細と動画探索を実行
|
||||
using var semaphore = new SemaphoreSlim(MovieEroterestConfig.MaxParallelTasks);
|
||||
var syndicationEntries = new List<(SyndicationItem Item, int Order)>();
|
||||
var syndicationEntries = new List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>();
|
||||
|
||||
var tasks = preliminaryItems.Select(async item =>
|
||||
{
|
||||
@@ -207,7 +280,7 @@ internal static class MovieEroterestFeedManager
|
||||
var synItem = MovieEroterestVideoParser.CreateSyndicationItem(articleInfo);
|
||||
lock (syndicationEntries)
|
||||
{
|
||||
syndicationEntries.Add((synItem, item.Order));
|
||||
syndicationEntries.Add((synItem, articleInfo, item.Order));
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -224,13 +297,139 @@ internal static class MovieEroterestFeedManager
|
||||
await Task.WhenAll(tasks);
|
||||
|
||||
// 公開日時順(同日時の場合は一覧の掲載順を維持)にソート
|
||||
feed.Items = syndicationEntries
|
||||
var sortedEntries = syndicationEntries
|
||||
.OrderByDescending(e => e.Item.PublishDate)
|
||||
.ThenBy(e => e.Order)
|
||||
.Select(e => e.Item)
|
||||
.ToList();
|
||||
|
||||
feed.Items = sortedEntries.Select(e => e.Item).ToList();
|
||||
|
||||
// XML ファイルへ出力 (filter24Hours: false で直近取得分を確実に出力)
|
||||
await CmnUtil.ExportXMLFileAsync(outputFileName, feed, client, addDir: subDir, embedBase64: false, filter24Hours: false);
|
||||
|
||||
return sortedEntries;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// ファイル名として使用できない不正な文字をサニタイズします。
|
||||
/// </summary>
|
||||
private static string SanitizeFileName(string name)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(name)) return string.Empty;
|
||||
var invalidChars = Path.GetInvalidFileNameChars();
|
||||
var clean = string.Concat(name.Select(c => invalidChars.Contains(c) ? '_' : c));
|
||||
return clean.Trim();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 既存のXMLファイルから SyndicationItem を読み込みます。
|
||||
/// </summary>
|
||||
private static List<SyndicationItem> LoadExistingFeedItems(string fileName, string subDir)
|
||||
{
|
||||
var items = new List<SyndicationItem>();
|
||||
var filePath = CmnUtil.GetExportXmlPath(fileName, subDir);
|
||||
if (!File.Exists(filePath)) return items;
|
||||
|
||||
try
|
||||
{
|
||||
using var reader = XmlReader.Create(filePath);
|
||||
var feed = SyndicationFeed.Load(reader);
|
||||
if (feed?.Items != null)
|
||||
{
|
||||
foreach (var originalItem in feed.Items)
|
||||
{
|
||||
items.Add(CloneSyndicationItem(originalItem));
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [movie.eroterest.net] 既存フィード読み込み失敗 ({fileName}): {ex.Message}");
|
||||
}
|
||||
return items;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 新着アイテムと既存アイテムをマージし、重複を排除して公開日時順にソートします。
|
||||
/// </summary>
|
||||
private static List<SyndicationItem> MergeFeedItems(
|
||||
IEnumerable<SyndicationItem> newItems,
|
||||
IEnumerable<SyndicationItem> existingItems,
|
||||
int maxCount)
|
||||
{
|
||||
var merged = new Dictionary<string, SyndicationItem>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
// 1. 既存アイテムを追加
|
||||
foreach (var item in existingItems)
|
||||
{
|
||||
var key = GetItemKey(item);
|
||||
if (!string.IsNullOrWhiteSpace(key))
|
||||
{
|
||||
merged[key] = item;
|
||||
}
|
||||
}
|
||||
|
||||
// 2. 新着アイテムで上書き・追加(最新の詳細情報を優先)
|
||||
foreach (var item in newItems)
|
||||
{
|
||||
var key = GetItemKey(item);
|
||||
if (!string.IsNullOrWhiteSpace(key))
|
||||
{
|
||||
merged[key] = item;
|
||||
}
|
||||
}
|
||||
|
||||
// 3. 公開日降順でソート
|
||||
return merged.Values
|
||||
.OrderByDescending(i => i.PublishDate != DateTimeOffset.MinValue ? i.PublishDate : i.LastUpdatedTime)
|
||||
.Take(maxCount)
|
||||
.ToList();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// SyndicationItem の一意キーを取得します(GUID またはリンクURL)。
|
||||
/// </summary>
|
||||
private static string GetItemKey(SyndicationItem item)
|
||||
{
|
||||
if (!string.IsNullOrWhiteSpace(item.Id))
|
||||
{
|
||||
return item.Id;
|
||||
}
|
||||
var link = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||
if (!string.IsNullOrWhiteSpace(link))
|
||||
{
|
||||
return link;
|
||||
}
|
||||
return item.Title?.Text ?? Guid.NewGuid().ToString();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 既存の SyndicationItem から不要な名前空間や競合属性を除去したクローンを作成します。
|
||||
/// </summary>
|
||||
private static SyndicationItem CloneSyndicationItem(SyndicationItem original)
|
||||
{
|
||||
var link = original.Links.FirstOrDefault()?.Uri;
|
||||
var clone = new SyndicationItem(
|
||||
original.Title?.Text ?? string.Empty,
|
||||
string.Empty,
|
||||
link,
|
||||
original.Id ?? (link?.ToString() ?? Guid.NewGuid().ToString()),
|
||||
original.PublishDate != DateTimeOffset.MinValue ? original.PublishDate : original.LastUpdatedTime
|
||||
)
|
||||
{
|
||||
PublishDate = original.PublishDate != DateTimeOffset.MinValue ? original.PublishDate : original.LastUpdatedTime,
|
||||
LastUpdatedTime = original.LastUpdatedTime != DateTimeOffset.MinValue ? original.LastUpdatedTime : original.PublishDate,
|
||||
Summary = original.Summary
|
||||
};
|
||||
|
||||
foreach (var category in original.Categories)
|
||||
{
|
||||
if (!string.IsNullOrWhiteSpace(category.Name))
|
||||
{
|
||||
clone.Categories.Add(new SyndicationCategory(category.Name.Trim()));
|
||||
}
|
||||
}
|
||||
|
||||
return clone;
|
||||
}
|
||||
}
|
||||
@@ -542,18 +542,37 @@ internal static class MovieEroterestVideoParser
|
||||
LastUpdatedTime = info.PublishDate
|
||||
};
|
||||
|
||||
// カテゴリの追加
|
||||
if (!string.IsNullOrWhiteSpace(info.Provider))
|
||||
// カテゴリの追加(重複排除し、キーワードも漏れなく追加)
|
||||
var seenCategories = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
void AddCategory(string? name)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(info.Provider));
|
||||
var trimmed = name?.Trim();
|
||||
if (!string.IsNullOrWhiteSpace(trimmed) && seenCategories.Add(trimmed))
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(trimmed));
|
||||
}
|
||||
}
|
||||
|
||||
// 配信元プロバイダ
|
||||
AddCategory(info.Provider);
|
||||
|
||||
// タグ
|
||||
foreach (var tag in info.Tags)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(tag));
|
||||
AddCategory(tag);
|
||||
}
|
||||
|
||||
// 出演女優
|
||||
foreach (var actress in info.Actresses)
|
||||
{
|
||||
item.Categories.Add(new SyndicationCategory(actress));
|
||||
AddCategory(actress);
|
||||
}
|
||||
|
||||
// キーワード(重複しないように追加)
|
||||
foreach (var word in info.Words)
|
||||
{
|
||||
AddCategory(word);
|
||||
}
|
||||
|
||||
// Summary HTML の設定
|
||||
|
||||
@@ -130,72 +130,13 @@ internal static class skebetter
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// API から投稿リストを取得します。失敗した場合は Web ページの __NEXT_DATA__、
|
||||
/// それでも失敗した場合は FlareSolverr 経由でフォールバック取得します。
|
||||
/// 投稿リストを常に FlareSolverr 経由で取得します(API または Web ページの __NEXT_DATA__)。
|
||||
/// </summary>
|
||||
private static async Task<List<SkebetterPost>> FetchPostsAsync(HttpClient client, string apiUrl, string pageUrl, bool isIllust)
|
||||
{
|
||||
// 1. 通常 HttpClient による API 取得を試行
|
||||
try
|
||||
{
|
||||
using var request = new HttpRequestMessage(HttpMethod.Get, apiUrl);
|
||||
ApplyBrowserHeaders(request, referrer: pageUrl, isJson: true);
|
||||
|
||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
|
||||
if (response.IsSuccessStatusCode)
|
||||
{
|
||||
var jsonString = await response.Content.ReadAsStringAsync();
|
||||
var apiResult = JsonSerializer.Deserialize<SkebetterApiResponse>(jsonString, JsonOptions);
|
||||
if (apiResult != null)
|
||||
{
|
||||
var list = CombinePosts(apiResult);
|
||||
if (list.Count > 0)
|
||||
{
|
||||
return list;
|
||||
}
|
||||
}
|
||||
}
|
||||
else
|
||||
{
|
||||
LogManager.AddLog($"[警告] [skebetter] API 取得失敗 (Status: {(int)response.StatusCode}): {apiUrl}。Web ページからの抽出を試みます。");
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [skebetter] API リクエスト例外: {ex.Message}。Web ページからの抽出を試みます。");
|
||||
}
|
||||
|
||||
// 2. フォールバック: 通常 HttpClient による Web ページの __NEXT_DATA__ からの抽出
|
||||
try
|
||||
{
|
||||
using var pageRequest = new HttpRequestMessage(HttpMethod.Get, pageUrl);
|
||||
ApplyBrowserHeaders(pageRequest, referrer: null, isJson: false);
|
||||
|
||||
using var pageResponse = await client.SendAsync(pageRequest, HttpCompletionOption.ResponseContentRead);
|
||||
if (pageResponse.IsSuccessStatusCode)
|
||||
{
|
||||
var html = await pageResponse.Content.ReadAsStringAsync();
|
||||
var list = ExtractPostsFromNextData(html);
|
||||
if (list != null && list.Count > 0)
|
||||
{
|
||||
LogManager.AddLog($"[情報] [skebetter] Web ページの __NEXT_DATA__ から {list.Count} 件の投稿を抽出しました");
|
||||
return list;
|
||||
}
|
||||
}
|
||||
else
|
||||
{
|
||||
LogManager.AddLog($"[警告] [skebetter] Web ページ取得失敗 (Status: {(int)pageResponse.StatusCode}): {pageUrl}。");
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [skebetter] Web ページからの抽出例外: {ex.Message}");
|
||||
}
|
||||
|
||||
// 3. フォールバック: Cloudflare ブロック(Status 520等)対策として FlareSolverr 経由で取得
|
||||
try
|
||||
{
|
||||
LogManager.AddLog($"[情報] [skebetter] 通常リクエストでの取得に失敗したため、FlareSolverr 経由での取得を試行します: {apiUrl}");
|
||||
LogManager.AddLog($"[情報] [skebetter] 常に FlareSolverr 経由で API 取得を実行します: {apiUrl}");
|
||||
var flareJson = await CmnUtil.GetStringFlareSolverr(client, apiUrl);
|
||||
if (!string.IsNullOrEmpty(flareJson))
|
||||
{
|
||||
@@ -226,7 +167,7 @@ internal static class skebetter
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] [skebetter] FlareSolverr フォールバック例外: {ex.Message}");
|
||||
LogManager.AddLog($"[エラー] [skebetter] FlareSolverr 取得例外: {ex.Message}");
|
||||
}
|
||||
|
||||
return new List<SkebetterPost>();
|
||||
@@ -303,35 +244,12 @@ internal static class skebetter
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// シリーズ作品の全ツイート・全ページ情報を API から取得します(失敗時は FlareSolverr フォールバック)。
|
||||
/// シリーズ作品の全ツイート・全ページ情報を常に FlareSolverr 経由で API から取得します。
|
||||
/// </summary>
|
||||
private static async Task<List<SkebetterPost>?> FetchSeriesTweetsAsync(HttpClient client, long seriesId)
|
||||
{
|
||||
string url = $"{SeriesDetailApiUrl}{seriesId}";
|
||||
try
|
||||
{
|
||||
using var request = new HttpRequestMessage(HttpMethod.Get, url);
|
||||
ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/series/{seriesId}", isJson: true);
|
||||
|
||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
|
||||
if (response.IsSuccessStatusCode)
|
||||
{
|
||||
var jsonString = await response.Content.ReadAsStringAsync();
|
||||
var result = JsonSerializer.Deserialize<MangaSeriesDetailResponse>(jsonString, JsonOptions);
|
||||
var tweets = result?.Tweets?.Tweets;
|
||||
if (tweets != null && tweets.Count > 0)
|
||||
{
|
||||
return tweets;
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [skebetter] シリーズ詳細通常取得失敗 (series_id: {seriesId}): {ex.Message}");
|
||||
}
|
||||
|
||||
// FlareSolverr フォールバック
|
||||
try
|
||||
{
|
||||
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
|
||||
if (!string.IsNullOrEmpty(flareJson))
|
||||
@@ -353,7 +271,7 @@ internal static class skebetter
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 通常作品のリプライツリー情報を API から取得します(複数ツイートがある場合、失敗時は FlareSolverr フォールバック)。
|
||||
/// 通常作品のリプライツリー情報を常に FlareSolverr 経由で API から取得します。
|
||||
/// </summary>
|
||||
private static async Task<List<SkebetterPost>?> FetchUserTweetDetailAsync(HttpClient client, string? userId, string? tweetId)
|
||||
{
|
||||
@@ -361,28 +279,6 @@ internal static class skebetter
|
||||
|
||||
string url = $"{UserTweetDetailApiUrl}?user_id={userId}&tweet_uri={tweetId}&ssr=1";
|
||||
try
|
||||
{
|
||||
using var request = new HttpRequestMessage(HttpMethod.Get, url);
|
||||
ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/author/{userId}/manga/{tweetId}", isJson: true);
|
||||
|
||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
|
||||
if (response.IsSuccessStatusCode)
|
||||
{
|
||||
var jsonString = await response.Content.ReadAsStringAsync();
|
||||
var result = JsonSerializer.Deserialize<UserTweetDetailResponse>(jsonString, JsonOptions);
|
||||
if (result?.Tweet != null && result.Tweet.Count > 1)
|
||||
{
|
||||
return result.Tweet;
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] [skebetter] 個別詳細通常取得失敗 (tweet: {tweetId}): {ex.Message}");
|
||||
}
|
||||
|
||||
// FlareSolverr フォールバック
|
||||
try
|
||||
{
|
||||
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
|
||||
if (!string.IsNullOrEmpty(flareJson))
|
||||
|
||||
Reference in new issue
Block a user