feat: EroterestCrawlerの探索10階層化・403時FlareSolverr対応、skebetterの常時FlareSolverr化、タグ別RSS生成およびキーワードcategory追加
This commit is contained in:
1 parent
ca164a4ef2
commit
63fd421550
6 files changed
+283
-153
No files matched your search
@@ -554,6 +554,12 @@ public class CmnUtil
|
|||||||
linkedCts.CancelAfter(TimeSpan.FromSeconds(15)); // ハング防止の最大15秒タイムアウト
|
linkedCts.CancelAfter(TimeSpan.FromSeconds(15)); // ハング防止の最大15秒タイムアウト
|
||||||
|
|
||||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, linkedCts.Token);
|
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, linkedCts.Token);
|
||||||
|
// 403 Forbidden が返された場合は自動的に FlareSolverr 経由で取得
|
||||||
|
if (response.StatusCode == HttpStatusCode.Forbidden)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[情報] [CmnUtil] 403 Forbidden を検知したため、FlareSolverr 経由で取得します: {pageURL}");
|
||||||
|
return await GetDocumentFlareSolverr(client, pageURL);
|
||||||
|
}
|
||||||
response.EnsureSuccessStatusCode();
|
response.EnsureSuccessStatusCode();
|
||||||
|
|
||||||
await using var stream = await response.Content.ReadAsStreamAsync(linkedCts.Token);
|
await using var stream = await response.Content.ReadAsStreamAsync(linkedCts.Token);
|
||||||
|
|||||||
@@ -50,7 +50,7 @@ internal static class EroterestCrawler
|
|||||||
context.TraversedRoute.Add(currentUrl);
|
context.TraversedRoute.Add(currentUrl);
|
||||||
|
|
||||||
using var timeoutCts = CancellationTokenSource.CreateLinkedTokenSource(ct);
|
using var timeoutCts = CancellationTokenSource.CreateLinkedTokenSource(ct);
|
||||||
timeoutCts.CancelAfter(TimeSpan.FromSeconds(8));
|
timeoutCts.CancelAfter(TimeSpan.FromSeconds(30)); // FlareSolverr 実行時も余裕を持たせるため30秒に設定
|
||||||
|
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -46,6 +46,16 @@ internal static class MovieEroterestConfig
|
|||||||
{ "巨乳", "https://movie.eroterest.net/?c=%E5%B7%A8%E4%B9%B3" }
|
{ "巨乳", "https://movie.eroterest.net/?c=%E5%B7%A8%E4%B9%B3" }
|
||||||
};
|
};
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// カテゴリ(タグ)別RSSの出力サブディレクトリ名
|
||||||
|
/// </summary>
|
||||||
|
public const string CategorySubDir = "categories";
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 各カテゴリ(タグ)別フィードで保持・出力する最大記事数
|
||||||
|
/// </summary>
|
||||||
|
public const int MaxArticlesPerCategoryFeed = 50;
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// 各フィードで取得する最大記事数
|
/// 各フィードで取得する最大記事数
|
||||||
/// </summary>
|
/// </summary>
|
||||||
@@ -62,12 +72,12 @@ internal static class MovieEroterestConfig
|
|||||||
public const bool PreferOriginalVideoDateOverArticleDate = false;
|
public const bool PreferOriginalVideoDateOverArticleDate = false;
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// 1記事あたりの動画探索における最大リンク階層深度(デフォルト: 3階層まで深掘り)
|
/// 1記事あたりの動画探索における最大リンク階層深度(10階層まで深掘り)
|
||||||
/// </summary>
|
/// </summary>
|
||||||
public const int MaxCrawlDepth = 3;
|
public const int MaxCrawlDepth = 10;
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// 1記事あたりの動画探索で訪問する最大ページ数(過剰クロール防止)
|
/// 1記事あたりの動画探索で訪問する最大ページ数(過剰クロール防止)
|
||||||
/// </summary>
|
/// </summary>
|
||||||
public const int MaxCrawledPagesPerArticle = 10;
|
public const int MaxCrawledPagesPerArticle = 30;
|
||||||
}
|
}
|
||||||
@@ -10,17 +10,18 @@ using System.ServiceModel.Syndication;
|
|||||||
using System.Text.RegularExpressions;
|
using System.Text.RegularExpressions;
|
||||||
using System.Threading;
|
using System.Threading;
|
||||||
using System.Threading.Tasks;
|
using System.Threading.Tasks;
|
||||||
|
using System.Xml;
|
||||||
|
|
||||||
namespace rss_generator.Class.Eroterest;
|
namespace rss_generator.Class.Eroterest;
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// movie.eroterest.net の RSS フィード生成・管理を行うクラス
|
/// movie.eroterest.net の RSS フィード生成・管理を行うクラス
|
||||||
/// 出力先: output/movie.eroterest.net/ (all.xml, popular.xml, categories/*.xml)
|
/// 出力先: output/movie.eroterest.net/ (all.xml, popular.xml, categories/{タグ名}.xml)
|
||||||
/// </summary>
|
/// </summary>
|
||||||
internal static class MovieEroterestFeedManager
|
internal static class MovieEroterestFeedManager
|
||||||
{
|
{
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// movie.eroterest.net の全フィード(新着、人気、各カテゴリ)を生成します。
|
/// movie.eroterest.net の全フィード(新着、人気、各記事タグ別フィード)を生成します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
public static async Task CreateAllRSSAsync(HttpClient client)
|
public static async Task CreateAllRSSAsync(HttpClient client)
|
||||||
{
|
{
|
||||||
@@ -29,16 +30,28 @@ internal static class MovieEroterestFeedManager
|
|||||||
|
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
|
// 全記事キャッシュ(URL をキーとして新着・人気から取得した全記事情報を集約)
|
||||||
|
var allArticles = new Dictionary<string, (SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info)>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
|
||||||
// 1. 新着動画フィード (all.xml)
|
// 1. 新着動画フィード (all.xml)
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
await GenerateFeedFromPageAsync(
|
var newVideos = await GenerateFeedFromPageAsync(
|
||||||
client,
|
client,
|
||||||
MovieEroterestConfig.NewVideosUrl,
|
MovieEroterestConfig.NewVideosUrl,
|
||||||
"all.xml",
|
"all.xml",
|
||||||
"動画エロタレスト - 新着エロ動画",
|
"動画エロタレスト - 新着エロ動画",
|
||||||
"動画エロタレストの最新新着エロ動画一覧(WebImageViewer対応)",
|
"動画エロタレストの最新新着エロ動画一覧(WebImageViewer対応)",
|
||||||
subDir: MovieEroterestConfig.OutputSubDir);
|
subDir: MovieEroterestConfig.OutputSubDir);
|
||||||
|
|
||||||
|
foreach (var entry in newVideos)
|
||||||
|
{
|
||||||
|
var key = entry.Info.ArticlePageUrl;
|
||||||
|
if (!string.IsNullOrWhiteSpace(key))
|
||||||
|
{
|
||||||
|
allArticles[key] = (entry.Item, entry.Info);
|
||||||
|
}
|
||||||
|
}
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
@@ -48,42 +61,30 @@ internal static class MovieEroterestFeedManager
|
|||||||
// 2. 人気動画フィード (popular.xml)
|
// 2. 人気動画フィード (popular.xml)
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
await GenerateFeedFromPageAsync(
|
var popularVideos = await GenerateFeedFromPageAsync(
|
||||||
client,
|
client,
|
||||||
MovieEroterestConfig.PopularVideosUrl,
|
MovieEroterestConfig.PopularVideosUrl,
|
||||||
"popular.xml",
|
"popular.xml",
|
||||||
"動画エロタレスト - 今日の人気動画",
|
"動画エロタレスト - 今日の人気動画",
|
||||||
"動画エロタレストの今日人気ランキング動画一覧(WebImageViewer対応)",
|
"動画エロタレストの今日人気ランキング動画一覧(WebImageViewer対応)",
|
||||||
subDir: MovieEroterestConfig.OutputSubDir);
|
subDir: MovieEroterestConfig.OutputSubDir);
|
||||||
|
|
||||||
|
foreach (var entry in popularVideos)
|
||||||
|
{
|
||||||
|
var key = entry.Info.ArticlePageUrl;
|
||||||
|
if (!string.IsNullOrWhiteSpace(key) && !allArticles.ContainsKey(key))
|
||||||
|
{
|
||||||
|
allArticles[key] = (entry.Item, entry.Info);
|
||||||
|
}
|
||||||
|
}
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
LogManager.AddLog($"[エラー] [movie.eroterest.net] 人気フィード生成失敗: {ex.Message}");
|
LogManager.AddLog($"[エラー] [movie.eroterest.net] 人気フィード生成失敗: {ex.Message}");
|
||||||
}
|
}
|
||||||
|
|
||||||
// 3. 主要カテゴリ・チャンネル別フィード (categories/{category}.xml)
|
// 3. 記事から取得した全タグに基づくカテゴリ別フィード (categories/{タグ名}.xml)
|
||||||
var categorySubDir = Path.Combine(MovieEroterestConfig.OutputSubDir, "categories");
|
await GenerateTagFeedsAsync(client, allArticles.Values);
|
||||||
foreach (var kvp in MovieEroterestConfig.Categories)
|
|
||||||
{
|
|
||||||
var categoryName = kvp.Key;
|
|
||||||
var categoryUrl = kvp.Value;
|
|
||||||
var fileName = $"{categoryName}.xml";
|
|
||||||
|
|
||||||
try
|
|
||||||
{
|
|
||||||
await GenerateFeedFromPageAsync(
|
|
||||||
client,
|
|
||||||
categoryUrl,
|
|
||||||
fileName,
|
|
||||||
$"動画エロタレスト - {categoryName}",
|
|
||||||
$"動画エロタレストの「{categoryName}」チャンネル動画一覧(WebImageViewer対応)",
|
|
||||||
subDir: categorySubDir);
|
|
||||||
}
|
|
||||||
catch (Exception ex)
|
|
||||||
{
|
|
||||||
LogManager.AddLog($"[エラー] [movie.eroterest.net] カテゴリフィード生成失敗 ({categoryName}): {ex.Message}");
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
sw.Stop();
|
sw.Stop();
|
||||||
LogManager.AddLog($"[情報] 【movie.eroterest.net】 全フィード出力完了 ({sw.Elapsed.TotalSeconds:0.##}秒)");
|
LogManager.AddLog($"[情報] 【movie.eroterest.net】 全フィード出力完了 ({sw.Elapsed.TotalSeconds:0.##}秒)");
|
||||||
@@ -96,9 +97,79 @@ internal static class MovieEroterestFeedManager
|
|||||||
}
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// 指定されたページURLから記事一覧を取得・探索し、RSSフィードを出力します。
|
/// 取得した全記事のタグを網羅的に抽出し、各タグについての RSS フィード (categories/{タグ名}.xml) を生成・蓄積します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
private static async Task GenerateFeedFromPageAsync(
|
private static async Task GenerateTagFeedsAsync(
|
||||||
|
HttpClient client,
|
||||||
|
IEnumerable<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info)> articleEntries)
|
||||||
|
{
|
||||||
|
var articlesList = articleEntries.ToList();
|
||||||
|
if (articlesList.Count == 0)
|
||||||
|
{
|
||||||
|
LogManager.AddLog("[警告] [movie.eroterest.net] タグ別フィード生成対象の記事が存在しません");
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 全記事からタグを収集(重複除外)
|
||||||
|
var allTags = articlesList
|
||||||
|
.SelectMany(a => a.Info.Tags)
|
||||||
|
.Where(t => !string.IsNullOrWhiteSpace(t))
|
||||||
|
.Select(t => t.Trim())
|
||||||
|
.Distinct(StringComparer.OrdinalIgnoreCase)
|
||||||
|
.OrderBy(t => t)
|
||||||
|
.ToList();
|
||||||
|
|
||||||
|
LogManager.AddLog($"[情報] 【movie.eroterest.net】 記事から抽出されたユニークなタグ数: {allTags.Count} 件");
|
||||||
|
|
||||||
|
var categorySubDir = Path.Combine(MovieEroterestConfig.OutputSubDir, MovieEroterestConfig.CategorySubDir);
|
||||||
|
int successCount = 0;
|
||||||
|
|
||||||
|
foreach (var tag in allTags)
|
||||||
|
{
|
||||||
|
var safeTagName = SanitizeFileName(tag);
|
||||||
|
if (string.IsNullOrWhiteSpace(safeTagName)) continue;
|
||||||
|
|
||||||
|
var fileName = $"{safeTagName}.xml";
|
||||||
|
|
||||||
|
// 今回取得した記事の中でそのタグを持つアイテム
|
||||||
|
var matchingItems = articlesList
|
||||||
|
.Where(a => a.Info.Tags.Any(t => string.Equals(t.Trim(), tag, StringComparison.OrdinalIgnoreCase)))
|
||||||
|
.Select(a => a.Item)
|
||||||
|
.ToList();
|
||||||
|
|
||||||
|
if (matchingItems.Count == 0) continue;
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
// 既存の XML ファイルがあれば読み込み、新着アイテムとマージして蓄積
|
||||||
|
var existingItems = LoadExistingFeedItems(fileName, categorySubDir);
|
||||||
|
var mergedItems = MergeFeedItems(matchingItems, existingItems, MovieEroterestConfig.MaxArticlesPerCategoryFeed);
|
||||||
|
|
||||||
|
var feed = new SyndicationFeed(
|
||||||
|
$"動画エロタレスト - {tag}",
|
||||||
|
$"動画エロタレストの「{tag}」タグ動画一覧(WebImageViewer対応)",
|
||||||
|
new Uri($"https://movie.eroterest.net/?word={Uri.EscapeDataString(tag)}")
|
||||||
|
)
|
||||||
|
{
|
||||||
|
Items = mergedItems
|
||||||
|
};
|
||||||
|
|
||||||
|
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, addDir: categorySubDir, embedBase64: false, filter24Hours: false);
|
||||||
|
successCount++;
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[エラー] [movie.eroterest.net] タグ別フィード生成失敗 ({tag}): {ex.Message}");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
LogManager.AddLog($"[情報] 【movie.eroterest.net】 カテゴリ(タグ)別フィード出力完了: {successCount}/{allTags.Count} 件成功");
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 指定されたページURLから記事一覧を取得・探索し、RSSフィードを出力します。また、解析された記事一覧を返します。
|
||||||
|
/// </summary>
|
||||||
|
private static async Task<List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>> GenerateFeedFromPageAsync(
|
||||||
HttpClient client,
|
HttpClient client,
|
||||||
string pageUrl,
|
string pageUrl,
|
||||||
string outputFileName,
|
string outputFileName,
|
||||||
@@ -106,11 +177,13 @@ internal static class MovieEroterestFeedManager
|
|||||||
string feedDescription,
|
string feedDescription,
|
||||||
string subDir)
|
string subDir)
|
||||||
{
|
{
|
||||||
|
var resultList = new List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>();
|
||||||
|
|
||||||
var doc = await CmnUtil.GetDocument(client, pageUrl);
|
var doc = await CmnUtil.GetDocument(client, pageUrl);
|
||||||
if (doc == null)
|
if (doc == null)
|
||||||
{
|
{
|
||||||
LogManager.AddLog($"[警告] [movie.eroterest.net] ページ取得失敗: {pageUrl}");
|
LogManager.AddLog($"[警告] [movie.eroterest.net] ページ取得失敗: {pageUrl}");
|
||||||
return;
|
return resultList;
|
||||||
}
|
}
|
||||||
|
|
||||||
// 記事カード一覧の抽出
|
// 記事カード一覧の抽出
|
||||||
@@ -118,7 +191,7 @@ internal static class MovieEroterestFeedManager
|
|||||||
if (itemElements.Length == 0)
|
if (itemElements.Length == 0)
|
||||||
{
|
{
|
||||||
LogManager.AddLog($"[警告] [movie.eroterest.net] 記事要素が見つかりませんでした: {pageUrl}");
|
LogManager.AddLog($"[警告] [movie.eroterest.net] 記事要素が見つかりませんでした: {pageUrl}");
|
||||||
return;
|
return resultList;
|
||||||
}
|
}
|
||||||
|
|
||||||
var feed = new SyndicationFeed(
|
var feed = new SyndicationFeed(
|
||||||
@@ -184,7 +257,7 @@ internal static class MovieEroterestFeedManager
|
|||||||
|
|
||||||
// 同時並行数を制御して各記事の詳細と動画探索を実行
|
// 同時並行数を制御して各記事の詳細と動画探索を実行
|
||||||
using var semaphore = new SemaphoreSlim(MovieEroterestConfig.MaxParallelTasks);
|
using var semaphore = new SemaphoreSlim(MovieEroterestConfig.MaxParallelTasks);
|
||||||
var syndicationEntries = new List<(SyndicationItem Item, int Order)>();
|
var syndicationEntries = new List<(SyndicationItem Item, MovieEroterestVideoParser.EroterestArticleInfo Info, int Order)>();
|
||||||
|
|
||||||
var tasks = preliminaryItems.Select(async item =>
|
var tasks = preliminaryItems.Select(async item =>
|
||||||
{
|
{
|
||||||
@@ -207,7 +280,7 @@ internal static class MovieEroterestFeedManager
|
|||||||
var synItem = MovieEroterestVideoParser.CreateSyndicationItem(articleInfo);
|
var synItem = MovieEroterestVideoParser.CreateSyndicationItem(articleInfo);
|
||||||
lock (syndicationEntries)
|
lock (syndicationEntries)
|
||||||
{
|
{
|
||||||
syndicationEntries.Add((synItem, item.Order));
|
syndicationEntries.Add((synItem, articleInfo, item.Order));
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
@@ -224,13 +297,139 @@ internal static class MovieEroterestFeedManager
|
|||||||
await Task.WhenAll(tasks);
|
await Task.WhenAll(tasks);
|
||||||
|
|
||||||
// 公開日時順(同日時の場合は一覧の掲載順を維持)にソート
|
// 公開日時順(同日時の場合は一覧の掲載順を維持)にソート
|
||||||
feed.Items = syndicationEntries
|
var sortedEntries = syndicationEntries
|
||||||
.OrderByDescending(e => e.Item.PublishDate)
|
.OrderByDescending(e => e.Item.PublishDate)
|
||||||
.ThenBy(e => e.Order)
|
.ThenBy(e => e.Order)
|
||||||
.Select(e => e.Item)
|
|
||||||
.ToList();
|
.ToList();
|
||||||
|
|
||||||
|
feed.Items = sortedEntries.Select(e => e.Item).ToList();
|
||||||
|
|
||||||
// XML ファイルへ出力 (filter24Hours: false で直近取得分を確実に出力)
|
// XML ファイルへ出力 (filter24Hours: false で直近取得分を確実に出力)
|
||||||
await CmnUtil.ExportXMLFileAsync(outputFileName, feed, client, addDir: subDir, embedBase64: false, filter24Hours: false);
|
await CmnUtil.ExportXMLFileAsync(outputFileName, feed, client, addDir: subDir, embedBase64: false, filter24Hours: false);
|
||||||
|
|
||||||
|
return sortedEntries;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// ファイル名として使用できない不正な文字をサニタイズします。
|
||||||
|
/// </summary>
|
||||||
|
private static string SanitizeFileName(string name)
|
||||||
|
{
|
||||||
|
if (string.IsNullOrWhiteSpace(name)) return string.Empty;
|
||||||
|
var invalidChars = Path.GetInvalidFileNameChars();
|
||||||
|
var clean = string.Concat(name.Select(c => invalidChars.Contains(c) ? '_' : c));
|
||||||
|
return clean.Trim();
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 既存のXMLファイルから SyndicationItem を読み込みます。
|
||||||
|
/// </summary>
|
||||||
|
private static List<SyndicationItem> LoadExistingFeedItems(string fileName, string subDir)
|
||||||
|
{
|
||||||
|
var items = new List<SyndicationItem>();
|
||||||
|
var filePath = CmnUtil.GetExportXmlPath(fileName, subDir);
|
||||||
|
if (!File.Exists(filePath)) return items;
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
using var reader = XmlReader.Create(filePath);
|
||||||
|
var feed = SyndicationFeed.Load(reader);
|
||||||
|
if (feed?.Items != null)
|
||||||
|
{
|
||||||
|
foreach (var originalItem in feed.Items)
|
||||||
|
{
|
||||||
|
items.Add(CloneSyndicationItem(originalItem));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[警告] [movie.eroterest.net] 既存フィード読み込み失敗 ({fileName}): {ex.Message}");
|
||||||
|
}
|
||||||
|
return items;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 新着アイテムと既存アイテムをマージし、重複を排除して公開日時順にソートします。
|
||||||
|
/// </summary>
|
||||||
|
private static List<SyndicationItem> MergeFeedItems(
|
||||||
|
IEnumerable<SyndicationItem> newItems,
|
||||||
|
IEnumerable<SyndicationItem> existingItems,
|
||||||
|
int maxCount)
|
||||||
|
{
|
||||||
|
var merged = new Dictionary<string, SyndicationItem>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
|
||||||
|
// 1. 既存アイテムを追加
|
||||||
|
foreach (var item in existingItems)
|
||||||
|
{
|
||||||
|
var key = GetItemKey(item);
|
||||||
|
if (!string.IsNullOrWhiteSpace(key))
|
||||||
|
{
|
||||||
|
merged[key] = item;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// 2. 新着アイテムで上書き・追加(最新の詳細情報を優先)
|
||||||
|
foreach (var item in newItems)
|
||||||
|
{
|
||||||
|
var key = GetItemKey(item);
|
||||||
|
if (!string.IsNullOrWhiteSpace(key))
|
||||||
|
{
|
||||||
|
merged[key] = item;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// 3. 公開日降順でソート
|
||||||
|
return merged.Values
|
||||||
|
.OrderByDescending(i => i.PublishDate != DateTimeOffset.MinValue ? i.PublishDate : i.LastUpdatedTime)
|
||||||
|
.Take(maxCount)
|
||||||
|
.ToList();
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// SyndicationItem の一意キーを取得します(GUID またはリンクURL)。
|
||||||
|
/// </summary>
|
||||||
|
private static string GetItemKey(SyndicationItem item)
|
||||||
|
{
|
||||||
|
if (!string.IsNullOrWhiteSpace(item.Id))
|
||||||
|
{
|
||||||
|
return item.Id;
|
||||||
|
}
|
||||||
|
var link = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||||
|
if (!string.IsNullOrWhiteSpace(link))
|
||||||
|
{
|
||||||
|
return link;
|
||||||
|
}
|
||||||
|
return item.Title?.Text ?? Guid.NewGuid().ToString();
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 既存の SyndicationItem から不要な名前空間や競合属性を除去したクローンを作成します。
|
||||||
|
/// </summary>
|
||||||
|
private static SyndicationItem CloneSyndicationItem(SyndicationItem original)
|
||||||
|
{
|
||||||
|
var link = original.Links.FirstOrDefault()?.Uri;
|
||||||
|
var clone = new SyndicationItem(
|
||||||
|
original.Title?.Text ?? string.Empty,
|
||||||
|
string.Empty,
|
||||||
|
link,
|
||||||
|
original.Id ?? (link?.ToString() ?? Guid.NewGuid().ToString()),
|
||||||
|
original.PublishDate != DateTimeOffset.MinValue ? original.PublishDate : original.LastUpdatedTime
|
||||||
|
)
|
||||||
|
{
|
||||||
|
PublishDate = original.PublishDate != DateTimeOffset.MinValue ? original.PublishDate : original.LastUpdatedTime,
|
||||||
|
LastUpdatedTime = original.LastUpdatedTime != DateTimeOffset.MinValue ? original.LastUpdatedTime : original.PublishDate,
|
||||||
|
Summary = original.Summary
|
||||||
|
};
|
||||||
|
|
||||||
|
foreach (var category in original.Categories)
|
||||||
|
{
|
||||||
|
if (!string.IsNullOrWhiteSpace(category.Name))
|
||||||
|
{
|
||||||
|
clone.Categories.Add(new SyndicationCategory(category.Name.Trim()));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return clone;
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
@@ -542,18 +542,37 @@ internal static class MovieEroterestVideoParser
|
|||||||
LastUpdatedTime = info.PublishDate
|
LastUpdatedTime = info.PublishDate
|
||||||
};
|
};
|
||||||
|
|
||||||
// カテゴリの追加
|
// カテゴリの追加(重複排除し、キーワードも漏れなく追加)
|
||||||
if (!string.IsNullOrWhiteSpace(info.Provider))
|
var seenCategories = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
|
||||||
|
void AddCategory(string? name)
|
||||||
{
|
{
|
||||||
item.Categories.Add(new SyndicationCategory(info.Provider));
|
var trimmed = name?.Trim();
|
||||||
|
if (!string.IsNullOrWhiteSpace(trimmed) && seenCategories.Add(trimmed))
|
||||||
|
{
|
||||||
|
item.Categories.Add(new SyndicationCategory(trimmed));
|
||||||
}
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// 配信元プロバイダ
|
||||||
|
AddCategory(info.Provider);
|
||||||
|
|
||||||
|
// タグ
|
||||||
foreach (var tag in info.Tags)
|
foreach (var tag in info.Tags)
|
||||||
{
|
{
|
||||||
item.Categories.Add(new SyndicationCategory(tag));
|
AddCategory(tag);
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// 出演女優
|
||||||
foreach (var actress in info.Actresses)
|
foreach (var actress in info.Actresses)
|
||||||
{
|
{
|
||||||
item.Categories.Add(new SyndicationCategory(actress));
|
AddCategory(actress);
|
||||||
|
}
|
||||||
|
|
||||||
|
// キーワード(重複しないように追加)
|
||||||
|
foreach (var word in info.Words)
|
||||||
|
{
|
||||||
|
AddCategory(word);
|
||||||
}
|
}
|
||||||
|
|
||||||
// Summary HTML の設定
|
// Summary HTML の設定
|
||||||
|
|||||||
@@ -130,72 +130,13 @@ internal static class skebetter
|
|||||||
}
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// API から投稿リストを取得します。失敗した場合は Web ページの __NEXT_DATA__、
|
/// 投稿リストを常に FlareSolverr 経由で取得します(API または Web ページの __NEXT_DATA__)。
|
||||||
/// それでも失敗した場合は FlareSolverr 経由でフォールバック取得します。
|
|
||||||
/// </summary>
|
/// </summary>
|
||||||
private static async Task<List<SkebetterPost>> FetchPostsAsync(HttpClient client, string apiUrl, string pageUrl, bool isIllust)
|
private static async Task<List<SkebetterPost>> FetchPostsAsync(HttpClient client, string apiUrl, string pageUrl, bool isIllust)
|
||||||
{
|
{
|
||||||
// 1. 通常 HttpClient による API 取得を試行
|
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
using var request = new HttpRequestMessage(HttpMethod.Get, apiUrl);
|
LogManager.AddLog($"[情報] [skebetter] 常に FlareSolverr 経由で API 取得を実行します: {apiUrl}");
|
||||||
ApplyBrowserHeaders(request, referrer: pageUrl, isJson: true);
|
|
||||||
|
|
||||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
|
|
||||||
if (response.IsSuccessStatusCode)
|
|
||||||
{
|
|
||||||
var jsonString = await response.Content.ReadAsStringAsync();
|
|
||||||
var apiResult = JsonSerializer.Deserialize<SkebetterApiResponse>(jsonString, JsonOptions);
|
|
||||||
if (apiResult != null)
|
|
||||||
{
|
|
||||||
var list = CombinePosts(apiResult);
|
|
||||||
if (list.Count > 0)
|
|
||||||
{
|
|
||||||
return list;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
LogManager.AddLog($"[警告] [skebetter] API 取得失敗 (Status: {(int)response.StatusCode}): {apiUrl}。Web ページからの抽出を試みます。");
|
|
||||||
}
|
|
||||||
}
|
|
||||||
catch (Exception ex)
|
|
||||||
{
|
|
||||||
LogManager.AddLog($"[警告] [skebetter] API リクエスト例外: {ex.Message}。Web ページからの抽出を試みます。");
|
|
||||||
}
|
|
||||||
|
|
||||||
// 2. フォールバック: 通常 HttpClient による Web ページの __NEXT_DATA__ からの抽出
|
|
||||||
try
|
|
||||||
{
|
|
||||||
using var pageRequest = new HttpRequestMessage(HttpMethod.Get, pageUrl);
|
|
||||||
ApplyBrowserHeaders(pageRequest, referrer: null, isJson: false);
|
|
||||||
|
|
||||||
using var pageResponse = await client.SendAsync(pageRequest, HttpCompletionOption.ResponseContentRead);
|
|
||||||
if (pageResponse.IsSuccessStatusCode)
|
|
||||||
{
|
|
||||||
var html = await pageResponse.Content.ReadAsStringAsync();
|
|
||||||
var list = ExtractPostsFromNextData(html);
|
|
||||||
if (list != null && list.Count > 0)
|
|
||||||
{
|
|
||||||
LogManager.AddLog($"[情報] [skebetter] Web ページの __NEXT_DATA__ から {list.Count} 件の投稿を抽出しました");
|
|
||||||
return list;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
LogManager.AddLog($"[警告] [skebetter] Web ページ取得失敗 (Status: {(int)pageResponse.StatusCode}): {pageUrl}。");
|
|
||||||
}
|
|
||||||
}
|
|
||||||
catch (Exception ex)
|
|
||||||
{
|
|
||||||
LogManager.AddLog($"[エラー] [skebetter] Web ページからの抽出例外: {ex.Message}");
|
|
||||||
}
|
|
||||||
|
|
||||||
// 3. フォールバック: Cloudflare ブロック(Status 520等)対策として FlareSolverr 経由で取得
|
|
||||||
try
|
|
||||||
{
|
|
||||||
LogManager.AddLog($"[情報] [skebetter] 通常リクエストでの取得に失敗したため、FlareSolverr 経由での取得を試行します: {apiUrl}");
|
|
||||||
var flareJson = await CmnUtil.GetStringFlareSolverr(client, apiUrl);
|
var flareJson = await CmnUtil.GetStringFlareSolverr(client, apiUrl);
|
||||||
if (!string.IsNullOrEmpty(flareJson))
|
if (!string.IsNullOrEmpty(flareJson))
|
||||||
{
|
{
|
||||||
@@ -226,7 +167,7 @@ internal static class skebetter
|
|||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
LogManager.AddLog($"[エラー] [skebetter] FlareSolverr フォールバック例外: {ex.Message}");
|
LogManager.AddLog($"[エラー] [skebetter] FlareSolverr 取得例外: {ex.Message}");
|
||||||
}
|
}
|
||||||
|
|
||||||
return new List<SkebetterPost>();
|
return new List<SkebetterPost>();
|
||||||
@@ -303,35 +244,12 @@ internal static class skebetter
|
|||||||
}
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// シリーズ作品の全ツイート・全ページ情報を API から取得します(失敗時は FlareSolverr フォールバック)。
|
/// シリーズ作品の全ツイート・全ページ情報を常に FlareSolverr 経由で API から取得します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
private static async Task<List<SkebetterPost>?> FetchSeriesTweetsAsync(HttpClient client, long seriesId)
|
private static async Task<List<SkebetterPost>?> FetchSeriesTweetsAsync(HttpClient client, long seriesId)
|
||||||
{
|
{
|
||||||
string url = $"{SeriesDetailApiUrl}{seriesId}";
|
string url = $"{SeriesDetailApiUrl}{seriesId}";
|
||||||
try
|
try
|
||||||
{
|
|
||||||
using var request = new HttpRequestMessage(HttpMethod.Get, url);
|
|
||||||
ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/series/{seriesId}", isJson: true);
|
|
||||||
|
|
||||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
|
|
||||||
if (response.IsSuccessStatusCode)
|
|
||||||
{
|
|
||||||
var jsonString = await response.Content.ReadAsStringAsync();
|
|
||||||
var result = JsonSerializer.Deserialize<MangaSeriesDetailResponse>(jsonString, JsonOptions);
|
|
||||||
var tweets = result?.Tweets?.Tweets;
|
|
||||||
if (tweets != null && tweets.Count > 0)
|
|
||||||
{
|
|
||||||
return tweets;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
catch (Exception ex)
|
|
||||||
{
|
|
||||||
LogManager.AddLog($"[警告] [skebetter] シリーズ詳細通常取得失敗 (series_id: {seriesId}): {ex.Message}");
|
|
||||||
}
|
|
||||||
|
|
||||||
// FlareSolverr フォールバック
|
|
||||||
try
|
|
||||||
{
|
{
|
||||||
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
|
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
|
||||||
if (!string.IsNullOrEmpty(flareJson))
|
if (!string.IsNullOrEmpty(flareJson))
|
||||||
@@ -353,7 +271,7 @@ internal static class skebetter
|
|||||||
}
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// 通常作品のリプライツリー情報を API から取得します(複数ツイートがある場合、失敗時は FlareSolverr フォールバック)。
|
/// 通常作品のリプライツリー情報を常に FlareSolverr 経由で API から取得します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
private static async Task<List<SkebetterPost>?> FetchUserTweetDetailAsync(HttpClient client, string? userId, string? tweetId)
|
private static async Task<List<SkebetterPost>?> FetchUserTweetDetailAsync(HttpClient client, string? userId, string? tweetId)
|
||||||
{
|
{
|
||||||
@@ -361,28 +279,6 @@ internal static class skebetter
|
|||||||
|
|
||||||
string url = $"{UserTweetDetailApiUrl}?user_id={userId}&tweet_uri={tweetId}&ssr=1";
|
string url = $"{UserTweetDetailApiUrl}?user_id={userId}&tweet_uri={tweetId}&ssr=1";
|
||||||
try
|
try
|
||||||
{
|
|
||||||
using var request = new HttpRequestMessage(HttpMethod.Get, url);
|
|
||||||
ApplyBrowserHeaders(request, referrer: $"{BaseUrl}/author/{userId}/manga/{tweetId}", isJson: true);
|
|
||||||
|
|
||||||
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseContentRead);
|
|
||||||
if (response.IsSuccessStatusCode)
|
|
||||||
{
|
|
||||||
var jsonString = await response.Content.ReadAsStringAsync();
|
|
||||||
var result = JsonSerializer.Deserialize<UserTweetDetailResponse>(jsonString, JsonOptions);
|
|
||||||
if (result?.Tweet != null && result.Tweet.Count > 1)
|
|
||||||
{
|
|
||||||
return result.Tweet;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
catch (Exception ex)
|
|
||||||
{
|
|
||||||
LogManager.AddLog($"[警告] [skebetter] 個別詳細通常取得失敗 (tweet: {tweetId}): {ex.Message}");
|
|
||||||
}
|
|
||||||
|
|
||||||
// FlareSolverr フォールバック
|
|
||||||
try
|
|
||||||
{
|
{
|
||||||
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
|
var flareJson = await CmnUtil.GetStringFlareSolverr(client, url);
|
||||||
if (!string.IsNullOrEmpty(flareJson))
|
if (!string.IsNullOrEmpty(flareJson))
|
||||||
|
|||||||
Reference in new issue
Block a user