using HtmlAgilityPack; using Microsoft.Extensions.Logging; using WebImageViewer.Class.Legacy.Models; namespace WebImageViewer.Class.Legacy.Common; /// /// 各種Webサイトスクレイパーの共通基底クラス /// public abstract class BaseScraper : IScraper { protected readonly HttpHelper HttpHelper; protected readonly ILogger Logger; public abstract string SiteName { get; } public abstract string SiteKey { get; } public virtual IReadOnlyList Aliases => Array.Empty(); protected BaseScraper(HttpHelper httpHelper, ILogger logger) { HttpHelper = httpHelper; Logger = logger; } /// public abstract bool CanHandle(string urlOrPath); /// public abstract Task ScrapeAsync(string idOrUrl, string? category = null, CancellationToken cancellationToken = default); /// /// 指定されたURLからHTMLを取得し、HtmlDocumentとしてパースします。 /// /// 対象URL /// キャンセレーショントークン /// パースされたHtmlDocument protected Task LoadHtmlDocumentAsync(string url, CancellationToken cancellationToken = default) { return LoadHtmlDocumentAsync(url, useFlareSolverr: false, cancellationToken); } /// /// 指定されたURLからHTMLを取得し、HtmlDocumentとしてパースします。 /// /// 対象URL /// FlareSolverrを強制使用するかどうか /// キャンセレーショントークン /// パースされたHtmlDocument protected async Task LoadHtmlDocumentAsync(string url, bool useFlareSolverr, CancellationToken cancellationToken = default) { try { string html; if (useFlareSolverr) { Logger.LogInformation("[{SiteName}] FlareSolverr経由でHTMLを取得中: {Url}", SiteName, url); html = await HttpHelper.GetHtmlViaFlareSolverrAsync(url, cancellationToken); } else { Logger.LogInformation("[{SiteName}] HTMLを取得中: {Url}", SiteName, url); try { html = await HttpHelper.GetHtmlAsync(url, cancellationToken); if (html.Contains("Just a moment...") || html.Contains("cf-chl-opt")) { Logger.LogWarning("[{SiteName}] Cloudflareチャレンジを検出しました。FlareSolverrに切り替えます: {Url}", SiteName, url); html = await HttpHelper.GetHtmlViaFlareSolverrAsync(url, cancellationToken); } } catch (HttpRequestException ex) when (ex.StatusCode == System.Net.HttpStatusCode.Forbidden || ex.StatusCode == System.Net.HttpStatusCode.ServiceUnavailable) { Logger.LogWarning("[{SiteName}] HTTPエラー ({StatusCode}) を検出しました。FlareSolverrに切り替えます: {Url}", SiteName, ex.StatusCode, url); html = await HttpHelper.GetHtmlViaFlareSolverrAsync(url, cancellationToken); } } var doc = new HtmlDocument(); doc.LoadHtml(html); return doc; } catch (Exception ex) { Logger.LogError(ex, "[{SiteName}] HTMLの取得またはパースに失敗しました: {Url}", SiteName, url); return null; } } /// /// HTML文字列のエンティティデコードおよび前後の空白をトリムします。 /// protected static string CleanText(string? input) { if (string.IsNullOrWhiteSpace(input)) { return string.Empty; } return HtmlEntity.DeEntitize(input).Trim(); } }