using HtmlAgilityPack;
using Microsoft.Extensions.Logging;
using WebImageViewer.Class.Legacy.Models;
namespace WebImageViewer.Class.Legacy.Common;
///
/// 各種Webサイトスクレイパーの共通基底クラス
///
public abstract class BaseScraper : IScraper
{
protected readonly HttpHelper HttpHelper;
protected readonly ILogger Logger;
public abstract string SiteName { get; }
public abstract string SiteKey { get; }
public virtual IReadOnlyList Aliases => Array.Empty();
protected BaseScraper(HttpHelper httpHelper, ILogger logger)
{
HttpHelper = httpHelper;
Logger = logger;
}
///
public abstract bool CanHandle(string urlOrPath);
///
public abstract Task ScrapeAsync(string idOrUrl, string? category = null, CancellationToken cancellationToken = default);
///
/// 指定されたURLからHTMLを取得し、HtmlDocumentとしてパースします。
///
/// 対象URL
/// キャンセレーショントークン
/// パースされたHtmlDocument
protected Task LoadHtmlDocumentAsync(string url, CancellationToken cancellationToken = default)
{
return LoadHtmlDocumentAsync(url, useFlareSolverr: false, cancellationToken);
}
///
/// 指定されたURLからHTMLを取得し、HtmlDocumentとしてパースします。
///
/// 対象URL
/// FlareSolverrを強制使用するかどうか
/// キャンセレーショントークン
/// パースされたHtmlDocument
protected async Task LoadHtmlDocumentAsync(string url, bool useFlareSolverr, CancellationToken cancellationToken = default)
{
try
{
string html;
if (useFlareSolverr)
{
Logger.LogInformation("[{SiteName}] FlareSolverr経由でHTMLを取得中: {Url}", SiteName, url);
html = await HttpHelper.GetHtmlViaFlareSolverrAsync(url, cancellationToken);
}
else
{
Logger.LogInformation("[{SiteName}] HTMLを取得中: {Url}", SiteName, url);
try
{
html = await HttpHelper.GetHtmlAsync(url, cancellationToken);
if (html.Contains("Just a moment...") || html.Contains("cf-chl-opt"))
{
Logger.LogWarning("[{SiteName}] Cloudflareチャレンジを検出しました。FlareSolverrに切り替えます: {Url}", SiteName, url);
html = await HttpHelper.GetHtmlViaFlareSolverrAsync(url, cancellationToken);
}
}
catch (HttpRequestException ex) when (ex.StatusCode == System.Net.HttpStatusCode.Forbidden || ex.StatusCode == System.Net.HttpStatusCode.ServiceUnavailable)
{
Logger.LogWarning("[{SiteName}] HTTPエラー ({StatusCode}) を検出しました。FlareSolverrに切り替えます: {Url}", SiteName, ex.StatusCode, url);
html = await HttpHelper.GetHtmlViaFlareSolverrAsync(url, cancellationToken);
}
}
var doc = new HtmlDocument();
doc.LoadHtml(html);
return doc;
}
catch (Exception ex)
{
Logger.LogError(ex, "[{SiteName}] HTMLの取得またはパースに失敗しました: {Url}", SiteName, url);
return null;
}
}
///
/// HTML文字列のエンティティデコードおよび前後の空白をトリムします。
///
protected static string CleanText(string? input)
{
if (string.IsNullOrWhiteSpace(input))
{
return string.Empty;
}
return HtmlEntity.DeEntitize(input).Trim();
}
}