とりあえず
This commit is contained in:
commit
e1c9354512
17 files changed
+2111
No files matched your search
@@ -0,0 +1,7 @@
|
|||||||
|
################################################################################
|
||||||
|
# この .gitignore ファイルは Microsoft(R) Visual Studio によって自動的に作成されました。
|
||||||
|
################################################################################
|
||||||
|
|
||||||
|
/.vs
|
||||||
|
/WebImageViewer/bin
|
||||||
|
/WebImageViewer/obj
|
||||||
@@ -0,0 +1,3 @@
|
|||||||
|
<Solution>
|
||||||
|
<Project Path="WebImageViewer/WebImageViewer.csproj" />
|
||||||
|
</Solution>
|
||||||
@@ -0,0 +1,65 @@
|
|||||||
|
using HtmlAgilityPack;
|
||||||
|
using Microsoft.Extensions.Logging;
|
||||||
|
using WebImageViewer.Class.Models;
|
||||||
|
|
||||||
|
namespace WebImageViewer.Class.Common;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 各種Webサイトスクレイパーの共通基底クラス
|
||||||
|
/// </summary>
|
||||||
|
public abstract class BaseScraper : IScraper
|
||||||
|
{
|
||||||
|
protected readonly HttpHelper HttpHelper;
|
||||||
|
protected readonly ILogger Logger;
|
||||||
|
|
||||||
|
public abstract string SiteName { get; }
|
||||||
|
|
||||||
|
protected BaseScraper(HttpHelper httpHelper, ILogger logger)
|
||||||
|
{
|
||||||
|
HttpHelper = httpHelper;
|
||||||
|
Logger = logger;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <inheritdoc/>
|
||||||
|
public abstract bool CanHandle(string urlOrPath);
|
||||||
|
|
||||||
|
/// <inheritdoc/>
|
||||||
|
public abstract Task<GalleryItem?> ScrapeAsync(string idOrUrl, string? category = null, CancellationToken cancellationToken = default);
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 指定されたURLからHTMLを取得し、HtmlDocumentとしてパースします。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="url">対象URL</param>
|
||||||
|
/// <param name="cancellationToken">キャンセレーショントークン</param>
|
||||||
|
/// <returns>パースされたHtmlDocument</returns>
|
||||||
|
protected async Task<HtmlDocument?> LoadHtmlDocumentAsync(string url, CancellationToken cancellationToken = default)
|
||||||
|
{
|
||||||
|
try
|
||||||
|
{
|
||||||
|
Logger.LogInformation("[{SiteName}] HTMLを取得中: {Url}", SiteName, url);
|
||||||
|
var html = await HttpHelper.GetHtmlAsync(url, cancellationToken);
|
||||||
|
|
||||||
|
var doc = new HtmlDocument();
|
||||||
|
doc.LoadHtml(html);
|
||||||
|
return doc;
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
Logger.LogError(ex, "[{SiteName}] HTMLの取得またはパースに失敗しました: {Url}", SiteName, url);
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// HTML文字列のエンティティデコードおよび前後の空白をトリムします。
|
||||||
|
/// </summary>
|
||||||
|
protected static string CleanText(string? input)
|
||||||
|
{
|
||||||
|
if (string.IsNullOrWhiteSpace(input))
|
||||||
|
{
|
||||||
|
return string.Empty;
|
||||||
|
}
|
||||||
|
|
||||||
|
return HtmlEntity.DeEntitize(input).Trim();
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,72 @@
|
|||||||
|
using System.Net.Http.Headers;
|
||||||
|
|
||||||
|
namespace WebImageViewer.Class.Common;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// HTTPリクエスト処理を行う共通ヘルパークラス
|
||||||
|
/// </summary>
|
||||||
|
public class HttpHelper
|
||||||
|
{
|
||||||
|
private readonly HttpClient _httpClient;
|
||||||
|
|
||||||
|
public HttpHelper(HttpClient httpClient)
|
||||||
|
{
|
||||||
|
_httpClient = httpClient;
|
||||||
|
ConfigureDefaultHeaders(_httpClient);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// デフォルトのブラウザ模倣ヘッダーを設定します。
|
||||||
|
/// </summary>
|
||||||
|
private static void ConfigureDefaultHeaders(HttpClient client)
|
||||||
|
{
|
||||||
|
client.DefaultRequestHeaders.Clear();
|
||||||
|
client.DefaultRequestHeaders.UserAgent.ParseAdd(
|
||||||
|
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36");
|
||||||
|
client.DefaultRequestHeaders.Accept.ParseAdd(
|
||||||
|
"text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8");
|
||||||
|
client.DefaultRequestHeaders.AcceptLanguage.ParseAdd("ja,en-US;q=0.9,en;q=0.8");
|
||||||
|
client.Timeout = TimeSpan.FromSeconds(30);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 指定URLからHTML文字列を取得します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="url">対象URL</param>
|
||||||
|
/// <param name="cancellationToken">キャンセレーショントークン</param>
|
||||||
|
/// <returns>HTML文字列</returns>
|
||||||
|
public async Task<string> GetHtmlAsync(string url, CancellationToken cancellationToken = default)
|
||||||
|
{
|
||||||
|
using var request = new HttpRequestMessage(HttpMethod.Get, url);
|
||||||
|
request.Headers.Add("Referer", url);
|
||||||
|
|
||||||
|
using var response = await _httpClient.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, cancellationToken);
|
||||||
|
response.EnsureSuccessStatusCode();
|
||||||
|
|
||||||
|
return await response.Content.ReadAsStringAsync(cancellationToken);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 指定URLのバイト配列(画像等)を取得します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="url">画像URL</param>
|
||||||
|
/// <param name="referer">リファラー(省略可能)</param>
|
||||||
|
/// <param name="cancellationToken">キャンセレーショントークン</param>
|
||||||
|
/// <returns>バイトデータとコンテンツタイプ</returns>
|
||||||
|
public async Task<(byte[] Data, string ContentType)> GetBinaryAsync(string url, string? referer = null, CancellationToken cancellationToken = default)
|
||||||
|
{
|
||||||
|
using var request = new HttpRequestMessage(HttpMethod.Get, url);
|
||||||
|
if (!string.IsNullOrEmpty(referer))
|
||||||
|
{
|
||||||
|
request.Headers.Add("Referer", referer);
|
||||||
|
}
|
||||||
|
|
||||||
|
using var response = await _httpClient.SendAsync(request, cancellationToken);
|
||||||
|
response.EnsureSuccessStatusCode();
|
||||||
|
|
||||||
|
var data = await response.Content.ReadAsByteArrayAsync(cancellationToken);
|
||||||
|
var contentType = response.Content.Headers.ContentType?.MediaType ?? "image/jpeg";
|
||||||
|
|
||||||
|
return (data, contentType);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,30 @@
|
|||||||
|
using WebImageViewer.Class.Models;
|
||||||
|
|
||||||
|
namespace WebImageViewer.Class.Common;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 各スクレイパーが実装すべき共通インターフェース
|
||||||
|
/// </summary>
|
||||||
|
public interface IScraper
|
||||||
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// 対象サイトの名称
|
||||||
|
/// </summary>
|
||||||
|
string SiteName { get; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 指定されたURLやパス、IDをこのスクレイパーで処理可能かどうかを判定します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="urlOrPath">対象のURLまたはパス</param>
|
||||||
|
/// <returns>処理可能な場合はtrue</returns>
|
||||||
|
bool CanHandle(string urlOrPath);
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 作品IDまたはURLからギャラリー情報および画像一覧を取得します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="idOrUrl">作品IDまたはURL</param>
|
||||||
|
/// <param name="category">カテゴリ(fanzine, magazineなど。省略時は自動判定)</param>
|
||||||
|
/// <param name="cancellationToken">キャンセレーショントークン</param>
|
||||||
|
/// <returns>取得したGalleryItem(失敗時はnull)</returns>
|
||||||
|
Task<GalleryItem?> ScrapeAsync(string idOrUrl, string? category = null, CancellationToken cancellationToken = default);
|
||||||
|
}
|
||||||
@@ -0,0 +1,67 @@
|
|||||||
|
namespace WebImageViewer.Class.Models;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// ギャラリー全体の情報(タイトル、メタデータ、画像一覧)を保持するモデル
|
||||||
|
/// </summary>
|
||||||
|
public class GalleryItem
|
||||||
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// 作品ID(例: mo3469109)
|
||||||
|
/// </summary>
|
||||||
|
public string Id { get; set; } = string.Empty;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 作品タイトル
|
||||||
|
/// </summary>
|
||||||
|
public string Title { get; set; } = string.Empty;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// カテゴリ(例: 同人誌, fanzine, 商業誌, magazine 等)
|
||||||
|
/// </summary>
|
||||||
|
public string Category { get; set; } = string.Empty;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// サークル名
|
||||||
|
/// </summary>
|
||||||
|
public string? Circle { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 作者名
|
||||||
|
/// </summary>
|
||||||
|
public string? Author { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// タグ一覧
|
||||||
|
/// </summary>
|
||||||
|
public List<string> Tags { get; set; } = new();
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 総ページ数
|
||||||
|
/// </summary>
|
||||||
|
public int TotalPages => Images.Count;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 表紙・サムネイル画像のURL
|
||||||
|
/// </summary>
|
||||||
|
public string? ThumbnailUrl { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 取得元サイト名(例: momon-ga)
|
||||||
|
/// </summary>
|
||||||
|
public string SourceSite { get; set; } = string.Empty;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 取得元の元ページURL
|
||||||
|
/// </summary>
|
||||||
|
public string SourceUrl { get; set; } = string.Empty;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 画像リスト
|
||||||
|
/// </summary>
|
||||||
|
public List<ImageInfo> Images { get; set; } = new();
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// データ取得日時
|
||||||
|
/// </summary>
|
||||||
|
public DateTime FetchedAt { get; set; } = DateTime.UtcNow;
|
||||||
|
}
|
||||||
@@ -0,0 +1,37 @@
|
|||||||
|
namespace WebImageViewer.Class.Models;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// ギャラリー内の各画像情報を保持するモデル
|
||||||
|
/// </summary>
|
||||||
|
public class ImageInfo
|
||||||
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// ページ番号(1始まり)
|
||||||
|
/// </summary>
|
||||||
|
public int PageNumber { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 画像のURL
|
||||||
|
/// </summary>
|
||||||
|
public string ImageUrl { get; set; } = string.Empty;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// サムネイル画像のURL(未設定の場合はImageUrlと同じ)
|
||||||
|
/// </summary>
|
||||||
|
public string? ThumbnailUrl { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 画像の代替テキスト
|
||||||
|
/// </summary>
|
||||||
|
public string? AltText { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 画像の横幅(取得できた場合)
|
||||||
|
/// </summary>
|
||||||
|
public int? Width { get; set; }
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 画像の高さ(取得できた場合)
|
||||||
|
/// </summary>
|
||||||
|
public int? Height { get; set; }
|
||||||
|
}
|
||||||
File diff suppressed because it is too large.
Load diff
@@ -0,0 +1,233 @@
|
|||||||
|
using System.Text.RegularExpressions;
|
||||||
|
using HtmlAgilityPack;
|
||||||
|
using Microsoft.Extensions.Logging;
|
||||||
|
using WebImageViewer.Class.Common;
|
||||||
|
using WebImageViewer.Class.Models;
|
||||||
|
|
||||||
|
namespace WebImageViewer.Class.Scrapers;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// momon-ga.com 固有のスクレイパークラス
|
||||||
|
/// </summary>
|
||||||
|
public partial class MomongaScraper : BaseScraper
|
||||||
|
{
|
||||||
|
private const string BaseDomain = "momon-ga.com";
|
||||||
|
private const string BaseUrl = "https://momon-ga.com";
|
||||||
|
|
||||||
|
public override string SiteName => "momon-ga";
|
||||||
|
|
||||||
|
public MomongaScraper(HttpHelper httpHelper, ILogger<MomongaScraper> logger)
|
||||||
|
: base(httpHelper, logger)
|
||||||
|
{
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <inheritdoc/>
|
||||||
|
public override bool CanHandle(string urlOrPath)
|
||||||
|
{
|
||||||
|
if (string.IsNullOrWhiteSpace(urlOrPath))
|
||||||
|
{
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
|
// momon-ga のドメインが含まれているか、または典型的なID形式(moから始まる等)かパス形式
|
||||||
|
return urlOrPath.Contains(BaseDomain, StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
urlOrPath.StartsWith("mo", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
urlOrPath.Contains("fanzine", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
urlOrPath.Contains("magazine", StringComparison.OrdinalIgnoreCase);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <inheritdoc/>
|
||||||
|
public override async Task<GalleryItem?> ScrapeAsync(string idOrUrl, string? category = null, CancellationToken cancellationToken = default)
|
||||||
|
{
|
||||||
|
var (targetUrl, normalizedId, resolvedCategory) = ResolveUrlAndId(idOrUrl, category);
|
||||||
|
|
||||||
|
Logger.LogInformation("[{SiteName}] スクレイピング開始 - ID: {Id}, Category: {Category}, URL: {Url}",
|
||||||
|
SiteName, normalizedId, resolvedCategory, targetUrl);
|
||||||
|
|
||||||
|
var doc = await LoadHtmlDocumentAsync(targetUrl, cancellationToken);
|
||||||
|
if (doc == null || doc.DocumentNode == null)
|
||||||
|
{
|
||||||
|
Logger.LogWarning("[{SiteName}] ドキュメントの読み込みに失敗しました: {Url}", SiteName, targetUrl);
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
// タイトルの抽出(h1タグ、またはpost-data内のh1、またはtitleタグ)
|
||||||
|
var titleNode = doc.DocumentNode.SelectSingleNode("//div[@id='post-data']//h1") ??
|
||||||
|
doc.DocumentNode.SelectSingleNode("//h1") ??
|
||||||
|
doc.DocumentNode.SelectSingleNode("//title");
|
||||||
|
var title = CleanText(titleNode?.InnerText) ?? normalizedId;
|
||||||
|
|
||||||
|
// 余分なサイト名表記を除去(例: "新妻契約 - 同人誌 - エロ漫画 momon:GA(モモンガッ!!)" -> "新妻契約")
|
||||||
|
if (title.Contains(" - "))
|
||||||
|
{
|
||||||
|
title = title.Split(" - ")[0].Trim();
|
||||||
|
}
|
||||||
|
|
||||||
|
var galleryItem = new GalleryItem
|
||||||
|
{
|
||||||
|
Id = normalizedId,
|
||||||
|
Title = string.IsNullOrEmpty(title) ? normalizedId : title,
|
||||||
|
Category = resolvedCategory,
|
||||||
|
SourceSite = SiteName,
|
||||||
|
SourceUrl = targetUrl,
|
||||||
|
FetchedAt = DateTime.UtcNow
|
||||||
|
};
|
||||||
|
|
||||||
|
// サークル、作者、タグの抽出
|
||||||
|
ExtractTagsAndMetadata(doc, galleryItem);
|
||||||
|
|
||||||
|
// 画像一覧の抽出(#post-hentai img)
|
||||||
|
ExtractImages(doc, galleryItem);
|
||||||
|
|
||||||
|
// サムネイルの決定(data-thumb属性、または1枚目の画像)
|
||||||
|
var historyNode = doc.DocumentNode.SelectSingleNode("//div[contains(@class, 'history')]");
|
||||||
|
var dataThumb = historyNode?.GetAttributeValue("data-thumb", null);
|
||||||
|
if (!string.IsNullOrWhiteSpace(dataThumb))
|
||||||
|
{
|
||||||
|
galleryItem.ThumbnailUrl = dataThumb;
|
||||||
|
}
|
||||||
|
else if (galleryItem.Images.Count > 0)
|
||||||
|
{
|
||||||
|
galleryItem.ThumbnailUrl = galleryItem.Images[0].ImageUrl;
|
||||||
|
}
|
||||||
|
|
||||||
|
Logger.LogInformation("[{SiteName}] スクレイピング完了: 『{Title}』, 画像数: {Count}枚",
|
||||||
|
SiteName, galleryItem.Title, galleryItem.Images.Count);
|
||||||
|
|
||||||
|
return galleryItem;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// IDまたはURLから完全なリクエストURL、正規化されたID、カテゴリを解決します。
|
||||||
|
/// </summary>
|
||||||
|
private static (string TargetUrl, string NormalizedId, string ResolvedCategory) ResolveUrlAndId(string idOrUrl, string? category)
|
||||||
|
{
|
||||||
|
var trimmed = idOrUrl.Trim();
|
||||||
|
string resolvedCategory = string.IsNullOrWhiteSpace(category) ? "fanzine" : category.Trim().ToLowerInvariant();
|
||||||
|
string normalizedId;
|
||||||
|
|
||||||
|
if (trimmed.StartsWith("http://", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
trimmed.StartsWith("https://", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
// URL形式の場合
|
||||||
|
var uri = new Uri(trimmed);
|
||||||
|
var segments = uri.AbsolutePath.Split('/', StringSplitOptions.RemoveEmptyEntries);
|
||||||
|
if (segments.Length >= 2)
|
||||||
|
{
|
||||||
|
resolvedCategory = segments[0];
|
||||||
|
normalizedId = segments[1];
|
||||||
|
}
|
||||||
|
else if (segments.Length == 1)
|
||||||
|
{
|
||||||
|
normalizedId = segments[0];
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
normalizedId = trimmed;
|
||||||
|
}
|
||||||
|
|
||||||
|
return ($"{BaseUrl}/{resolvedCategory}/{normalizedId}/", normalizedId, resolvedCategory);
|
||||||
|
}
|
||||||
|
|
||||||
|
// パスまたはIDのみの場合(例: "fanzine/mo3469109" や "mo3469109")
|
||||||
|
if (trimmed.Contains('/'))
|
||||||
|
{
|
||||||
|
var parts = trimmed.Split('/', StringSplitOptions.RemoveEmptyEntries);
|
||||||
|
if (parts.Length >= 2)
|
||||||
|
{
|
||||||
|
resolvedCategory = parts[0];
|
||||||
|
normalizedId = parts[1];
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
normalizedId = parts[0];
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
normalizedId = trimmed;
|
||||||
|
}
|
||||||
|
|
||||||
|
var fullUrl = $"{BaseUrl}/{resolvedCategory}/{normalizedId}/";
|
||||||
|
return (fullUrl, normalizedId, resolvedCategory);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// タグテーブルからサークル、作者、内容タグを抽出します。
|
||||||
|
/// </summary>
|
||||||
|
private static void ExtractTagsAndMetadata(HtmlDocument doc, GalleryItem item)
|
||||||
|
{
|
||||||
|
var tagTables = doc.DocumentNode.SelectNodes("//div[@id='post-tag']//div[contains(@class, 'post-tag-table')]");
|
||||||
|
if (tagTables == null) return;
|
||||||
|
|
||||||
|
foreach (var table in tagTables)
|
||||||
|
{
|
||||||
|
var titleNode = table.SelectSingleNode(".//div[contains(@class, 'post-tag-title')]");
|
||||||
|
var titleText = CleanText(titleNode?.InnerText);
|
||||||
|
|
||||||
|
var linkNodes = table.SelectNodes(".//div[contains(@class, 'post-tags')]//a");
|
||||||
|
if (linkNodes == null) continue;
|
||||||
|
|
||||||
|
var tagValues = linkNodes.Select(n => CleanText(n.InnerText)).Where(s => !string.IsNullOrEmpty(s)).ToList();
|
||||||
|
|
||||||
|
if (titleText.Contains("サークル", StringComparison.OrdinalIgnoreCase) || titleText.Contains("グループ", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
item.Circle = string.Join(", ", tagValues);
|
||||||
|
}
|
||||||
|
else if (titleText.Contains("作者", StringComparison.OrdinalIgnoreCase) || titleText.Contains("漫画家", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
item.Author = string.Join(", ", tagValues);
|
||||||
|
}
|
||||||
|
else if (titleText.Contains("内容", StringComparison.OrdinalIgnoreCase) || titleText.Contains("タグ", StringComparison.OrdinalIgnoreCase) || titleText.Contains("キャラクター", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
item.Tags.AddRange(tagValues);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 本文領域から画像一覧を抽出します。
|
||||||
|
/// </summary>
|
||||||
|
private static void ExtractImages(HtmlDocument doc, GalleryItem item)
|
||||||
|
{
|
||||||
|
var imgNodes = doc.DocumentNode.SelectNodes("//div[@id='post-hentai']//img") ??
|
||||||
|
doc.DocumentNode.SelectNodes("//div[contains(@class, 'entry-content')]//img") ??
|
||||||
|
doc.DocumentNode.SelectNodes("//article//img");
|
||||||
|
|
||||||
|
if (imgNodes == null) return;
|
||||||
|
|
||||||
|
int pageNum = 1;
|
||||||
|
foreach (var img in imgNodes)
|
||||||
|
{
|
||||||
|
// src または data-src, data-lazy-src 属性から画像URLを取得
|
||||||
|
var src = img.GetAttributeValue("src", null) ??
|
||||||
|
img.GetAttributeValue("data-src", null) ??
|
||||||
|
img.GetAttributeValue("data-lazy-src", null);
|
||||||
|
|
||||||
|
if (string.IsNullOrWhiteSpace(src)) continue;
|
||||||
|
|
||||||
|
// 広告画像やアイコン等を除外
|
||||||
|
if (src.Contains("themes", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
src.Contains("plugins", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
src.Contains("banner", StringComparison.OrdinalIgnoreCase) ||
|
||||||
|
src.Contains("ad_", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
var alt = img.GetAttributeValue("alt", null);
|
||||||
|
int? width = int.TryParse(img.GetAttributeValue("width", null), out var w) ? w : null;
|
||||||
|
int? height = int.TryParse(img.GetAttributeValue("height", null), out var h) ? h : null;
|
||||||
|
|
||||||
|
item.Images.Add(new ImageInfo
|
||||||
|
{
|
||||||
|
PageNumber = pageNum++,
|
||||||
|
ImageUrl = src,
|
||||||
|
ThumbnailUrl = src,
|
||||||
|
AltText = CleanText(alt),
|
||||||
|
Width = width,
|
||||||
|
Height = height
|
||||||
|
});
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,77 @@
|
|||||||
|
using Microsoft.Extensions.Caching.Memory;
|
||||||
|
using Microsoft.Extensions.Logging;
|
||||||
|
using WebImageViewer.Class.Common;
|
||||||
|
using WebImageViewer.Class.Models;
|
||||||
|
|
||||||
|
namespace WebImageViewer.Class.Services;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 各種スクレイパーを管理し、ギャラリーの取得とキャッシュ制御を行うサービスクラス
|
||||||
|
/// </summary>
|
||||||
|
public class GalleryService
|
||||||
|
{
|
||||||
|
private readonly IEnumerable<IScraper> _scrapers;
|
||||||
|
private readonly IMemoryCache _cache;
|
||||||
|
private readonly ILogger<GalleryService> _logger;
|
||||||
|
|
||||||
|
// キャッシュ有効期間(デフォルト: 1時間)
|
||||||
|
private static readonly TimeSpan DefaultCacheDuration = TimeSpan.FromHours(1);
|
||||||
|
|
||||||
|
public GalleryService(
|
||||||
|
IEnumerable<IScraper> scrapers,
|
||||||
|
IMemoryCache cache,
|
||||||
|
ILogger<GalleryService> logger)
|
||||||
|
{
|
||||||
|
_scrapers = scrapers;
|
||||||
|
_cache = cache;
|
||||||
|
_logger = logger;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 指定されたIDまたはURL、カテゴリからギャラリー情報を取得します(キャッシュ付き)。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="idOrUrl">作品IDまたはURL</param>
|
||||||
|
/// <param name="category">カテゴリ(fanzine, magazineなど)</param>
|
||||||
|
/// <param name="bypassCache">キャッシュを無視して再取得するかどうか</param>
|
||||||
|
/// <param name="cancellationToken">キャンセレーショントークン</param>
|
||||||
|
/// <returns>取得したGalleryItem</returns>
|
||||||
|
public async Task<GalleryItem?> GetGalleryAsync(
|
||||||
|
string idOrUrl,
|
||||||
|
string? category = null,
|
||||||
|
bool bypassCache = false,
|
||||||
|
CancellationToken cancellationToken = default)
|
||||||
|
{
|
||||||
|
if (string.IsNullOrWhiteSpace(idOrUrl))
|
||||||
|
{
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
var cacheKey = $"gallery_{category ?? "default"}_{idOrUrl.Trim().ToLowerInvariant()}";
|
||||||
|
|
||||||
|
if (!bypassCache && _cache.TryGetValue(cacheKey, out GalleryItem? cachedItem) && cachedItem != null)
|
||||||
|
{
|
||||||
|
_logger.LogInformation("キャッシュからギャラリー情報を取得しました: {Key}", cacheKey);
|
||||||
|
return cachedItem;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 処理可能なスクレイパーを探索
|
||||||
|
var scraper = _scrapers.FirstOrDefault(s => s.CanHandle(idOrUrl));
|
||||||
|
if (scraper == null)
|
||||||
|
{
|
||||||
|
_logger.LogWarning("対象のURL/IDを処理できるスクレイパーが見つかりませんでした: {Input}", idOrUrl);
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
_logger.LogInformation("スクレイパー [{SiteName}] を使用して取得を開始します: {Input}", scraper.SiteName, idOrUrl);
|
||||||
|
|
||||||
|
var result = await scraper.ScrapeAsync(idOrUrl, category, cancellationToken);
|
||||||
|
if (result != null && result.Images.Count > 0)
|
||||||
|
{
|
||||||
|
// キャッシュに保存
|
||||||
|
_cache.Set(cacheKey, result, DefaultCacheDuration);
|
||||||
|
_logger.LogInformation("ギャラリー情報をキャッシュに保存しました: {Key} (画像 {Count} 枚)", cacheKey, result.Images.Count);
|
||||||
|
}
|
||||||
|
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,141 @@
|
|||||||
|
using Microsoft.AspNetCore.HttpOverrides;
|
||||||
|
using WebImageViewer.Class.Common;
|
||||||
|
using WebImageViewer.Class.Renderers;
|
||||||
|
using WebImageViewer.Class.Scrapers;
|
||||||
|
using WebImageViewer.Class.Services;
|
||||||
|
|
||||||
|
var builder = WebApplication.CreateBuilder(args);
|
||||||
|
|
||||||
|
// ==========================================
|
||||||
|
// サービスの登録 (DIコンテナ)
|
||||||
|
// ==========================================
|
||||||
|
|
||||||
|
// メモリキャッシュ機能の追加(VPSのトラフィック削減・高速化)
|
||||||
|
builder.Services.AddMemoryCache();
|
||||||
|
|
||||||
|
// HTTP通信用ヘルパーの登録
|
||||||
|
builder.Services.AddHttpClient<HttpHelper>();
|
||||||
|
|
||||||
|
// 各種スクレイパークラスの登録(Class/Scrapers フォルダより)
|
||||||
|
builder.Services.AddScoped<IScraper, MomongaScraper>();
|
||||||
|
builder.Services.AddScoped<MomongaScraper>();
|
||||||
|
|
||||||
|
// ギャラリー統括管理サービスの登録(Class/Services フォルダより)
|
||||||
|
builder.Services.AddScoped<GalleryService>();
|
||||||
|
|
||||||
|
// VPS(リバースプロキシ環境: https://udukipc-web.armonica-vps.work/)対応のフォワードヘッダー設定
|
||||||
|
builder.Services.Configure<ForwardedHeadersOptions>(options =>
|
||||||
|
{
|
||||||
|
options.ForwardedHeaders = ForwardedHeaders.XForwardedFor | ForwardedHeaders.XForwardedProto | ForwardedHeaders.XForwardedHost;
|
||||||
|
// リバースプロキシ背後での動作を許可
|
||||||
|
options.KnownIPNetworks.Clear();
|
||||||
|
options.KnownProxies.Clear();
|
||||||
|
});
|
||||||
|
|
||||||
|
var app = builder.Build();
|
||||||
|
|
||||||
|
// ==========================================
|
||||||
|
// ミドルウェアパイプラインの設定
|
||||||
|
// ==========================================
|
||||||
|
|
||||||
|
app.UseForwardedHeaders();
|
||||||
|
|
||||||
|
// ==========================================
|
||||||
|
// ルーティング・エンドポイントの定義
|
||||||
|
// ==========================================
|
||||||
|
|
||||||
|
// トップページ(URL入力・ギャラリー検索UI)
|
||||||
|
app.MapGet("/", () => Results.Content(HtmlRenderer.RenderHomePage(), "text/html; charset=utf-8"));
|
||||||
|
|
||||||
|
// 同人誌ビューアー画面(例: /fanzine/mo3469109/)
|
||||||
|
app.MapGet("/fanzine/{id}", async (string id, GalleryService galleryService, CancellationToken ct) =>
|
||||||
|
{
|
||||||
|
var gallery = await galleryService.GetGalleryAsync(id, "fanzine", false, ct);
|
||||||
|
if (gallery == null || gallery.Images.Count == 0)
|
||||||
|
{
|
||||||
|
return Results.Content(
|
||||||
|
HtmlRenderer.RenderErrorPage($"指定された作品(ID: {id})の画像一覧を取得できませんでした。URLまたはIDをご確認ください。", 404),
|
||||||
|
"text/html; charset=utf-8",
|
||||||
|
statusCode: 404);
|
||||||
|
}
|
||||||
|
|
||||||
|
return Results.Content(HtmlRenderer.RenderGalleryViewer(gallery), "text/html; charset=utf-8");
|
||||||
|
});
|
||||||
|
|
||||||
|
// 商業誌・雑誌ビューアー画面(例: /magazine/{id}/)
|
||||||
|
app.MapGet("/magazine/{id}", async (string id, GalleryService galleryService, CancellationToken ct) =>
|
||||||
|
{
|
||||||
|
var gallery = await galleryService.GetGalleryAsync(id, "magazine", false, ct);
|
||||||
|
if (gallery == null || gallery.Images.Count == 0)
|
||||||
|
{
|
||||||
|
return Results.Content(
|
||||||
|
HtmlRenderer.RenderErrorPage($"指定された雑誌・商業誌(ID: {id})の画像一覧を取得できませんでした。", 404),
|
||||||
|
"text/html; charset=utf-8",
|
||||||
|
statusCode: 404);
|
||||||
|
}
|
||||||
|
|
||||||
|
return Results.Content(HtmlRenderer.RenderGalleryViewer(gallery), "text/html; charset=utf-8");
|
||||||
|
});
|
||||||
|
|
||||||
|
// JSON API: 同人誌メタデータおよび画像リストの取得(例: /api/fanzine/mo3469109)
|
||||||
|
app.MapGet("/api/fanzine/{id}", async (string id, GalleryService galleryService, CancellationToken ct) =>
|
||||||
|
{
|
||||||
|
var gallery = await galleryService.GetGalleryAsync(id, "fanzine", false, ct);
|
||||||
|
if (gallery == null)
|
||||||
|
{
|
||||||
|
return Results.NotFound(new { error = "Gallery not found", id, category = "fanzine" });
|
||||||
|
}
|
||||||
|
|
||||||
|
return Results.Ok(gallery);
|
||||||
|
});
|
||||||
|
|
||||||
|
// JSON API: 商業誌メタデータおよび画像リストの取得
|
||||||
|
app.MapGet("/api/magazine/{id}", async (string id, GalleryService galleryService, CancellationToken ct) =>
|
||||||
|
{
|
||||||
|
var gallery = await galleryService.GetGalleryAsync(id, "magazine", false, ct);
|
||||||
|
if (gallery == null)
|
||||||
|
{
|
||||||
|
return Results.NotFound(new { error = "Gallery not found", id, category = "magazine" });
|
||||||
|
}
|
||||||
|
|
||||||
|
return Results.Ok(gallery);
|
||||||
|
});
|
||||||
|
|
||||||
|
// 汎用スクレイピングAPI(URLまたはIDを受け取り画像一覧を取得)
|
||||||
|
app.MapGet("/api/scrape", async (string? url, string? id, string? category, GalleryService galleryService, CancellationToken ct) =>
|
||||||
|
{
|
||||||
|
var target = url ?? id;
|
||||||
|
if (string.IsNullOrWhiteSpace(target))
|
||||||
|
{
|
||||||
|
return Results.BadRequest(new { error = "url または id パラメータを指定してください。" });
|
||||||
|
}
|
||||||
|
|
||||||
|
var gallery = await galleryService.GetGalleryAsync(target, category, false, ct);
|
||||||
|
if (gallery == null)
|
||||||
|
{
|
||||||
|
return Results.NotFound(new { error = "Gallery not found", target });
|
||||||
|
}
|
||||||
|
|
||||||
|
return Results.Ok(gallery);
|
||||||
|
});
|
||||||
|
|
||||||
|
// 画像プロキシエンドポイント(CORSや外部Referer制約を回避する必要がある場合に使用)
|
||||||
|
app.MapGet("/api/proxy-image", async (string url, string? referer, HttpHelper httpHelper, CancellationToken ct) =>
|
||||||
|
{
|
||||||
|
if (string.IsNullOrWhiteSpace(url))
|
||||||
|
{
|
||||||
|
return Results.BadRequest("URL is required");
|
||||||
|
}
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
var (data, contentType) = await httpHelper.GetBinaryAsync(url, referer, ct);
|
||||||
|
return Results.File(data, contentType);
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
return Results.Problem(detail: ex.Message, statusCode: 502);
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
|
app.Run();
|
||||||
@@ -0,0 +1,15 @@
|
|||||||
|
<?xml version="1.0" encoding="utf-8"?>
|
||||||
|
<!-- https://go.microsoft.com/fwlink/?LinkID=208121. -->
|
||||||
|
<Project>
|
||||||
|
<PropertyGroup>
|
||||||
|
<DeleteExistingFiles>false</DeleteExistingFiles>
|
||||||
|
<ExcludeApp_Data>false</ExcludeApp_Data>
|
||||||
|
<LaunchSiteAfterPublish>true</LaunchSiteAfterPublish>
|
||||||
|
<LastUsedBuildConfiguration>Release</LastUsedBuildConfiguration>
|
||||||
|
<LastUsedPlatform>Any CPU</LastUsedPlatform>
|
||||||
|
<PublishProvider>FileSystem</PublishProvider>
|
||||||
|
<PublishUrl>C:\docker\web\</PublishUrl>
|
||||||
|
<WebPublishMethod>FileSystem</WebPublishMethod>
|
||||||
|
<_TargetId>Folder</_TargetId>
|
||||||
|
</PropertyGroup>
|
||||||
|
</Project>
|
||||||
@@ -0,0 +1,14 @@
|
|||||||
|
{
|
||||||
|
"$schema": "https://json.schemastore.org/launchsettings.json",
|
||||||
|
"profiles": {
|
||||||
|
"http": {
|
||||||
|
"commandName": "Project",
|
||||||
|
"dotnetRunMessages": true,
|
||||||
|
"launchBrowser": false,
|
||||||
|
"applicationUrl": "http://localhost:5175",
|
||||||
|
"environmentVariables": {
|
||||||
|
"ASPNETCORE_ENVIRONMENT": "Development"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,13 @@
|
|||||||
|
<Project Sdk="Microsoft.NET.Sdk.Web">
|
||||||
|
|
||||||
|
<PropertyGroup>
|
||||||
|
<TargetFramework>net10.0</TargetFramework>
|
||||||
|
<Nullable>enable</Nullable>
|
||||||
|
<ImplicitUsings>enable</ImplicitUsings>
|
||||||
|
</PropertyGroup>
|
||||||
|
|
||||||
|
<ItemGroup>
|
||||||
|
<PackageReference Include="HtmlAgilityPack" Version="1.13.0" />
|
||||||
|
</ItemGroup>
|
||||||
|
|
||||||
|
</Project>
|
||||||
@@ -0,0 +1,6 @@
|
|||||||
|
@WebImageViewer_HostAddress = http://localhost:5175
|
||||||
|
|
||||||
|
GET {{WebImageViewer_HostAddress}}/fanzine/mo3469109
|
||||||
|
Accept: application/json
|
||||||
|
|
||||||
|
###
|
||||||
@@ -0,0 +1,8 @@
|
|||||||
|
{
|
||||||
|
"Logging": {
|
||||||
|
"LogLevel": {
|
||||||
|
"Default": "Information",
|
||||||
|
"Microsoft.AspNetCore": "Warning"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,9 @@
|
|||||||
|
{
|
||||||
|
"Logging": {
|
||||||
|
"LogLevel": {
|
||||||
|
"Default": "Information",
|
||||||
|
"Microsoft.AspNetCore": "Warning"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"AllowedHosts": "*"
|
||||||
|
}
|
||||||
Reference in new issue
Block a user