feat: add e-hentai gallery fetching and AI filtering logic

This commit is contained in:
armonica committed 2026-08-30 00:39:29 +09:00
1 parent c9a14d450b
commit 223e57c96e
3 files changed
+163 -18

No files matched your search

@@ -12,7 +12,7 @@ internal class e_hentai_ai
{ {
/// <summary> /// <summary>
/// E-Hentai の最新ギャラリーから「ai generated」タグが付いている日本語作品を抽出し、 /// E-Hentai の最新ギャラリーから「ai generated」タグが付いている日本語作品を抽出し、
/// RSSフィード (e_hentai_ai.xml) を生成します。 /// 全画像を含めた RSS フィード (e_hentai_ai.xml) を生成します。
/// </summary> /// </summary>
/// <param name="client">HttpClient インスタンス</param> /// <param name="client">HttpClient インスタンス</param>
public static async Task CreateRSSAsync(HttpClient client) public static async Task CreateRSSAsync(HttpClient client)
@@ -25,13 +25,13 @@ internal class e_hentai_ai
// 「ai generated」タグを持つ作品のみを抽出 // 「ai generated」タグを持つ作品のみを抽出
var aiGalleries = galleries.Where(g => g.IsAiGenerated).ToList(); var aiGalleries = galleries.Where(g => g.IsAiGenerated).ToList();
// SyndicationItem のリストに変換 // 全画像を取得して SyndicationItem のリストに変換
var items = e_hentai_common.ConvertToSyndicationItems(aiGalleries); var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, aiGalleries);
// RSS フィードの作成 // RSS フィードの作成
var feed = new SyndicationFeed( var feed = new SyndicationFeed(
"E-Hentai (AI Generated - Japanese)", "E-Hentai (AI Generated - Japanese)",
"E-Hentai の AI 生成タグ付き最新日本語作品フィード", "E-Hentai の AI 生成タグ付き最新日本語作品フィード(全画像収録)",
new Uri("https://e-hentai.org/"), new Uri("https://e-hentai.org/"),
items items
); );
@@ -31,13 +31,14 @@ internal static class e_hentai_common
public DateTime PublishedDate { get; set; } public DateTime PublishedDate { get; set; }
public List<string> Tags { get; set; } = new(); public List<string> Tags { get; set; } = new();
public bool IsAiGenerated { get; set; } public bool IsAiGenerated { get; set; }
public List<string> ImageUrls { get; set; } = new();
} }
/// <summary> /// <summary>
/// E-Hentai からギャラリー一覧を取得し、日本語以外の作品を除外したギャラリーリストを返します。 /// E-Hentai からギャラリー一覧を取得し、日本語以外の作品を除外したギャラリーリストを返します。
/// </summary> /// </summary>
/// <param name="client">HttpClient インスタンス</param> /// <param name="client">HttpClient インスタンス</param>
/// <param name="maxPages">取得するページ数(デフォルト: 5ページ = 125件)</param> /// <param name="maxPages">取得する一覧ページ数(デフォルト: 5ページ = 125件)</param>
/// <returns>取得・フィルタリング済みの GalleryItem リスト</returns> /// <returns>取得・フィルタリング済みの GalleryItem リスト</returns>
public static async Task<List<GalleryItem>> FetchGalleriesAsync(HttpClient client, int maxPages = 5) public static async Task<List<GalleryItem>> FetchGalleriesAsync(HttpClient client, int maxPages = 5)
{ {
@@ -185,13 +186,146 @@ internal static class e_hentai_common
} }
/// <summary> /// <summary>
/// GalleryItem リストから SyndicationItem のリストを生成します。 /// 対象ギャラリーの詳細ページ・ビューアページを巡回し、日本語タイトルおよび全画像の直接URLを取得します。
/// </summary> /// </summary>
public static List<SyndicationItem> ConvertToSyndicationItems(IEnumerable<GalleryItem> galleries) /// <param name="client">HttpClient インスタンス</param>
/// <param name="gallery">ギャラリー情報オブジェクト</param>
/// <returns>全画像URLリスト(順序保持)</returns>
public static async Task<List<string>> FetchAllGalleryImagesAsync(HttpClient client, GalleryItem gallery)
{ {
var parser = new HtmlParser();
var viewerLinks = new List<string>();
try
{
// 1. ギャラリー詳細ページの全ページからビューアリンク(/s/...)を収集
int p = 0;
while (true)
{
var pageUrl = $"{gallery.Url}?p={p}";
using var req = new HttpRequestMessage(HttpMethod.Get, pageUrl);
req.Headers.Add("Cookie", "nw=1");
using var res = await client.SendAsync(req);
if (!res.IsSuccessStatusCode) break;
var html = await res.Content.ReadAsStringAsync();
var doc = await parser.ParseDocumentAsync(html);
// 最初の詳細ページ(p == 0)で日本語タイトル (#gj) が存在すればタイトルを更新
if (p == 0)
{
var japaneseTitle = doc.QuerySelector("#gd2 #gj, #gj")?.TextContent.Trim();
if (!string.IsNullOrEmpty(japaneseTitle))
{
gallery.Title = japaneseTitle;
}
else
{
var englishTitle = doc.QuerySelector("#gd2 #gn, #gn")?.TextContent.Trim();
if (!string.IsNullOrEmpty(englishTitle) && (string.IsNullOrEmpty(gallery.Title) || gallery.Title == "No Title"))
{
gallery.Title = englishTitle;
}
}
}
var links = doc.QuerySelectorAll("#gdt a")
.Select(a => a.GetAttribute("href"))
.Where(href => !string.IsNullOrEmpty(href) && href.Contains("/s/"))
.ToList();
if (links.Count == 0) break;
if (viewerLinks.Contains(links[0]!)) break;
viewerLinks.AddRange(links!);
// ページネーション末尾の確認
var ptb = doc.QuerySelector("table.ptb");
var nextPtb = ptb?.QuerySelector("td:last-child a");
if (nextPtb == null)
{
break;
}
p++;
}
if (viewerLinks.Count == 0)
{
return new List<string>();
}
// 2. 各ビューアページから画像URL(#img src)を並行取得
var imageUrls = new string[viewerLinks.Count];
var semaphore = new System.Threading.SemaphoreSlim(10); // 最大同時10接続
var tasks = viewerLinks.Select(async (vLink, index) =>
{
await semaphore.WaitAsync();
try
{
using var vReq = new HttpRequestMessage(HttpMethod.Get, vLink);
vReq.Headers.Add("Cookie", "nw=1");
using var vRes = await client.SendAsync(vReq);
if (vRes.IsSuccessStatusCode)
{
var vHtml = await vRes.Content.ReadAsStringAsync();
var vDoc = await parser.ParseDocumentAsync(vHtml);
var imgSrc = vDoc.QuerySelector("#img")?.GetAttribute("src");
if (!string.IsNullOrEmpty(imgSrc))
{
imageUrls[index] = imgSrc;
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] ビューア画像取得エラー ({vLink}): {ex.Message}");
}
finally
{
semaphore.Release();
}
});
await Task.WhenAll(tasks);
return imageUrls.Where(url => !string.IsNullOrEmpty(url)).ToList();
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] ギャラリー全画像取得エラー ({gallery.Url}): {ex.Message}");
return new List<string>();
}
}
/// <summary>
/// GalleryItem リストに対して全画像を取得し、SyndicationItem のリストを生成します。
/// </summary>
public static async Task<List<SyndicationItem>> PopulateAndConvertToSyndicationItemsAsync(HttpClient client, IEnumerable<GalleryItem> galleries)
{
var galleryList = galleries.ToList();
// 各ギャラリーの全画像取得を並行して実行(最大5ギャラリー同時)
var gallerySemaphore = new System.Threading.SemaphoreSlim(5);
var fetchImageTasks = galleryList.Select(async gallery =>
{
await gallerySemaphore.WaitAsync();
try
{
gallery.ImageUrls = await FetchAllGalleryImagesAsync(client, gallery);
}
finally
{
gallerySemaphore.Release();
}
});
await Task.WhenAll(fetchImageTasks);
var items = new List<SyndicationItem>(); var items = new List<SyndicationItem>();
foreach (var gallery in galleries) foreach (var gallery in galleryList)
{ {
var item = new SyndicationItem var item = new SyndicationItem
{ {
@@ -229,11 +363,6 @@ internal static class e_hentai_common
var body = new StringBuilder(); var body = new StringBuilder();
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}""><b>{WebUtility.HtmlEncode(gallery.Title)}</b></a></div>"); body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}""><b>{WebUtility.HtmlEncode(gallery.Title)}</b></a></div>");
if (!string.IsNullOrWhiteSpace(gallery.ThumbnailUrl))
{
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}""><img src=""{gallery.ThumbnailUrl}"" alt=""{WebUtility.HtmlEncode(gallery.Title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
}
body.Append("<div style=\"font-size: 0.9em; color: #555; margin-bottom: 6px;\">"); body.Append("<div style=\"font-size: 0.9em; color: #555; margin-bottom: 6px;\">");
if (!string.IsNullOrWhiteSpace(gallery.Category)) if (!string.IsNullOrWhiteSpace(gallery.Category))
{ {
@@ -251,7 +380,23 @@ internal static class e_hentai_common
if (gallery.Tags.Count > 0) if (gallery.Tags.Count > 0)
{ {
body.Append($"<div style=\"font-size: 0.85em; color: #777;\"><b>Tags:</b> {WebUtility.HtmlEncode(string.Join(", ", gallery.Tags))}</div>"); body.Append($"<div style=\"font-size: 0.85em; color: #777; margin-bottom: 12px;\"><b>Tags:</b> {WebUtility.HtmlEncode(string.Join(", ", gallery.Tags))}</div>");
}
// 全画像を順番に出力
if (gallery.ImageUrls.Count > 0)
{
int pageNum = 1;
foreach (var imgUrl in gallery.ImageUrls)
{
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{imgUrl}"" target=""_blank"" rel=""noopener noreferrer""><img src=""{imgUrl}"" alt=""{WebUtility.HtmlEncode(gallery.Title)} - {pageNum}"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a></div>");
pageNum++;
}
}
else if (!string.IsNullOrWhiteSpace(gallery.ThumbnailUrl))
{
// フォールバック: 全画像が取得できなかった場合はサムネイルを表示
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}""><img src=""{gallery.ThumbnailUrl}"" alt=""{WebUtility.HtmlEncode(gallery.Title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
} }
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
@@ -12,7 +12,7 @@ internal class e_hentai_non_ai
{ {
/// <summary> /// <summary>
/// E-Hentai の最新ギャラリーから「ai generated」タグが付いていない日本語作品を抽出し、 /// E-Hentai の最新ギャラリーから「ai generated」タグが付いていない日本語作品を抽出し、
/// RSSフィード (e_hentai_non_ai.xml) を生成します。 /// 全画像を含めた RSS フィード (e_hentai_non_ai.xml) を生成します。
/// </summary> /// </summary>
/// <param name="client">HttpClient インスタンス</param> /// <param name="client">HttpClient インスタンス</param>
public static async Task CreateRSSAsync(HttpClient client) public static async Task CreateRSSAsync(HttpClient client)
@@ -25,13 +25,13 @@ internal class e_hentai_non_ai
// 「ai generated」タグを持たない作品のみを抽出 // 「ai generated」タグを持たない作品のみを抽出
var nonAiGalleries = galleries.Where(g => !g.IsAiGenerated).ToList(); var nonAiGalleries = galleries.Where(g => !g.IsAiGenerated).ToList();
// SyndicationItem のリストに変換 // 全画像を取得して SyndicationItem のリストに変換
var items = e_hentai_common.ConvertToSyndicationItems(nonAiGalleries); var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, nonAiGalleries);
// RSS フィードの作成 // RSS フィードの作成
var feed = new SyndicationFeed( var feed = new SyndicationFeed(
"E-Hentai (Non-AI - Japanese)", "E-Hentai (Non-AI - Japanese)",
"E-Hentai の非AI生成タグ最新日本語作品フィード", "E-Hentai の非AI生成タグ最新日本語作品フィード(全画像収録)",
new Uri("https://e-hentai.org/"), new Uri("https://e-hentai.org/"),
items items
); );