feat: add e-hentai gallery fetching and AI filtering logic
This commit is contained in:
1 parent
c9a14d450b
commit
223e57c96e
3 files changed
+163
-18
No files matched your search
@@ -12,7 +12,7 @@ internal class e_hentai_ai
|
|||||||
{
|
{
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// E-Hentai の最新ギャラリーから「ai generated」タグが付いている日本語作品を抽出し、
|
/// E-Hentai の最新ギャラリーから「ai generated」タグが付いている日本語作品を抽出し、
|
||||||
/// RSSフィード (e_hentai_ai.xml) を生成します。
|
/// 全画像を含めた RSS フィード (e_hentai_ai.xml) を生成します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
/// <param name="client">HttpClient インスタンス</param>
|
/// <param name="client">HttpClient インスタンス</param>
|
||||||
public static async Task CreateRSSAsync(HttpClient client)
|
public static async Task CreateRSSAsync(HttpClient client)
|
||||||
@@ -25,13 +25,13 @@ internal class e_hentai_ai
|
|||||||
// 「ai generated」タグを持つ作品のみを抽出
|
// 「ai generated」タグを持つ作品のみを抽出
|
||||||
var aiGalleries = galleries.Where(g => g.IsAiGenerated).ToList();
|
var aiGalleries = galleries.Where(g => g.IsAiGenerated).ToList();
|
||||||
|
|
||||||
// SyndicationItem のリストに変換
|
// 全画像を取得して SyndicationItem のリストに変換
|
||||||
var items = e_hentai_common.ConvertToSyndicationItems(aiGalleries);
|
var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, aiGalleries);
|
||||||
|
|
||||||
// RSS フィードの作成
|
// RSS フィードの作成
|
||||||
var feed = new SyndicationFeed(
|
var feed = new SyndicationFeed(
|
||||||
"E-Hentai (AI Generated - Japanese)",
|
"E-Hentai (AI Generated - Japanese)",
|
||||||
"E-Hentai の AI 生成タグ付き最新日本語作品フィード",
|
"E-Hentai の AI 生成タグ付き最新日本語作品フィード(全画像収録)",
|
||||||
new Uri("https://e-hentai.org/"),
|
new Uri("https://e-hentai.org/"),
|
||||||
items
|
items
|
||||||
);
|
);
|
||||||
|
|||||||
@@ -31,13 +31,14 @@ internal static class e_hentai_common
|
|||||||
public DateTime PublishedDate { get; set; }
|
public DateTime PublishedDate { get; set; }
|
||||||
public List<string> Tags { get; set; } = new();
|
public List<string> Tags { get; set; } = new();
|
||||||
public bool IsAiGenerated { get; set; }
|
public bool IsAiGenerated { get; set; }
|
||||||
|
public List<string> ImageUrls { get; set; } = new();
|
||||||
}
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// E-Hentai からギャラリー一覧を取得し、日本語以外の作品を除外したギャラリーリストを返します。
|
/// E-Hentai からギャラリー一覧を取得し、日本語以外の作品を除外したギャラリーリストを返します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
/// <param name="client">HttpClient インスタンス</param>
|
/// <param name="client">HttpClient インスタンス</param>
|
||||||
/// <param name="maxPages">取得するページ数(デフォルト: 5ページ = 125件)</param>
|
/// <param name="maxPages">取得する一覧ページ数(デフォルト: 5ページ = 125件)</param>
|
||||||
/// <returns>取得・フィルタリング済みの GalleryItem リスト</returns>
|
/// <returns>取得・フィルタリング済みの GalleryItem リスト</returns>
|
||||||
public static async Task<List<GalleryItem>> FetchGalleriesAsync(HttpClient client, int maxPages = 5)
|
public static async Task<List<GalleryItem>> FetchGalleriesAsync(HttpClient client, int maxPages = 5)
|
||||||
{
|
{
|
||||||
@@ -185,13 +186,146 @@ internal static class e_hentai_common
|
|||||||
}
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// GalleryItem リストから SyndicationItem のリストを生成します。
|
/// 対象ギャラリーの詳細ページ・ビューアページを巡回し、日本語タイトルおよび全画像の直接URLを取得します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
public static List<SyndicationItem> ConvertToSyndicationItems(IEnumerable<GalleryItem> galleries)
|
/// <param name="client">HttpClient インスタンス</param>
|
||||||
|
/// <param name="gallery">ギャラリー情報オブジェクト</param>
|
||||||
|
/// <returns>全画像URLリスト(順序保持)</returns>
|
||||||
|
public static async Task<List<string>> FetchAllGalleryImagesAsync(HttpClient client, GalleryItem gallery)
|
||||||
{
|
{
|
||||||
|
var parser = new HtmlParser();
|
||||||
|
var viewerLinks = new List<string>();
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
// 1. ギャラリー詳細ページの全ページからビューアリンク(/s/...)を収集
|
||||||
|
int p = 0;
|
||||||
|
while (true)
|
||||||
|
{
|
||||||
|
var pageUrl = $"{gallery.Url}?p={p}";
|
||||||
|
using var req = new HttpRequestMessage(HttpMethod.Get, pageUrl);
|
||||||
|
req.Headers.Add("Cookie", "nw=1");
|
||||||
|
|
||||||
|
using var res = await client.SendAsync(req);
|
||||||
|
if (!res.IsSuccessStatusCode) break;
|
||||||
|
|
||||||
|
var html = await res.Content.ReadAsStringAsync();
|
||||||
|
var doc = await parser.ParseDocumentAsync(html);
|
||||||
|
|
||||||
|
// 最初の詳細ページ(p == 0)で日本語タイトル (#gj) が存在すればタイトルを更新
|
||||||
|
if (p == 0)
|
||||||
|
{
|
||||||
|
var japaneseTitle = doc.QuerySelector("#gd2 #gj, #gj")?.TextContent.Trim();
|
||||||
|
if (!string.IsNullOrEmpty(japaneseTitle))
|
||||||
|
{
|
||||||
|
gallery.Title = japaneseTitle;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
var englishTitle = doc.QuerySelector("#gd2 #gn, #gn")?.TextContent.Trim();
|
||||||
|
if (!string.IsNullOrEmpty(englishTitle) && (string.IsNullOrEmpty(gallery.Title) || gallery.Title == "No Title"))
|
||||||
|
{
|
||||||
|
gallery.Title = englishTitle;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
var links = doc.QuerySelectorAll("#gdt a")
|
||||||
|
.Select(a => a.GetAttribute("href"))
|
||||||
|
.Where(href => !string.IsNullOrEmpty(href) && href.Contains("/s/"))
|
||||||
|
.ToList();
|
||||||
|
|
||||||
|
if (links.Count == 0) break;
|
||||||
|
if (viewerLinks.Contains(links[0]!)) break;
|
||||||
|
|
||||||
|
viewerLinks.AddRange(links!);
|
||||||
|
|
||||||
|
// ページネーション末尾の確認
|
||||||
|
var ptb = doc.QuerySelector("table.ptb");
|
||||||
|
var nextPtb = ptb?.QuerySelector("td:last-child a");
|
||||||
|
if (nextPtb == null)
|
||||||
|
{
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
p++;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (viewerLinks.Count == 0)
|
||||||
|
{
|
||||||
|
return new List<string>();
|
||||||
|
}
|
||||||
|
|
||||||
|
// 2. 各ビューアページから画像URL(#img src)を並行取得
|
||||||
|
var imageUrls = new string[viewerLinks.Count];
|
||||||
|
var semaphore = new System.Threading.SemaphoreSlim(10); // 最大同時10接続
|
||||||
|
|
||||||
|
var tasks = viewerLinks.Select(async (vLink, index) =>
|
||||||
|
{
|
||||||
|
await semaphore.WaitAsync();
|
||||||
|
try
|
||||||
|
{
|
||||||
|
using var vReq = new HttpRequestMessage(HttpMethod.Get, vLink);
|
||||||
|
vReq.Headers.Add("Cookie", "nw=1");
|
||||||
|
using var vRes = await client.SendAsync(vReq);
|
||||||
|
if (vRes.IsSuccessStatusCode)
|
||||||
|
{
|
||||||
|
var vHtml = await vRes.Content.ReadAsStringAsync();
|
||||||
|
var vDoc = await parser.ParseDocumentAsync(vHtml);
|
||||||
|
var imgSrc = vDoc.QuerySelector("#img")?.GetAttribute("src");
|
||||||
|
if (!string.IsNullOrEmpty(imgSrc))
|
||||||
|
{
|
||||||
|
imageUrls[index] = imgSrc;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[警告] ビューア画像取得エラー ({vLink}): {ex.Message}");
|
||||||
|
}
|
||||||
|
finally
|
||||||
|
{
|
||||||
|
semaphore.Release();
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
|
await Task.WhenAll(tasks);
|
||||||
|
|
||||||
|
return imageUrls.Where(url => !string.IsNullOrEmpty(url)).ToList();
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[エラー] ギャラリー全画像取得エラー ({gallery.Url}): {ex.Message}");
|
||||||
|
return new List<string>();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// GalleryItem リストに対して全画像を取得し、SyndicationItem のリストを生成します。
|
||||||
|
/// </summary>
|
||||||
|
public static async Task<List<SyndicationItem>> PopulateAndConvertToSyndicationItemsAsync(HttpClient client, IEnumerable<GalleryItem> galleries)
|
||||||
|
{
|
||||||
|
var galleryList = galleries.ToList();
|
||||||
|
|
||||||
|
// 各ギャラリーの全画像取得を並行して実行(最大5ギャラリー同時)
|
||||||
|
var gallerySemaphore = new System.Threading.SemaphoreSlim(5);
|
||||||
|
var fetchImageTasks = galleryList.Select(async gallery =>
|
||||||
|
{
|
||||||
|
await gallerySemaphore.WaitAsync();
|
||||||
|
try
|
||||||
|
{
|
||||||
|
gallery.ImageUrls = await FetchAllGalleryImagesAsync(client, gallery);
|
||||||
|
}
|
||||||
|
finally
|
||||||
|
{
|
||||||
|
gallerySemaphore.Release();
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
|
await Task.WhenAll(fetchImageTasks);
|
||||||
|
|
||||||
var items = new List<SyndicationItem>();
|
var items = new List<SyndicationItem>();
|
||||||
|
|
||||||
foreach (var gallery in galleries)
|
foreach (var gallery in galleryList)
|
||||||
{
|
{
|
||||||
var item = new SyndicationItem
|
var item = new SyndicationItem
|
||||||
{
|
{
|
||||||
@@ -229,11 +363,6 @@ internal static class e_hentai_common
|
|||||||
var body = new StringBuilder();
|
var body = new StringBuilder();
|
||||||
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}""><b>{WebUtility.HtmlEncode(gallery.Title)}</b></a></div>");
|
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}""><b>{WebUtility.HtmlEncode(gallery.Title)}</b></a></div>");
|
||||||
|
|
||||||
if (!string.IsNullOrWhiteSpace(gallery.ThumbnailUrl))
|
|
||||||
{
|
|
||||||
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}""><img src=""{gallery.ThumbnailUrl}"" alt=""{WebUtility.HtmlEncode(gallery.Title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
|
|
||||||
}
|
|
||||||
|
|
||||||
body.Append("<div style=\"font-size: 0.9em; color: #555; margin-bottom: 6px;\">");
|
body.Append("<div style=\"font-size: 0.9em; color: #555; margin-bottom: 6px;\">");
|
||||||
if (!string.IsNullOrWhiteSpace(gallery.Category))
|
if (!string.IsNullOrWhiteSpace(gallery.Category))
|
||||||
{
|
{
|
||||||
@@ -251,7 +380,23 @@ internal static class e_hentai_common
|
|||||||
|
|
||||||
if (gallery.Tags.Count > 0)
|
if (gallery.Tags.Count > 0)
|
||||||
{
|
{
|
||||||
body.Append($"<div style=\"font-size: 0.85em; color: #777;\"><b>Tags:</b> {WebUtility.HtmlEncode(string.Join(", ", gallery.Tags))}</div>");
|
body.Append($"<div style=\"font-size: 0.85em; color: #777; margin-bottom: 12px;\"><b>Tags:</b> {WebUtility.HtmlEncode(string.Join(", ", gallery.Tags))}</div>");
|
||||||
|
}
|
||||||
|
|
||||||
|
// 全画像を順番に出力
|
||||||
|
if (gallery.ImageUrls.Count > 0)
|
||||||
|
{
|
||||||
|
int pageNum = 1;
|
||||||
|
foreach (var imgUrl in gallery.ImageUrls)
|
||||||
|
{
|
||||||
|
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{imgUrl}"" target=""_blank"" rel=""noopener noreferrer""><img src=""{imgUrl}"" alt=""{WebUtility.HtmlEncode(gallery.Title)} - {pageNum}"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a></div>");
|
||||||
|
pageNum++;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else if (!string.IsNullOrWhiteSpace(gallery.ThumbnailUrl))
|
||||||
|
{
|
||||||
|
// フォールバック: 全画像が取得できなかった場合はサムネイルを表示
|
||||||
|
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}""><img src=""{gallery.ThumbnailUrl}"" alt=""{WebUtility.HtmlEncode(gallery.Title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
|
||||||
}
|
}
|
||||||
|
|
||||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||||
|
|||||||
@@ -12,7 +12,7 @@ internal class e_hentai_non_ai
|
|||||||
{
|
{
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// E-Hentai の最新ギャラリーから「ai generated」タグが付いていない日本語作品を抽出し、
|
/// E-Hentai の最新ギャラリーから「ai generated」タグが付いていない日本語作品を抽出し、
|
||||||
/// RSSフィード (e_hentai_non_ai.xml) を生成します。
|
/// 全画像を含めた RSS フィード (e_hentai_non_ai.xml) を生成します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
/// <param name="client">HttpClient インスタンス</param>
|
/// <param name="client">HttpClient インスタンス</param>
|
||||||
public static async Task CreateRSSAsync(HttpClient client)
|
public static async Task CreateRSSAsync(HttpClient client)
|
||||||
@@ -25,13 +25,13 @@ internal class e_hentai_non_ai
|
|||||||
// 「ai generated」タグを持たない作品のみを抽出
|
// 「ai generated」タグを持たない作品のみを抽出
|
||||||
var nonAiGalleries = galleries.Where(g => !g.IsAiGenerated).ToList();
|
var nonAiGalleries = galleries.Where(g => !g.IsAiGenerated).ToList();
|
||||||
|
|
||||||
// SyndicationItem のリストに変換
|
// 全画像を取得して SyndicationItem のリストに変換
|
||||||
var items = e_hentai_common.ConvertToSyndicationItems(nonAiGalleries);
|
var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, nonAiGalleries);
|
||||||
|
|
||||||
// RSS フィードの作成
|
// RSS フィードの作成
|
||||||
var feed = new SyndicationFeed(
|
var feed = new SyndicationFeed(
|
||||||
"E-Hentai (Non-AI - Japanese)",
|
"E-Hentai (Non-AI - Japanese)",
|
||||||
"E-Hentai の非AI生成タグ最新日本語作品フィード",
|
"E-Hentai の非AI生成タグ最新日本語作品フィード(全画像収録)",
|
||||||
new Uri("https://e-hentai.org/"),
|
new Uri("https://e-hentai.org/"),
|
||||||
items
|
items
|
||||||
);
|
);
|
||||||
|
|||||||
Reference in new issue
Block a user