feat: add e-hentai gallery fetching and AI filtering logic
This commit is contained in:
1 parent
c9a14d450b
commit
223e57c96e
3 files changed
+163
-18
No files matched your search
@@ -12,7 +12,7 @@ internal class e_hentai_ai
|
||||
{
|
||||
/// <summary>
|
||||
/// E-Hentai の最新ギャラリーから「ai generated」タグが付いている日本語作品を抽出し、
|
||||
/// RSSフィード (e_hentai_ai.xml) を生成します。
|
||||
/// 全画像を含めた RSS フィード (e_hentai_ai.xml) を生成します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
@@ -25,13 +25,13 @@ internal class e_hentai_ai
|
||||
// 「ai generated」タグを持つ作品のみを抽出
|
||||
var aiGalleries = galleries.Where(g => g.IsAiGenerated).ToList();
|
||||
|
||||
// SyndicationItem のリストに変換
|
||||
var items = e_hentai_common.ConvertToSyndicationItems(aiGalleries);
|
||||
// 全画像を取得して SyndicationItem のリストに変換
|
||||
var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, aiGalleries);
|
||||
|
||||
// RSS フィードの作成
|
||||
var feed = new SyndicationFeed(
|
||||
"E-Hentai (AI Generated - Japanese)",
|
||||
"E-Hentai の AI 生成タグ付き最新日本語作品フィード",
|
||||
"E-Hentai の AI 生成タグ付き最新日本語作品フィード(全画像収録)",
|
||||
new Uri("https://e-hentai.org/"),
|
||||
items
|
||||
);
|
||||
|
||||
@@ -31,13 +31,14 @@ internal static class e_hentai_common
|
||||
public DateTime PublishedDate { get; set; }
|
||||
public List<string> Tags { get; set; } = new();
|
||||
public bool IsAiGenerated { get; set; }
|
||||
public List<string> ImageUrls { get; set; } = new();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// E-Hentai からギャラリー一覧を取得し、日本語以外の作品を除外したギャラリーリストを返します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
/// <param name="maxPages">取得するページ数(デフォルト: 5ページ = 125件)</param>
|
||||
/// <param name="maxPages">取得する一覧ページ数(デフォルト: 5ページ = 125件)</param>
|
||||
/// <returns>取得・フィルタリング済みの GalleryItem リスト</returns>
|
||||
public static async Task<List<GalleryItem>> FetchGalleriesAsync(HttpClient client, int maxPages = 5)
|
||||
{
|
||||
@@ -185,13 +186,146 @@ internal static class e_hentai_common
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// GalleryItem リストから SyndicationItem のリストを生成します。
|
||||
/// 対象ギャラリーの詳細ページ・ビューアページを巡回し、日本語タイトルおよび全画像の直接URLを取得します。
|
||||
/// </summary>
|
||||
public static List<SyndicationItem> ConvertToSyndicationItems(IEnumerable<GalleryItem> galleries)
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
/// <param name="gallery">ギャラリー情報オブジェクト</param>
|
||||
/// <returns>全画像URLリスト(順序保持)</returns>
|
||||
public static async Task<List<string>> FetchAllGalleryImagesAsync(HttpClient client, GalleryItem gallery)
|
||||
{
|
||||
var parser = new HtmlParser();
|
||||
var viewerLinks = new List<string>();
|
||||
|
||||
try
|
||||
{
|
||||
// 1. ギャラリー詳細ページの全ページからビューアリンク(/s/...)を収集
|
||||
int p = 0;
|
||||
while (true)
|
||||
{
|
||||
var pageUrl = $"{gallery.Url}?p={p}";
|
||||
using var req = new HttpRequestMessage(HttpMethod.Get, pageUrl);
|
||||
req.Headers.Add("Cookie", "nw=1");
|
||||
|
||||
using var res = await client.SendAsync(req);
|
||||
if (!res.IsSuccessStatusCode) break;
|
||||
|
||||
var html = await res.Content.ReadAsStringAsync();
|
||||
var doc = await parser.ParseDocumentAsync(html);
|
||||
|
||||
// 最初の詳細ページ(p == 0)で日本語タイトル (#gj) が存在すればタイトルを更新
|
||||
if (p == 0)
|
||||
{
|
||||
var japaneseTitle = doc.QuerySelector("#gd2 #gj, #gj")?.TextContent.Trim();
|
||||
if (!string.IsNullOrEmpty(japaneseTitle))
|
||||
{
|
||||
gallery.Title = japaneseTitle;
|
||||
}
|
||||
else
|
||||
{
|
||||
var englishTitle = doc.QuerySelector("#gd2 #gn, #gn")?.TextContent.Trim();
|
||||
if (!string.IsNullOrEmpty(englishTitle) && (string.IsNullOrEmpty(gallery.Title) || gallery.Title == "No Title"))
|
||||
{
|
||||
gallery.Title = englishTitle;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
var links = doc.QuerySelectorAll("#gdt a")
|
||||
.Select(a => a.GetAttribute("href"))
|
||||
.Where(href => !string.IsNullOrEmpty(href) && href.Contains("/s/"))
|
||||
.ToList();
|
||||
|
||||
if (links.Count == 0) break;
|
||||
if (viewerLinks.Contains(links[0]!)) break;
|
||||
|
||||
viewerLinks.AddRange(links!);
|
||||
|
||||
// ページネーション末尾の確認
|
||||
var ptb = doc.QuerySelector("table.ptb");
|
||||
var nextPtb = ptb?.QuerySelector("td:last-child a");
|
||||
if (nextPtb == null)
|
||||
{
|
||||
break;
|
||||
}
|
||||
p++;
|
||||
}
|
||||
|
||||
if (viewerLinks.Count == 0)
|
||||
{
|
||||
return new List<string>();
|
||||
}
|
||||
|
||||
// 2. 各ビューアページから画像URL(#img src)を並行取得
|
||||
var imageUrls = new string[viewerLinks.Count];
|
||||
var semaphore = new System.Threading.SemaphoreSlim(10); // 最大同時10接続
|
||||
|
||||
var tasks = viewerLinks.Select(async (vLink, index) =>
|
||||
{
|
||||
await semaphore.WaitAsync();
|
||||
try
|
||||
{
|
||||
using var vReq = new HttpRequestMessage(HttpMethod.Get, vLink);
|
||||
vReq.Headers.Add("Cookie", "nw=1");
|
||||
using var vRes = await client.SendAsync(vReq);
|
||||
if (vRes.IsSuccessStatusCode)
|
||||
{
|
||||
var vHtml = await vRes.Content.ReadAsStringAsync();
|
||||
var vDoc = await parser.ParseDocumentAsync(vHtml);
|
||||
var imgSrc = vDoc.QuerySelector("#img")?.GetAttribute("src");
|
||||
if (!string.IsNullOrEmpty(imgSrc))
|
||||
{
|
||||
imageUrls[index] = imgSrc;
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[警告] ビューア画像取得エラー ({vLink}): {ex.Message}");
|
||||
}
|
||||
finally
|
||||
{
|
||||
semaphore.Release();
|
||||
}
|
||||
});
|
||||
|
||||
await Task.WhenAll(tasks);
|
||||
|
||||
return imageUrls.Where(url => !string.IsNullOrEmpty(url)).ToList();
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] ギャラリー全画像取得エラー ({gallery.Url}): {ex.Message}");
|
||||
return new List<string>();
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// GalleryItem リストに対して全画像を取得し、SyndicationItem のリストを生成します。
|
||||
/// </summary>
|
||||
public static async Task<List<SyndicationItem>> PopulateAndConvertToSyndicationItemsAsync(HttpClient client, IEnumerable<GalleryItem> galleries)
|
||||
{
|
||||
var galleryList = galleries.ToList();
|
||||
|
||||
// 各ギャラリーの全画像取得を並行して実行(最大5ギャラリー同時)
|
||||
var gallerySemaphore = new System.Threading.SemaphoreSlim(5);
|
||||
var fetchImageTasks = galleryList.Select(async gallery =>
|
||||
{
|
||||
await gallerySemaphore.WaitAsync();
|
||||
try
|
||||
{
|
||||
gallery.ImageUrls = await FetchAllGalleryImagesAsync(client, gallery);
|
||||
}
|
||||
finally
|
||||
{
|
||||
gallerySemaphore.Release();
|
||||
}
|
||||
});
|
||||
|
||||
await Task.WhenAll(fetchImageTasks);
|
||||
|
||||
var items = new List<SyndicationItem>();
|
||||
|
||||
foreach (var gallery in galleries)
|
||||
foreach (var gallery in galleryList)
|
||||
{
|
||||
var item = new SyndicationItem
|
||||
{
|
||||
@@ -229,11 +363,6 @@ internal static class e_hentai_common
|
||||
var body = new StringBuilder();
|
||||
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}""><b>{WebUtility.HtmlEncode(gallery.Title)}</b></a></div>");
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(gallery.ThumbnailUrl))
|
||||
{
|
||||
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}""><img src=""{gallery.ThumbnailUrl}"" alt=""{WebUtility.HtmlEncode(gallery.Title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
|
||||
}
|
||||
|
||||
body.Append("<div style=\"font-size: 0.9em; color: #555; margin-bottom: 6px;\">");
|
||||
if (!string.IsNullOrWhiteSpace(gallery.Category))
|
||||
{
|
||||
@@ -251,7 +380,23 @@ internal static class e_hentai_common
|
||||
|
||||
if (gallery.Tags.Count > 0)
|
||||
{
|
||||
body.Append($"<div style=\"font-size: 0.85em; color: #777;\"><b>Tags:</b> {WebUtility.HtmlEncode(string.Join(", ", gallery.Tags))}</div>");
|
||||
body.Append($"<div style=\"font-size: 0.85em; color: #777; margin-bottom: 12px;\"><b>Tags:</b> {WebUtility.HtmlEncode(string.Join(", ", gallery.Tags))}</div>");
|
||||
}
|
||||
|
||||
// 全画像を順番に出力
|
||||
if (gallery.ImageUrls.Count > 0)
|
||||
{
|
||||
int pageNum = 1;
|
||||
foreach (var imgUrl in gallery.ImageUrls)
|
||||
{
|
||||
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{imgUrl}"" target=""_blank"" rel=""noopener noreferrer""><img src=""{imgUrl}"" alt=""{WebUtility.HtmlEncode(gallery.Title)} - {pageNum}"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a></div>");
|
||||
pageNum++;
|
||||
}
|
||||
}
|
||||
else if (!string.IsNullOrWhiteSpace(gallery.ThumbnailUrl))
|
||||
{
|
||||
// フォールバック: 全画像が取得できなかった場合はサムネイルを表示
|
||||
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}""><img src=""{gallery.ThumbnailUrl}"" alt=""{WebUtility.HtmlEncode(gallery.Title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
|
||||
}
|
||||
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
@@ -12,7 +12,7 @@ internal class e_hentai_non_ai
|
||||
{
|
||||
/// <summary>
|
||||
/// E-Hentai の最新ギャラリーから「ai generated」タグが付いていない日本語作品を抽出し、
|
||||
/// RSSフィード (e_hentai_non_ai.xml) を生成します。
|
||||
/// 全画像を含めた RSS フィード (e_hentai_non_ai.xml) を生成します。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
@@ -25,13 +25,13 @@ internal class e_hentai_non_ai
|
||||
// 「ai generated」タグを持たない作品のみを抽出
|
||||
var nonAiGalleries = galleries.Where(g => !g.IsAiGenerated).ToList();
|
||||
|
||||
// SyndicationItem のリストに変換
|
||||
var items = e_hentai_common.ConvertToSyndicationItems(nonAiGalleries);
|
||||
// 全画像を取得して SyndicationItem のリストに変換
|
||||
var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, nonAiGalleries);
|
||||
|
||||
// RSS フィードの作成
|
||||
var feed = new SyndicationFeed(
|
||||
"E-Hentai (Non-AI - Japanese)",
|
||||
"E-Hentai の非AI生成タグ最新日本語作品フィード",
|
||||
"E-Hentai の非AI生成タグ最新日本語作品フィード(全画像収録)",
|
||||
new Uri("https://e-hentai.org/"),
|
||||
items
|
||||
);
|
||||
|
||||
Reference in new issue
Block a user