diff --git a/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs b/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs index 71a3809..13574fb 100644 --- a/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs +++ b/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs @@ -12,7 +12,7 @@ internal class e_hentai_ai { /// /// E-Hentai の最新ギャラリーから「ai generated」タグが付いている日本語作品を抽出し、 - /// RSSフィード (e_hentai_ai.xml) を生成します。 + /// 全画像を含めた RSS フィード (e_hentai_ai.xml) を生成します。 /// /// HttpClient インスタンス public static async Task CreateRSSAsync(HttpClient client) @@ -25,13 +25,13 @@ internal class e_hentai_ai // 「ai generated」タグを持つ作品のみを抽出 var aiGalleries = galleries.Where(g => g.IsAiGenerated).ToList(); - // SyndicationItem のリストに変換 - var items = e_hentai_common.ConvertToSyndicationItems(aiGalleries); + // 全画像を取得して SyndicationItem のリストに変換 + var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, aiGalleries); // RSS フィードの作成 var feed = new SyndicationFeed( "E-Hentai (AI Generated - Japanese)", - "E-Hentai の AI 生成タグ付き最新日本語作品フィード", + "E-Hentai の AI 生成タグ付き最新日本語作品フィード(全画像収録)", new Uri("https://e-hentai.org/"), items ); diff --git a/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs b/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs index dc6f449..2bdbee1 100644 --- a/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs +++ b/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs @@ -31,13 +31,14 @@ internal static class e_hentai_common public DateTime PublishedDate { get; set; } public List Tags { get; set; } = new(); public bool IsAiGenerated { get; set; } + public List ImageUrls { get; set; } = new(); } /// /// E-Hentai からギャラリー一覧を取得し、日本語以外の作品を除外したギャラリーリストを返します。 /// /// HttpClient インスタンス - /// 取得するページ数(デフォルト: 5ページ = 125件) + /// 取得する一覧ページ数(デフォルト: 5ページ = 125件) /// 取得・フィルタリング済みの GalleryItem リスト public static async Task> FetchGalleriesAsync(HttpClient client, int maxPages = 5) { @@ -185,13 +186,146 @@ internal static class e_hentai_common } /// - /// GalleryItem リストから SyndicationItem のリストを生成します。 + /// 対象ギャラリーの詳細ページ・ビューアページを巡回し、日本語タイトルおよび全画像の直接URLを取得します。 /// - public static List ConvertToSyndicationItems(IEnumerable galleries) + /// HttpClient インスタンス + /// ギャラリー情報オブジェクト + /// 全画像URLリスト(順序保持) + public static async Task> FetchAllGalleryImagesAsync(HttpClient client, GalleryItem gallery) { + var parser = new HtmlParser(); + var viewerLinks = new List(); + + try + { + // 1. ギャラリー詳細ページの全ページからビューアリンク(/s/...)を収集 + int p = 0; + while (true) + { + var pageUrl = $"{gallery.Url}?p={p}"; + using var req = new HttpRequestMessage(HttpMethod.Get, pageUrl); + req.Headers.Add("Cookie", "nw=1"); + + using var res = await client.SendAsync(req); + if (!res.IsSuccessStatusCode) break; + + var html = await res.Content.ReadAsStringAsync(); + var doc = await parser.ParseDocumentAsync(html); + + // 最初の詳細ページ(p == 0)で日本語タイトル (#gj) が存在すればタイトルを更新 + if (p == 0) + { + var japaneseTitle = doc.QuerySelector("#gd2 #gj, #gj")?.TextContent.Trim(); + if (!string.IsNullOrEmpty(japaneseTitle)) + { + gallery.Title = japaneseTitle; + } + else + { + var englishTitle = doc.QuerySelector("#gd2 #gn, #gn")?.TextContent.Trim(); + if (!string.IsNullOrEmpty(englishTitle) && (string.IsNullOrEmpty(gallery.Title) || gallery.Title == "No Title")) + { + gallery.Title = englishTitle; + } + } + } + + var links = doc.QuerySelectorAll("#gdt a") + .Select(a => a.GetAttribute("href")) + .Where(href => !string.IsNullOrEmpty(href) && href.Contains("/s/")) + .ToList(); + + if (links.Count == 0) break; + if (viewerLinks.Contains(links[0]!)) break; + + viewerLinks.AddRange(links!); + + // ページネーション末尾の確認 + var ptb = doc.QuerySelector("table.ptb"); + var nextPtb = ptb?.QuerySelector("td:last-child a"); + if (nextPtb == null) + { + break; + } + p++; + } + + if (viewerLinks.Count == 0) + { + return new List(); + } + + // 2. 各ビューアページから画像URL(#img src)を並行取得 + var imageUrls = new string[viewerLinks.Count]; + var semaphore = new System.Threading.SemaphoreSlim(10); // 最大同時10接続 + + var tasks = viewerLinks.Select(async (vLink, index) => + { + await semaphore.WaitAsync(); + try + { + using var vReq = new HttpRequestMessage(HttpMethod.Get, vLink); + vReq.Headers.Add("Cookie", "nw=1"); + using var vRes = await client.SendAsync(vReq); + if (vRes.IsSuccessStatusCode) + { + var vHtml = await vRes.Content.ReadAsStringAsync(); + var vDoc = await parser.ParseDocumentAsync(vHtml); + var imgSrc = vDoc.QuerySelector("#img")?.GetAttribute("src"); + if (!string.IsNullOrEmpty(imgSrc)) + { + imageUrls[index] = imgSrc; + } + } + } + catch (Exception ex) + { + LogManager.AddLog($"[警告] ビューア画像取得エラー ({vLink}): {ex.Message}"); + } + finally + { + semaphore.Release(); + } + }); + + await Task.WhenAll(tasks); + + return imageUrls.Where(url => !string.IsNullOrEmpty(url)).ToList(); + } + catch (Exception ex) + { + LogManager.AddLog($"[エラー] ギャラリー全画像取得エラー ({gallery.Url}): {ex.Message}"); + return new List(); + } + } + + /// + /// GalleryItem リストに対して全画像を取得し、SyndicationItem のリストを生成します。 + /// + public static async Task> PopulateAndConvertToSyndicationItemsAsync(HttpClient client, IEnumerable galleries) + { + var galleryList = galleries.ToList(); + + // 各ギャラリーの全画像取得を並行して実行(最大5ギャラリー同時) + var gallerySemaphore = new System.Threading.SemaphoreSlim(5); + var fetchImageTasks = galleryList.Select(async gallery => + { + await gallerySemaphore.WaitAsync(); + try + { + gallery.ImageUrls = await FetchAllGalleryImagesAsync(client, gallery); + } + finally + { + gallerySemaphore.Release(); + } + }); + + await Task.WhenAll(fetchImageTasks); + var items = new List(); - foreach (var gallery in galleries) + foreach (var gallery in galleryList) { var item = new SyndicationItem { @@ -229,11 +363,6 @@ internal static class e_hentai_common var body = new StringBuilder(); body.Append($@""); - if (!string.IsNullOrWhiteSpace(gallery.ThumbnailUrl)) - { - body.Append($@"
"); - } - body.Append("
"); if (!string.IsNullOrWhiteSpace(gallery.Category)) { @@ -251,7 +380,23 @@ internal static class e_hentai_common if (gallery.Tags.Count > 0) { - body.Append($"
Tags: {WebUtility.HtmlEncode(string.Join(", ", gallery.Tags))}
"); + body.Append($"
Tags: {WebUtility.HtmlEncode(string.Join(", ", gallery.Tags))}
"); + } + + // 全画像を順番に出力 + if (gallery.ImageUrls.Count > 0) + { + int pageNum = 1; + foreach (var imgUrl in gallery.ImageUrls) + { + body.Append($@"
"); + pageNum++; + } + } + else if (!string.IsNullOrWhiteSpace(gallery.ThumbnailUrl)) + { + // フォールバック: 全画像が取得できなかった場合はサムネイルを表示 + body.Append($@"
"); } item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); diff --git a/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs b/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs index 5fb0857..8fbc1e7 100644 --- a/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs +++ b/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs @@ -12,7 +12,7 @@ internal class e_hentai_non_ai { /// /// E-Hentai の最新ギャラリーから「ai generated」タグが付いていない日本語作品を抽出し、 - /// RSSフィード (e_hentai_non_ai.xml) を生成します。 + /// 全画像を含めた RSS フィード (e_hentai_non_ai.xml) を生成します。 /// /// HttpClient インスタンス public static async Task CreateRSSAsync(HttpClient client) @@ -25,13 +25,13 @@ internal class e_hentai_non_ai // 「ai generated」タグを持たない作品のみを抽出 var nonAiGalleries = galleries.Where(g => !g.IsAiGenerated).ToList(); - // SyndicationItem のリストに変換 - var items = e_hentai_common.ConvertToSyndicationItems(nonAiGalleries); + // 全画像を取得して SyndicationItem のリストに変換 + var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, nonAiGalleries); // RSS フィードの作成 var feed = new SyndicationFeed( "E-Hentai (Non-AI - Japanese)", - "E-Hentai の非AI生成タグ最新日本語作品フィード", + "E-Hentai の非AI生成タグ最新日本語作品フィード(全画像収録)", new Uri("https://e-hentai.org/"), items );