diff --git a/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs b/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs index 13574fb..fe6e78f 100644 --- a/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs +++ b/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs @@ -19,11 +19,8 @@ internal class e_hentai_ai { try { - // ギャラリー一覧の取得(日本語以外は自動除外済み) - var galleries = await e_hentai_common.FetchGalleriesAsync(client); - - // 「ai generated」タグを持つ作品のみを抽出 - var aiGalleries = galleries.Where(g => g.IsAiGenerated).ToList(); + // 「ai generated」タグを持つ日本語作品が最低30件集まるまで一覧を取得 + var aiGalleries = await e_hentai_common.FetchGalleriesUntilCountAsync(client, g => g.IsAiGenerated, minCount: 30); // 全画像を取得して SyndicationItem のリストに変換 var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, aiGalleries); diff --git a/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs b/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs index 2bdbee1..f2ac206 100644 --- a/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs +++ b/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs @@ -35,71 +35,64 @@ internal static class e_hentai_common } /// - /// E-Hentai からギャラリー一覧を取得し、日本語以外の作品を除外したギャラリーリストを返します。 + /// 指定された条件(AI / 非AI等)に合致する日本語作品が最低 minCount 件(デフォルト: 30件)集まるまで、 + /// Next リンクを順次巡回してギャラリーを取得します。 /// /// HttpClient インスタンス - /// 取得する一覧ページ数(デフォルト: 5ページ = 125件) - /// 取得・フィルタリング済みの GalleryItem リスト - public static async Task> FetchGalleriesAsync(HttpClient client, int maxPages = 5) + /// 抽出条件(例: g => g.IsAiGenerated) + /// 最低取得件数(デフォルト: 30件) + /// 最大検索ページ数(安全上限: デフォルト50ページ) + /// 条件を満たす GalleryItem リスト + public static async Task> FetchGalleriesUntilCountAsync( + HttpClient client, + Func predicate, + int minCount = 30, + int maxPagesLimit = 50) { - var resultList = new List(); + var matchedGalleries = new List(); + var seenUrls = new HashSet(StringComparer.OrdinalIgnoreCase); var parser = new HtmlParser(); + string currentUrl = $"{BaseUrl}?inline_set=dm_e"; - for (int page = 0; page < maxPages; page++) + for (int page = 0; page < maxPagesLimit; page++) { try { - // Extended view (dm_e) を指定してタグテーブルを含む形式で取得 - var pageUrl = $"{BaseUrl}?page={page}&inline_set=dm_e"; - using var request = new HttpRequestMessage(HttpMethod.Get, pageUrl); - // NSFW 警告ページをスキップするための Cookie - request.Headers.Add("Cookie", "nw=1"); + using var request = new HttpRequestMessage(HttpMethod.Get, currentUrl); + request.Headers.Add("Cookie", "nw=1; inline_set=dm_e"); using var response = await client.SendAsync(request); if (!response.IsSuccessStatusCode) { - LogManager.AddLog($"[警告] E-Hentai ページ取得失敗 (page={page}, Status={response.StatusCode})"); - continue; + LogManager.AddLog($"[警告] E-Hentai 一覧取得失敗 (URL={currentUrl}, Status={response.StatusCode})"); + break; } var html = await response.Content.ReadAsStringAsync(); var doc = await parser.ParseDocumentAsync(html); - // 外側 tr 行(各ギャラリーのエントリ行)を取得 - var outerRows = doc.QuerySelectorAll("table.itg > tbody > tr, .tbl > tr, table.itg > tr"); + var outerRows = doc.QuerySelectorAll("table.itg > tbody > tr, .tbl > tr, table.itg tr"); + var validRows = outerRows.Where(r => r.QuerySelector("a[href*='/g/']") != null).ToList(); + if (validRows.Count == 0) + { + break; + } - foreach (var tr in outerRows) + foreach (var tr in validRows) { - // ギャラリーへのリンク要素が存在しない行(ヘッダー行等)はスキップ var linkElem = tr.QuerySelector("a[href*='/g/']"); - if (linkElem == null) - { - continue; - } + if (linkElem == null) continue; - // ---------------------------------------------------- // 1. 言語判定(日本語以外の除外) - // ---------------------------------------------------- - // tr 内にあるすべての td.tc を階層に関係なく取得 var targetCells = tr.QuerySelectorAll("td.tc"); - - // テキストが「language:」と一致するものが含まれているか判定 bool hasLanguage = targetCells.Any(td => td.TextContent.Trim() == "language:"); + if (hasLanguage) continue; - // 条件に合致した場合(日本語以外の翻訳版等)、除外 - if (hasLanguage) - { - continue; - } - - // ---------------------------------------------------- - // 2. ギャラリー情報の抽出 - // ---------------------------------------------------- var galleryUrl = linkElem.GetAttribute("href") ?? string.Empty; - if (string.IsNullOrWhiteSpace(galleryUrl)) - { - continue; - } + if (string.IsNullOrWhiteSpace(galleryUrl)) continue; + + // 重複URLのスキップ + if (!seenUrls.Add(galleryUrl)) continue; // タイトル var title = tr.QuerySelector(".glink")?.TextContent.Trim(); @@ -118,17 +111,16 @@ internal static class e_hentai_common var imgElem = tr.QuerySelector(".gl1e img, .glthumb img, img"); var thumbUrl = imgElem?.GetAttribute("src") ?? imgElem?.GetAttribute("data-src") ?? string.Empty; - // カテゴリ (Doujinshi, Manga, Artist CG, Game CG, Misc, etc.) + // カテゴリ var catElem = tr.QuerySelector(".gl3e .cn, .gl1e .cn, .cn, .cs"); var category = catElem?.TextContent.Trim() ?? string.Empty; - // 投稿日時 (UTC表記: "yyyy-MM-dd HH:mm") + // 投稿日時 var postedElem = tr.QuerySelector("[id^='posted_'], .gl3e > div:nth-child(2)"); var postedStr = postedElem?.TextContent.Trim() ?? string.Empty; DateTime pubDate = DateTime.Now; if (DateTimeOffset.TryParseExact(postedStr, "yyyy-MM-dd HH:mm", CultureInfo.InvariantCulture, DateTimeStyles.AssumeUniversal, out var parsedOffset)) { - // 日本時間(JST = UTC+9)に変換 pubDate = parsedOffset.ToOffset(TimeSpan.FromHours(9)).DateTime; } @@ -152,12 +144,10 @@ internal static class e_hentai_common } } - // ---------------------------------------------------- - // 3. AI generated 判定 - // ---------------------------------------------------- + // AI generated 判定 bool isAiGenerated = tags.Any(t => t.Equals("ai generated", StringComparison.OrdinalIgnoreCase)); - resultList.Add(new GalleryItem + var item = new GalleryItem { Title = title, Url = galleryUrl, @@ -168,19 +158,43 @@ internal static class e_hentai_common PublishedDate = pubDate, Tags = tags, IsAiGenerated = isAiGenerated - }); + }; + + if (predicate(item)) + { + matchedGalleries.Add(item); + } } + + // 目標件数に達した場合は終了 + if (matchedGalleries.Count >= minCount) + { + break; + } + + // 次ページのリンクを取得 + var nextLinkElem = doc.QuerySelectorAll("table.ptb a, a#unext") + .FirstOrDefault(a => a.TextContent.Contains("Next") || a.Id == "unext"); + var nextHref = nextLinkElem?.GetAttribute("href"); + if (string.IsNullOrEmpty(nextHref) || nextHref == currentUrl) + { + break; + } + + if (!nextHref.Contains("inline_set=dm_e")) + { + nextHref += (nextHref.Contains("?") ? "&" : "?") + "inline_set=dm_e"; + } + currentUrl = nextHref; } catch (Exception ex) { - LogManager.AddLog($"[エラー] E-Hentai ページ取得処理 (page={page}): {ex.Message}"); + LogManager.AddLog($"[エラー] E-Hentai 一覧取得処理 (page={page}, url={currentUrl}): {ex.Message}"); + break; } } - // 重複ギャラリー(同一URL)を除外 - return resultList - .GroupBy(x => x.Url) - .Select(g => g.First()) + return matchedGalleries .OrderByDescending(x => x.PublishedDate) .ToList(); } diff --git a/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs b/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs index 8fbc1e7..7b7960e 100644 --- a/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs +++ b/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs @@ -19,11 +19,8 @@ internal class e_hentai_non_ai { try { - // ギャラリー一覧の取得(日本語以外は自動除外済み) - var galleries = await e_hentai_common.FetchGalleriesAsync(client); - - // 「ai generated」タグを持たない作品のみを抽出 - var nonAiGalleries = galleries.Where(g => !g.IsAiGenerated).ToList(); + // 「ai generated」タグを持たない日本語作品が最低30件集まるまで一覧を取得 + var nonAiGalleries = await e_hentai_common.FetchGalleriesUntilCountAsync(client, g => !g.IsAiGenerated, minCount: 30); // 全画像を取得して SyndicationItem のリストに変換 var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, nonAiGalleries);