diff --git a/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs b/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs
index 13574fb..fe6e78f 100644
--- a/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs
+++ b/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs
@@ -19,11 +19,8 @@ internal class e_hentai_ai
{
try
{
- // ギャラリー一覧の取得(日本語以外は自動除外済み)
- var galleries = await e_hentai_common.FetchGalleriesAsync(client);
-
- // 「ai generated」タグを持つ作品のみを抽出
- var aiGalleries = galleries.Where(g => g.IsAiGenerated).ToList();
+ // 「ai generated」タグを持つ日本語作品が最低30件集まるまで一覧を取得
+ var aiGalleries = await e_hentai_common.FetchGalleriesUntilCountAsync(client, g => g.IsAiGenerated, minCount: 30);
// 全画像を取得して SyndicationItem のリストに変換
var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, aiGalleries);
diff --git a/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs b/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs
index 2bdbee1..f2ac206 100644
--- a/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs
+++ b/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs
@@ -35,71 +35,64 @@ internal static class e_hentai_common
}
///
- /// E-Hentai からギャラリー一覧を取得し、日本語以外の作品を除外したギャラリーリストを返します。
+ /// 指定された条件(AI / 非AI等)に合致する日本語作品が最低 minCount 件(デフォルト: 30件)集まるまで、
+ /// Next リンクを順次巡回してギャラリーを取得します。
///
/// HttpClient インスタンス
- /// 取得する一覧ページ数(デフォルト: 5ページ = 125件)
- /// 取得・フィルタリング済みの GalleryItem リスト
- public static async Task> FetchGalleriesAsync(HttpClient client, int maxPages = 5)
+ /// 抽出条件(例: g => g.IsAiGenerated)
+ /// 最低取得件数(デフォルト: 30件)
+ /// 最大検索ページ数(安全上限: デフォルト50ページ)
+ /// 条件を満たす GalleryItem リスト
+ public static async Task> FetchGalleriesUntilCountAsync(
+ HttpClient client,
+ Func predicate,
+ int minCount = 30,
+ int maxPagesLimit = 50)
{
- var resultList = new List();
+ var matchedGalleries = new List();
+ var seenUrls = new HashSet(StringComparer.OrdinalIgnoreCase);
var parser = new HtmlParser();
+ string currentUrl = $"{BaseUrl}?inline_set=dm_e";
- for (int page = 0; page < maxPages; page++)
+ for (int page = 0; page < maxPagesLimit; page++)
{
try
{
- // Extended view (dm_e) を指定してタグテーブルを含む形式で取得
- var pageUrl = $"{BaseUrl}?page={page}&inline_set=dm_e";
- using var request = new HttpRequestMessage(HttpMethod.Get, pageUrl);
- // NSFW 警告ページをスキップするための Cookie
- request.Headers.Add("Cookie", "nw=1");
+ using var request = new HttpRequestMessage(HttpMethod.Get, currentUrl);
+ request.Headers.Add("Cookie", "nw=1; inline_set=dm_e");
using var response = await client.SendAsync(request);
if (!response.IsSuccessStatusCode)
{
- LogManager.AddLog($"[警告] E-Hentai ページ取得失敗 (page={page}, Status={response.StatusCode})");
- continue;
+ LogManager.AddLog($"[警告] E-Hentai 一覧取得失敗 (URL={currentUrl}, Status={response.StatusCode})");
+ break;
}
var html = await response.Content.ReadAsStringAsync();
var doc = await parser.ParseDocumentAsync(html);
- // 外側 tr 行(各ギャラリーのエントリ行)を取得
- var outerRows = doc.QuerySelectorAll("table.itg > tbody > tr, .tbl > tr, table.itg > tr");
+ var outerRows = doc.QuerySelectorAll("table.itg > tbody > tr, .tbl > tr, table.itg tr");
+ var validRows = outerRows.Where(r => r.QuerySelector("a[href*='/g/']") != null).ToList();
+ if (validRows.Count == 0)
+ {
+ break;
+ }
- foreach (var tr in outerRows)
+ foreach (var tr in validRows)
{
- // ギャラリーへのリンク要素が存在しない行(ヘッダー行等)はスキップ
var linkElem = tr.QuerySelector("a[href*='/g/']");
- if (linkElem == null)
- {
- continue;
- }
+ if (linkElem == null) continue;
- // ----------------------------------------------------
// 1. 言語判定(日本語以外の除外)
- // ----------------------------------------------------
- // tr 内にあるすべての td.tc を階層に関係なく取得
var targetCells = tr.QuerySelectorAll("td.tc");
-
- // テキストが「language:」と一致するものが含まれているか判定
bool hasLanguage = targetCells.Any(td => td.TextContent.Trim() == "language:");
+ if (hasLanguage) continue;
- // 条件に合致した場合(日本語以外の翻訳版等)、除外
- if (hasLanguage)
- {
- continue;
- }
-
- // ----------------------------------------------------
- // 2. ギャラリー情報の抽出
- // ----------------------------------------------------
var galleryUrl = linkElem.GetAttribute("href") ?? string.Empty;
- if (string.IsNullOrWhiteSpace(galleryUrl))
- {
- continue;
- }
+ if (string.IsNullOrWhiteSpace(galleryUrl)) continue;
+
+ // 重複URLのスキップ
+ if (!seenUrls.Add(galleryUrl)) continue;
// タイトル
var title = tr.QuerySelector(".glink")?.TextContent.Trim();
@@ -118,17 +111,16 @@ internal static class e_hentai_common
var imgElem = tr.QuerySelector(".gl1e img, .glthumb img, img");
var thumbUrl = imgElem?.GetAttribute("src") ?? imgElem?.GetAttribute("data-src") ?? string.Empty;
- // カテゴリ (Doujinshi, Manga, Artist CG, Game CG, Misc, etc.)
+ // カテゴリ
var catElem = tr.QuerySelector(".gl3e .cn, .gl1e .cn, .cn, .cs");
var category = catElem?.TextContent.Trim() ?? string.Empty;
- // 投稿日時 (UTC表記: "yyyy-MM-dd HH:mm")
+ // 投稿日時
var postedElem = tr.QuerySelector("[id^='posted_'], .gl3e > div:nth-child(2)");
var postedStr = postedElem?.TextContent.Trim() ?? string.Empty;
DateTime pubDate = DateTime.Now;
if (DateTimeOffset.TryParseExact(postedStr, "yyyy-MM-dd HH:mm", CultureInfo.InvariantCulture, DateTimeStyles.AssumeUniversal, out var parsedOffset))
{
- // 日本時間(JST = UTC+9)に変換
pubDate = parsedOffset.ToOffset(TimeSpan.FromHours(9)).DateTime;
}
@@ -152,12 +144,10 @@ internal static class e_hentai_common
}
}
- // ----------------------------------------------------
- // 3. AI generated 判定
- // ----------------------------------------------------
+ // AI generated 判定
bool isAiGenerated = tags.Any(t => t.Equals("ai generated", StringComparison.OrdinalIgnoreCase));
- resultList.Add(new GalleryItem
+ var item = new GalleryItem
{
Title = title,
Url = galleryUrl,
@@ -168,19 +158,43 @@ internal static class e_hentai_common
PublishedDate = pubDate,
Tags = tags,
IsAiGenerated = isAiGenerated
- });
+ };
+
+ if (predicate(item))
+ {
+ matchedGalleries.Add(item);
+ }
}
+
+ // 目標件数に達した場合は終了
+ if (matchedGalleries.Count >= minCount)
+ {
+ break;
+ }
+
+ // 次ページのリンクを取得
+ var nextLinkElem = doc.QuerySelectorAll("table.ptb a, a#unext")
+ .FirstOrDefault(a => a.TextContent.Contains("Next") || a.Id == "unext");
+ var nextHref = nextLinkElem?.GetAttribute("href");
+ if (string.IsNullOrEmpty(nextHref) || nextHref == currentUrl)
+ {
+ break;
+ }
+
+ if (!nextHref.Contains("inline_set=dm_e"))
+ {
+ nextHref += (nextHref.Contains("?") ? "&" : "?") + "inline_set=dm_e";
+ }
+ currentUrl = nextHref;
}
catch (Exception ex)
{
- LogManager.AddLog($"[エラー] E-Hentai ページ取得処理 (page={page}): {ex.Message}");
+ LogManager.AddLog($"[エラー] E-Hentai 一覧取得処理 (page={page}, url={currentUrl}): {ex.Message}");
+ break;
}
}
- // 重複ギャラリー(同一URL)を除外
- return resultList
- .GroupBy(x => x.Url)
- .Select(g => g.First())
+ return matchedGalleries
.OrderByDescending(x => x.PublishedDate)
.ToList();
}
diff --git a/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs b/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs
index 8fbc1e7..7b7960e 100644
--- a/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs
+++ b/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs
@@ -19,11 +19,8 @@ internal class e_hentai_non_ai
{
try
{
- // ギャラリー一覧の取得(日本語以外は自動除外済み)
- var galleries = await e_hentai_common.FetchGalleriesAsync(client);
-
- // 「ai generated」タグを持たない作品のみを抽出
- var nonAiGalleries = galleries.Where(g => !g.IsAiGenerated).ToList();
+ // 「ai generated」タグを持たない日本語作品が最低30件集まるまで一覧を取得
+ var nonAiGalleries = await e_hentai_common.FetchGalleriesUntilCountAsync(client, g => !g.IsAiGenerated, minCount: 30);
// 全画像を取得して SyndicationItem のリストに変換
var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, nonAiGalleries);