feat: add e-hentai crawler support with separate modules for AI and non-AI content extraction
This commit is contained in:
1 parent
223e57c96e
commit
02eaed8d11
3 files changed
+73
-65
No files matched your search
@@ -19,11 +19,8 @@ internal class e_hentai_ai
|
|||||||
{
|
{
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
// ギャラリー一覧の取得(日本語以外は自動除外済み)
|
// 「ai generated」タグを持つ日本語作品が最低30件集まるまで一覧を取得
|
||||||
var galleries = await e_hentai_common.FetchGalleriesAsync(client);
|
var aiGalleries = await e_hentai_common.FetchGalleriesUntilCountAsync(client, g => g.IsAiGenerated, minCount: 30);
|
||||||
|
|
||||||
// 「ai generated」タグを持つ作品のみを抽出
|
|
||||||
var aiGalleries = galleries.Where(g => g.IsAiGenerated).ToList();
|
|
||||||
|
|
||||||
// 全画像を取得して SyndicationItem のリストに変換
|
// 全画像を取得して SyndicationItem のリストに変換
|
||||||
var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, aiGalleries);
|
var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, aiGalleries);
|
||||||
|
|||||||
@@ -35,71 +35,64 @@ internal static class e_hentai_common
|
|||||||
}
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// E-Hentai からギャラリー一覧を取得し、日本語以外の作品を除外したギャラリーリストを返します。
|
/// 指定された条件(AI / 非AI等)に合致する日本語作品が最低 minCount 件(デフォルト: 30件)集まるまで、
|
||||||
|
/// Next リンクを順次巡回してギャラリーを取得します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
/// <param name="client">HttpClient インスタンス</param>
|
/// <param name="client">HttpClient インスタンス</param>
|
||||||
/// <param name="maxPages">取得する一覧ページ数(デフォルト: 5ページ = 125件)</param>
|
/// <param name="predicate">抽出条件(例: g => g.IsAiGenerated)</param>
|
||||||
/// <returns>取得・フィルタリング済みの GalleryItem リスト</returns>
|
/// <param name="minCount">最低取得件数(デフォルト: 30件)</param>
|
||||||
public static async Task<List<GalleryItem>> FetchGalleriesAsync(HttpClient client, int maxPages = 5)
|
/// <param name="maxPagesLimit">最大検索ページ数(安全上限: デフォルト50ページ)</param>
|
||||||
|
/// <returns>条件を満たす GalleryItem リスト</returns>
|
||||||
|
public static async Task<List<GalleryItem>> FetchGalleriesUntilCountAsync(
|
||||||
|
HttpClient client,
|
||||||
|
Func<GalleryItem, bool> predicate,
|
||||||
|
int minCount = 30,
|
||||||
|
int maxPagesLimit = 50)
|
||||||
{
|
{
|
||||||
var resultList = new List<GalleryItem>();
|
var matchedGalleries = new List<GalleryItem>();
|
||||||
|
var seenUrls = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
||||||
var parser = new HtmlParser();
|
var parser = new HtmlParser();
|
||||||
|
string currentUrl = $"{BaseUrl}?inline_set=dm_e";
|
||||||
|
|
||||||
for (int page = 0; page < maxPages; page++)
|
for (int page = 0; page < maxPagesLimit; page++)
|
||||||
{
|
{
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
// Extended view (dm_e) を指定してタグテーブルを含む形式で取得
|
using var request = new HttpRequestMessage(HttpMethod.Get, currentUrl);
|
||||||
var pageUrl = $"{BaseUrl}?page={page}&inline_set=dm_e";
|
request.Headers.Add("Cookie", "nw=1; inline_set=dm_e");
|
||||||
using var request = new HttpRequestMessage(HttpMethod.Get, pageUrl);
|
|
||||||
// NSFW 警告ページをスキップするための Cookie
|
|
||||||
request.Headers.Add("Cookie", "nw=1");
|
|
||||||
|
|
||||||
using var response = await client.SendAsync(request);
|
using var response = await client.SendAsync(request);
|
||||||
if (!response.IsSuccessStatusCode)
|
if (!response.IsSuccessStatusCode)
|
||||||
{
|
{
|
||||||
LogManager.AddLog($"[警告] E-Hentai ページ取得失敗 (page={page}, Status={response.StatusCode})");
|
LogManager.AddLog($"[警告] E-Hentai 一覧取得失敗 (URL={currentUrl}, Status={response.StatusCode})");
|
||||||
continue;
|
break;
|
||||||
}
|
}
|
||||||
|
|
||||||
var html = await response.Content.ReadAsStringAsync();
|
var html = await response.Content.ReadAsStringAsync();
|
||||||
var doc = await parser.ParseDocumentAsync(html);
|
var doc = await parser.ParseDocumentAsync(html);
|
||||||
|
|
||||||
// 外側 tr 行(各ギャラリーのエントリ行)を取得
|
var outerRows = doc.QuerySelectorAll("table.itg > tbody > tr, .tbl > tr, table.itg tr");
|
||||||
var outerRows = doc.QuerySelectorAll("table.itg > tbody > tr, .tbl > tr, table.itg > tr");
|
var validRows = outerRows.Where(r => r.QuerySelector("a[href*='/g/']") != null).ToList();
|
||||||
|
if (validRows.Count == 0)
|
||||||
|
{
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
|
||||||
foreach (var tr in outerRows)
|
foreach (var tr in validRows)
|
||||||
{
|
{
|
||||||
// ギャラリーへのリンク要素が存在しない行(ヘッダー行等)はスキップ
|
|
||||||
var linkElem = tr.QuerySelector("a[href*='/g/']");
|
var linkElem = tr.QuerySelector("a[href*='/g/']");
|
||||||
if (linkElem == null)
|
if (linkElem == null) continue;
|
||||||
{
|
|
||||||
continue;
|
|
||||||
}
|
|
||||||
|
|
||||||
// ----------------------------------------------------
|
|
||||||
// 1. 言語判定(日本語以外の除外)
|
// 1. 言語判定(日本語以外の除外)
|
||||||
// ----------------------------------------------------
|
|
||||||
// tr 内にあるすべての td.tc を階層に関係なく取得
|
|
||||||
var targetCells = tr.QuerySelectorAll("td.tc");
|
var targetCells = tr.QuerySelectorAll("td.tc");
|
||||||
|
|
||||||
// テキストが「language:」と一致するものが含まれているか判定
|
|
||||||
bool hasLanguage = targetCells.Any(td => td.TextContent.Trim() == "language:");
|
bool hasLanguage = targetCells.Any(td => td.TextContent.Trim() == "language:");
|
||||||
|
if (hasLanguage) continue;
|
||||||
|
|
||||||
// 条件に合致した場合(日本語以外の翻訳版等)、除外
|
|
||||||
if (hasLanguage)
|
|
||||||
{
|
|
||||||
continue;
|
|
||||||
}
|
|
||||||
|
|
||||||
// ----------------------------------------------------
|
|
||||||
// 2. ギャラリー情報の抽出
|
|
||||||
// ----------------------------------------------------
|
|
||||||
var galleryUrl = linkElem.GetAttribute("href") ?? string.Empty;
|
var galleryUrl = linkElem.GetAttribute("href") ?? string.Empty;
|
||||||
if (string.IsNullOrWhiteSpace(galleryUrl))
|
if (string.IsNullOrWhiteSpace(galleryUrl)) continue;
|
||||||
{
|
|
||||||
continue;
|
// 重複URLのスキップ
|
||||||
}
|
if (!seenUrls.Add(galleryUrl)) continue;
|
||||||
|
|
||||||
// タイトル
|
// タイトル
|
||||||
var title = tr.QuerySelector(".glink")?.TextContent.Trim();
|
var title = tr.QuerySelector(".glink")?.TextContent.Trim();
|
||||||
@@ -118,17 +111,16 @@ internal static class e_hentai_common
|
|||||||
var imgElem = tr.QuerySelector(".gl1e img, .glthumb img, img");
|
var imgElem = tr.QuerySelector(".gl1e img, .glthumb img, img");
|
||||||
var thumbUrl = imgElem?.GetAttribute("src") ?? imgElem?.GetAttribute("data-src") ?? string.Empty;
|
var thumbUrl = imgElem?.GetAttribute("src") ?? imgElem?.GetAttribute("data-src") ?? string.Empty;
|
||||||
|
|
||||||
// カテゴリ (Doujinshi, Manga, Artist CG, Game CG, Misc, etc.)
|
// カテゴリ
|
||||||
var catElem = tr.QuerySelector(".gl3e .cn, .gl1e .cn, .cn, .cs");
|
var catElem = tr.QuerySelector(".gl3e .cn, .gl1e .cn, .cn, .cs");
|
||||||
var category = catElem?.TextContent.Trim() ?? string.Empty;
|
var category = catElem?.TextContent.Trim() ?? string.Empty;
|
||||||
|
|
||||||
// 投稿日時 (UTC表記: "yyyy-MM-dd HH:mm")
|
// 投稿日時
|
||||||
var postedElem = tr.QuerySelector("[id^='posted_'], .gl3e > div:nth-child(2)");
|
var postedElem = tr.QuerySelector("[id^='posted_'], .gl3e > div:nth-child(2)");
|
||||||
var postedStr = postedElem?.TextContent.Trim() ?? string.Empty;
|
var postedStr = postedElem?.TextContent.Trim() ?? string.Empty;
|
||||||
DateTime pubDate = DateTime.Now;
|
DateTime pubDate = DateTime.Now;
|
||||||
if (DateTimeOffset.TryParseExact(postedStr, "yyyy-MM-dd HH:mm", CultureInfo.InvariantCulture, DateTimeStyles.AssumeUniversal, out var parsedOffset))
|
if (DateTimeOffset.TryParseExact(postedStr, "yyyy-MM-dd HH:mm", CultureInfo.InvariantCulture, DateTimeStyles.AssumeUniversal, out var parsedOffset))
|
||||||
{
|
{
|
||||||
// 日本時間(JST = UTC+9)に変換
|
|
||||||
pubDate = parsedOffset.ToOffset(TimeSpan.FromHours(9)).DateTime;
|
pubDate = parsedOffset.ToOffset(TimeSpan.FromHours(9)).DateTime;
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -152,12 +144,10 @@ internal static class e_hentai_common
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// ----------------------------------------------------
|
// AI generated 判定
|
||||||
// 3. AI generated 判定
|
|
||||||
// ----------------------------------------------------
|
|
||||||
bool isAiGenerated = tags.Any(t => t.Equals("ai generated", StringComparison.OrdinalIgnoreCase));
|
bool isAiGenerated = tags.Any(t => t.Equals("ai generated", StringComparison.OrdinalIgnoreCase));
|
||||||
|
|
||||||
resultList.Add(new GalleryItem
|
var item = new GalleryItem
|
||||||
{
|
{
|
||||||
Title = title,
|
Title = title,
|
||||||
Url = galleryUrl,
|
Url = galleryUrl,
|
||||||
@@ -168,19 +158,43 @@ internal static class e_hentai_common
|
|||||||
PublishedDate = pubDate,
|
PublishedDate = pubDate,
|
||||||
Tags = tags,
|
Tags = tags,
|
||||||
IsAiGenerated = isAiGenerated
|
IsAiGenerated = isAiGenerated
|
||||||
});
|
};
|
||||||
}
|
|
||||||
}
|
if (predicate(item))
|
||||||
catch (Exception ex)
|
|
||||||
{
|
{
|
||||||
LogManager.AddLog($"[エラー] E-Hentai ページ取得処理 (page={page}): {ex.Message}");
|
matchedGalleries.Add(item);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// 重複ギャラリー(同一URL)を除外
|
// 目標件数に達した場合は終了
|
||||||
return resultList
|
if (matchedGalleries.Count >= minCount)
|
||||||
.GroupBy(x => x.Url)
|
{
|
||||||
.Select(g => g.First())
|
break;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 次ページのリンクを取得
|
||||||
|
var nextLinkElem = doc.QuerySelectorAll("table.ptb a, a#unext")
|
||||||
|
.FirstOrDefault(a => a.TextContent.Contains("Next") || a.Id == "unext");
|
||||||
|
var nextHref = nextLinkElem?.GetAttribute("href");
|
||||||
|
if (string.IsNullOrEmpty(nextHref) || nextHref == currentUrl)
|
||||||
|
{
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!nextHref.Contains("inline_set=dm_e"))
|
||||||
|
{
|
||||||
|
nextHref += (nextHref.Contains("?") ? "&" : "?") + "inline_set=dm_e";
|
||||||
|
}
|
||||||
|
currentUrl = nextHref;
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[エラー] E-Hentai 一覧取得処理 (page={page}, url={currentUrl}): {ex.Message}");
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return matchedGalleries
|
||||||
.OrderByDescending(x => x.PublishedDate)
|
.OrderByDescending(x => x.PublishedDate)
|
||||||
.ToList();
|
.ToList();
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -19,11 +19,8 @@ internal class e_hentai_non_ai
|
|||||||
{
|
{
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
// ギャラリー一覧の取得(日本語以外は自動除外済み)
|
// 「ai generated」タグを持たない日本語作品が最低30件集まるまで一覧を取得
|
||||||
var galleries = await e_hentai_common.FetchGalleriesAsync(client);
|
var nonAiGalleries = await e_hentai_common.FetchGalleriesUntilCountAsync(client, g => !g.IsAiGenerated, minCount: 30);
|
||||||
|
|
||||||
// 「ai generated」タグを持たない作品のみを抽出
|
|
||||||
var nonAiGalleries = galleries.Where(g => !g.IsAiGenerated).ToList();
|
|
||||||
|
|
||||||
// 全画像を取得して SyndicationItem のリストに変換
|
// 全画像を取得して SyndicationItem のリストに変換
|
||||||
var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, nonAiGalleries);
|
var items = await e_hentai_common.PopulateAndConvertToSyndicationItemsAsync(client, nonAiGalleries);
|
||||||
|
|||||||
Reference in new issue
Block a user