feat: implement E-Hentai gallery crawling and image fetching functionality for RSS generation

This commit is contained in:
armonica committed 2026-08-31 11:27:58 +09:00
1 parent 02eaed8d11
commit e286a31b0e
3 files changed
+165 -125

No files matched your search

@@ -200,21 +200,29 @@ internal static class e_hentai_common
} }
/// <summary> /// <summary>
/// 対象ギャラリーの詳細ページ・ビューアページを巡回し、日本語タイトルおよび全画像の直接URLを取得します。 /// 1作品(1記事)あたりに RSS 本文へ展開する最大画像数。
/// 大量(数百枚以上)の画像を一斉に読み込むと Hath サーバーのレートリミット(403 Forbidden)が発生するため、
/// 上限を設けてプレビュー表示し、上限を超える場合は元サイトへの全ページ閲覧リンクを表示します。
/// </summary>
public const int MaxImagesPerGallery = 30;
/// <summary>
/// 対象ギャラリーの詳細ページ・ビューアページを巡回し、日本語タイトルおよび画像の直接URLを取得します。
/// </summary> /// </summary>
/// <param name="client">HttpClient インスタンス</param> /// <param name="client">HttpClient インスタンス</param>
/// <param name="gallery">ギャラリー情報オブジェクト</param> /// <param name="gallery">ギャラリー情報オブジェクト</param>
/// <returns>全画像URLリスト(順序保持)</returns> /// <param name="maxImages">取得する最大画像数(デフォルト: MaxImagesPerGallery)</param>
public static async Task<List<string>> FetchAllGalleryImagesAsync(HttpClient client, GalleryItem gallery) /// <returns>画像URLリスト(順序保持)</returns>
public static async Task<List<string>> FetchAllGalleryImagesAsync(HttpClient client, GalleryItem gallery, int maxImages = MaxImagesPerGallery)
{ {
var parser = new HtmlParser(); var parser = new HtmlParser();
var viewerLinks = new List<string>(); var viewerLinks = new List<string>();
try try
{ {
// 1. ギャラリー詳細ページの全ページからビューアリンク(/s/...)を収集 // 1. ギャラリー詳細ページから必要な枚数分のビューアリンク(/s/...)を収集
int p = 0; int p = 0;
while (true) while (viewerLinks.Count < maxImages)
{ {
var pageUrl = $"{gallery.Url}?p={p}"; var pageUrl = $"{gallery.Url}?p={p}";
using var req = new HttpRequestMessage(HttpMethod.Get, pageUrl); using var req = new HttpRequestMessage(HttpMethod.Get, pageUrl);
@@ -254,6 +262,12 @@ internal static class e_hentai_common
viewerLinks.AddRange(links!); viewerLinks.AddRange(links!);
// 最大枚数に達した場合はこれ以上のページ取得をスキップ
if (viewerLinks.Count >= maxImages)
{
break;
}
// ページネーション末尾の確認 // ページネーション末尾の確認
var ptb = doc.QuerySelector("table.ptb"); var ptb = doc.QuerySelector("table.ptb");
var nextPtb = ptb?.QuerySelector("td:last-child a"); var nextPtb = ptb?.QuerySelector("td:last-child a");
@@ -269,11 +283,14 @@ internal static class e_hentai_common
return new List<string>(); return new List<string>();
} }
// 2. 各ビューアページから画像URL(#img src)を並行取得 // 必要枚数(maxImages)までに絞り込む
var imageUrls = new string[viewerLinks.Count]; var targetViewerLinks = viewerLinks.Take(maxImages).ToList();
var semaphore = new System.Threading.SemaphoreSlim(10); // 最大同時10接続
var tasks = viewerLinks.Select(async (vLink, index) => // 2. 各ビューアページから画像URL(#img src)を並行取得
var imageUrls = new string[targetViewerLinks.Count];
var semaphore = new System.Threading.SemaphoreSlim(8); // 最大同時8接続
var tasks = targetViewerLinks.Select(async (vLink, index) =>
{ {
await semaphore.WaitAsync(); await semaphore.WaitAsync();
try try
@@ -308,7 +325,7 @@ internal static class e_hentai_common
} }
catch (Exception ex) catch (Exception ex)
{ {
LogManager.AddLog($"[エラー] ギャラリー全画像取得エラー ({gallery.Url}): {ex.Message}"); LogManager.AddLog($"[エラー] ギャラリー画像取得エラー ({gallery.Url}): {ex.Message}");
return new List<string>(); return new List<string>();
} }
} }
@@ -320,14 +337,14 @@ internal static class e_hentai_common
{ {
var galleryList = galleries.ToList(); var galleryList = galleries.ToList();
// 各ギャラリーの全画像取得を並行して実行(最大5ギャラリー同時) // 各ギャラリーの画像取得を並行して実行(最大8ギャラリー同時)
var gallerySemaphore = new System.Threading.SemaphoreSlim(5); var gallerySemaphore = new System.Threading.SemaphoreSlim(8);
var fetchImageTasks = galleryList.Select(async gallery => var fetchImageTasks = galleryList.Select(async gallery =>
{ {
await gallerySemaphore.WaitAsync(); await gallerySemaphore.WaitAsync();
try try
{ {
gallery.ImageUrls = await FetchAllGalleryImagesAsync(client, gallery); gallery.ImageUrls = await FetchAllGalleryImagesAsync(client, gallery, MaxImagesPerGallery);
} }
finally finally
{ {
@@ -375,7 +392,7 @@ internal static class e_hentai_common
// 本文 HTML の整形 // 本文 HTML の整形
var body = new StringBuilder(); var body = new StringBuilder();
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}""><b>{WebUtility.HtmlEncode(gallery.Title)}</b></a></div>"); body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}"" target=""_blank"" rel=""noopener noreferrer""><b>{WebUtility.HtmlEncode(gallery.Title)}</b></a></div>");
body.Append("<div style=\"font-size: 0.9em; color: #555; margin-bottom: 6px;\">"); body.Append("<div style=\"font-size: 0.9em; color: #555; margin-bottom: 6px;\">");
if (!string.IsNullOrWhiteSpace(gallery.Category)) if (!string.IsNullOrWhiteSpace(gallery.Category))
@@ -397,20 +414,41 @@ internal static class e_hentai_common
body.Append($"<div style=\"font-size: 0.85em; color: #777; margin-bottom: 12px;\"><b>Tags:</b> {WebUtility.HtmlEncode(string.Join(", ", gallery.Tags))}</div>"); body.Append($"<div style=\"font-size: 0.85em; color: #777; margin-bottom: 12px;\"><b>Tags:</b> {WebUtility.HtmlEncode(string.Join(", ", gallery.Tags))}</div>");
} }
// 全画像を順番に出力 // ----------------------------------------------------
// 403 Forbidden 対策:
// 1. referrerpolicy="no-referrer" によるリファラー送信防止
// 2. loading="lazy" による順次遅延読み込み
// 3. 大量画像(数百枚)によるレートリミット防止(上限30枚+全ページ閲覧リンク)
// ----------------------------------------------------
if (gallery.ImageUrls.Count > 0) if (gallery.ImageUrls.Count > 0)
{ {
int pageNum = 1; int pageNum = 1;
foreach (var imgUrl in gallery.ImageUrls) foreach (var imgUrl in gallery.ImageUrls)
{ {
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{imgUrl}"" target=""_blank"" rel=""noopener noreferrer""><img src=""{imgUrl}"" alt=""{WebUtility.HtmlEncode(gallery.Title)} - {pageNum}"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a></div>"); body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}"" target=""_blank"" rel=""noopener noreferrer""><img src=""{imgUrl}"" alt=""{WebUtility.HtmlEncode(gallery.Title)} - {pageNum}"" referrerpolicy=""no-referrer"" loading=""lazy"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a></div>");
pageNum++; pageNum++;
} }
// ページ数表記(例: "804 pages")から総ページ数を抽出し、上限を超えている場合は案内リンクを表示
int totalPages = 0;
if (!string.IsNullOrEmpty(gallery.Pages))
{
var match = System.Text.RegularExpressions.Regex.Match(gallery.Pages, @"\d+");
if (match.Success) int.TryParse(match.Value, out totalPages);
}
if (totalPages > gallery.ImageUrls.Count)
{
body.Append($@"<div style=""margin: 16px 0; padding: 12px; background-color: #f5f5f5; border: 1px solid #ddd; border-radius: 4px; text-align: center;"">");
body.Append($@"<p style=""margin: 0 0 8px 0; font-size: 0.95em; color: #333;"">※ 全 {totalPages} ページ中、最初の {gallery.ImageUrls.Count} ページを表示しています。</p>");
body.Append($@"<a href=""{gallery.Url}"" target=""_blank"" rel=""noopener noreferrer"" style=""display: inline-block; padding: 8px 16px; background-color: #007bff; color: #fff; text-decoration: none; border-radius: 4px; font-weight: bold;"">E-Hentai で全ページを見る({totalPages}P)</a>");
body.Append("</div>");
}
} }
else if (!string.IsNullOrWhiteSpace(gallery.ThumbnailUrl)) else if (!string.IsNullOrWhiteSpace(gallery.ThumbnailUrl))
{ {
// フォールバック: 全画像が取得できなかった場合はサムネイルを表示 // フォールバック: 全画像が取得できなかった場合はサムネイルを表示
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}""><img src=""{gallery.ThumbnailUrl}"" alt=""{WebUtility.HtmlEncode(gallery.Title)}"" style=""max-width: 100%; height: auto;"" /></a></div>"); body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{gallery.Url}"" target=""_blank"" rel=""noopener noreferrer""><img src=""{gallery.ThumbnailUrl}"" alt=""{WebUtility.HtmlEncode(gallery.Title)}"" referrerpolicy=""no-referrer"" loading=""lazy"" style=""max-width: 100%; height: auto;"" /></a></div>");
} }
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
@@ -2,9 +2,13 @@ using AngleSharp.Html.Dom;
using AngleSharp.Html.Parser; using AngleSharp.Html.Parser;
using System; using System;
using System.Collections.Generic; using System.Collections.Generic;
using System.Linq;
using System.Net.Http;
using System.ServiceModel.Syndication; using System.ServiceModel.Syndication;
using System.Text; using System.Text;
using System.Text.RegularExpressions; using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
namespace rss_generator.Class.RSS.hitomi_la; namespace rss_generator.Class.RSS.hitomi_la;
@@ -27,137 +31,132 @@ internal class index_japanese
var results = await Task.WhenAll(tasks); var results = await Task.WhenAll(tasks);
var allItems = results.SelectMany(items => items).ToList(); var allItems = results.SelectMany(items => items).ToList();
var semaphore = new SemaphoreSlim(5);
// 簡潔なRSSに非同期で整形 // 簡潔なRSSに非同期で整形
var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem => var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
{ {
List<SyndicationCategory> getAddCategory() await semaphore.WaitAsync();
try
{ {
List<SyndicationCategory> result = new List<SyndicationCategory>(); List<SyndicationCategory> getAddCategory()
string orgText = originalItem.Summary.Text;
var parser = new HtmlParser();
var document = parser.ParseDocument(orgText);
var firstP = document.QuerySelector("p");
if (firstP != null)
{ {
var targetText = firstP.TextContent; List<SyndicationCategory> result = new List<SyndicationCategory>();
int tagIndex = targetText.IndexOf("【タグ】");
if (tagIndex >= 0)
{
// 【タグ】が見つかった場合、そこから前の文字列だけを残す
targetText = targetText.Substring(0, tagIndex);
}
// ----------------------------------------------------
// 正規表現で各項目の値を抽出する
// ----------------------------------------------------
// パターン解説:
// 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】)
// ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ)
string pattern = @"【[^】]+】([^【]*)";
var matches = Regex.Matches(targetText, pattern);
foreach (Match match in matches) string orgText = originalItem.Summary?.Text ?? "";
{ var parser = new HtmlParser();
// match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります var document = parser.ParseDocument(orgText);
// (項目の中身が空の場合は空文字になります)
string valuesStr = match.Groups[1].Value;
if (string.IsNullOrWhiteSpace(valuesStr)) var firstP = document.QuerySelector("p");
if (firstP != null)
{
var targetText = firstP.TextContent;
int tagIndex = targetText.IndexOf("【タグ】");
if (tagIndex >= 0)
{ {
continue; // 中身が空の場合はスキップ targetText = targetText.Substring(0, tagIndex);
} }
string pattern = @"【[^】]+】([^【]*)";
var matches = Regex.Matches(targetText, pattern);
// ---------------------------------------------------- foreach (Match match in matches)
// 3. カンマで分割し、前後の空白を除去してカテゴリに追加
// ----------------------------------------------------
// ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します
string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries);
foreach (var val in splitValues)
{ {
// 前後の半角・全角スペースを取り除く string valuesStr = match.Groups[1].Value;
string categoryName = val.Trim();
// 空でなければカテゴリとして追加 if (string.IsNullOrWhiteSpace(valuesStr))
if (!string.IsNullOrEmpty(categoryName))
{ {
// domain属性なし(前回回答の手法)でカテゴリを追加 continue;
result.Add(new SyndicationCategory(categoryName)); }
string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries);
foreach (var val in splitValues)
{
string categoryName = val.Trim();
if (!string.IsNullOrEmpty(categoryName))
{
result.Add(new SyndicationCategory(categoryName));
}
} }
} }
} }
return result;
} }
return result;
}
var newItem = new SyndicationItem() var newItem = new SyndicationItem()
{
// タイトルは TextSyndicationContent でラップする必要があります
Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title")
,
Id = CmnUtil.CreateGuid(originalItem.Id)
,
PublishDate = originalItem.PublishDate
,
LastUpdatedTime = originalItem.LastUpdatedTime
// 元のコンテンツをそのまま引き継ぐ
// , Content = originalItem.Content
// , Summary = originalItem.Summary
};
// リンクを引き継ぐ
var link = originalItem.Links.FirstOrDefault()?.Uri;
if (link != null)
{
newItem.Links.Add(new SyndicationLink(link));
}
// カテゴリに本文内の作者などの情報を追加する
foreach (var category in getAddCategory())
{
newItem.Categories.Add(category);
}
// 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
foreach (var category in originalItem.Categories)
{
category.Scheme = null;
newItem.Categories.Add(category);
}
foreach (var author in originalItem.Authors)
{
newItem.Authors.Add(author);
}
var body = new StringBuilder();
var originalSummary = originalItem.Summary.Text;
body.Append(originalSummary);
if (link != null)
{
var docContents = await CmnUtil.GetDocument(client, link.ToString());
var imgElements = docContents.QuerySelectorAll("#post-hentai img");
foreach (var img in imgElements)
{ {
var src = img.GetAttribute("src"); Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title"),
if (!string.IsNullOrEmpty(src)) Id = CmnUtil.CreateGuid(originalItem.Id),
PublishDate = originalItem.PublishDate,
LastUpdatedTime = originalItem.LastUpdatedTime
};
var link = originalItem.Links.FirstOrDefault()?.Uri;
if (link != null)
{
newItem.Links.Add(new SyndicationLink(link));
}
foreach (var category in getAddCategory())
{
newItem.Categories.Add(category);
}
foreach (var category in originalItem.Categories)
{
category.Scheme = null;
newItem.Categories.Add(category);
}
foreach (var author in originalItem.Authors)
{
newItem.Authors.Add(author);
}
var body = new StringBuilder();
var originalSummary = originalItem.Summary?.Text ?? "";
body.Append(originalSummary);
if (link != null)
{
var docContents = await CmnUtil.GetDocument(client, link.ToString());
var imgElements = docContents.QuerySelectorAll("#post-hentai img, img");
const int maxImages = 30;
int addedCount = 0;
foreach (var img in imgElements)
{ {
// 相対URLの場合も考慮して、絶対URLに解決する var src = img.GetAttribute("src");
if (Uri.TryCreate(link, src, out var absoluteUri)) if (!string.IsNullOrEmpty(src))
{ {
body.Append($"<img src=\"{absoluteUri}\" />"); if (Uri.TryCreate(link, src, out var absoluteUri))
break; {
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{link}"" target=""_blank"" rel=""noopener noreferrer""><img src=""{absoluteUri}"" referrerpolicy=""no-referrer"" loading=""lazy"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a></div>");
addedCount++;
if (addedCount >= maxImages)
{
break;
}
}
} }
} }
}
}
newItem.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
return newItem; if (imgElements.Length > maxImages)
{
body.Append($@"<div style=""margin: 16px 0; padding: 12px; background-color: #f5f5f5; border: 1px solid #ddd; border-radius: 4px; text-align: center;"">");
body.Append($@"<p style=""margin: 0 0 8px 0; font-size: 0.95em; color: #333;"">※ 全 {imgElements.Length} ページ中、最初の {addedCount} ページを表示しています。</p>");
body.Append($@"<a href=""{link}"" target=""_blank"" rel=""noopener noreferrer"" style=""display: inline-block; padding: 8px 16px; background-color: #007bff; color: #fff; text-decoration: none; border-radius: 4px; font-weight: bold;"">hitomi.la で全ページを見る({imgElements.Length}P)</a>");
body.Append("</div>");
}
}
newItem.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
return newItem;
}
finally
{
semaphore.Release();
}
}).ToList(); }).ToList();
var simplifiedItems = await Task.WhenAll(itemTasks); var simplifiedItems = await Task.WhenAll(itemTasks);
// 新しい統合フィードを作成
var mergedFeed = new SyndicationFeed( var mergedFeed = new SyndicationFeed(
"hitomi.la", "hitomi.la",
"", "",
@@ -165,11 +164,12 @@ internal class index_japanese
simplifiedItems simplifiedItems
); );
CmnUtil.ExportXMLFile("momonga-magazine.xml", mergedFeed); CmnUtil.ExportXMLFile("hitomi-japanese.xml", mergedFeed);
LogManager.AddLog($"[情報] hitomi-japanese.xml を正常に出力しました (記事数: {simplifiedItems.Length})");
} }
catch (Exception ex) catch (Exception ex)
{ {
LogManager.AddLog($"[エラー] momonga-magazine:{ex.Message}"); LogManager.AddLog($"[エラー] hitomi-japanese:{ex.Message}");
} }
} }
} }
+5 -3
View File
@@ -2,6 +2,7 @@ using Microsoft.Extensions.DependencyInjection;
using rss_generator.Class; using rss_generator.Class;
using rss_generator.Class.RSS; using rss_generator.Class.RSS;
using rss_generator.Class.RSS.e_hentai; using rss_generator.Class.RSS.e_hentai;
using rss_generator.Class.RSS.hitomi_la;
using System.Diagnostics; using System.Diagnostics;
@@ -77,9 +78,10 @@ while (true)
tasks.Add(momonga_magazine.CreateRSSAsync(client)); tasks.Add(momonga_magazine.CreateRSSAsync(client));
} }
#if DEBUG #if DEBUG
//tasks.Add(index_japanese.CreateRSSAsync(client)); tasks.Add(index_japanese.CreateRSSAsync(client));
//tasks.Add(missav123.CreateRSSAsync(client)); tasks.Add(mangalear.CreateRSSAsync(client));
//tasks.Add(mangalear.CreateRSSAsync(client)); tasks.Add(momonga_fanzine.CreateRSSAsync(client));
tasks.Add(momonga_magazine.CreateRSSAsync(client));
tasks.Add(e_hentai_ai.CreateRSSAsync(client)); tasks.Add(e_hentai_ai.CreateRSSAsync(client));
tasks.Add(e_hentai_non_ai.CreateRSSAsync(client)); tasks.Add(e_hentai_non_ai.CreateRSSAsync(client));
#else #else