From e286a31b0e39e57b53ca8046b1bfb336728350ad Mon Sep 17 00:00:00 2001 From: uduki Date: Mon, 31 Aug 2026 11:27:58 +0900 Subject: [PATCH] feat: implement E-Hentai gallery crawling and image fetching functionality for RSS generation --- .../Class/RSS/e_hentai/e_hentai_common.cs | 72 ++++-- .../Class/RSS/hitomi_la/index_japanese.cs | 212 +++++++++--------- rss-generator/Program.cs | 8 +- 3 files changed, 166 insertions(+), 126 deletions(-) diff --git a/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs b/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs index f2ac206..3d3178c 100644 --- a/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs +++ b/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs @@ -200,21 +200,29 @@ internal static class e_hentai_common } /// - /// 対象ギャラリーの詳細ページ・ビューアページを巡回し、日本語タイトルおよび全画像の直接URLを取得します。 + /// 1作品(1記事)あたりに RSS 本文へ展開する最大画像数。 + /// 大量(数百枚以上)の画像を一斉に読み込むと Hath サーバーのレートリミット(403 Forbidden)が発生するため、 + /// 上限を設けてプレビュー表示し、上限を超える場合は元サイトへの全ページ閲覧リンクを表示します。 + /// + public const int MaxImagesPerGallery = 30; + + /// + /// 対象ギャラリーの詳細ページ・ビューアページを巡回し、日本語タイトルおよび画像の直接URLを取得します。 /// /// HttpClient インスタンス /// ギャラリー情報オブジェクト - /// 全画像URLリスト(順序保持) - public static async Task> FetchAllGalleryImagesAsync(HttpClient client, GalleryItem gallery) + /// 取得する最大画像数(デフォルト: MaxImagesPerGallery) + /// 画像URLリスト(順序保持) + public static async Task> FetchAllGalleryImagesAsync(HttpClient client, GalleryItem gallery, int maxImages = MaxImagesPerGallery) { var parser = new HtmlParser(); var viewerLinks = new List(); try { - // 1. ギャラリー詳細ページの全ページからビューアリンク(/s/...)を収集 + // 1. ギャラリー詳細ページから必要な枚数分のビューアリンク(/s/...)を収集 int p = 0; - while (true) + while (viewerLinks.Count < maxImages) { var pageUrl = $"{gallery.Url}?p={p}"; using var req = new HttpRequestMessage(HttpMethod.Get, pageUrl); @@ -254,6 +262,12 @@ internal static class e_hentai_common viewerLinks.AddRange(links!); + // 最大枚数に達した場合はこれ以上のページ取得をスキップ + if (viewerLinks.Count >= maxImages) + { + break; + } + // ページネーション末尾の確認 var ptb = doc.QuerySelector("table.ptb"); var nextPtb = ptb?.QuerySelector("td:last-child a"); @@ -269,11 +283,14 @@ internal static class e_hentai_common return new List(); } - // 2. 各ビューアページから画像URL(#img src)を並行取得 - var imageUrls = new string[viewerLinks.Count]; - var semaphore = new System.Threading.SemaphoreSlim(10); // 最大同時10接続 + // 必要枚数(maxImages)までに絞り込む + var targetViewerLinks = viewerLinks.Take(maxImages).ToList(); - var tasks = viewerLinks.Select(async (vLink, index) => + // 2. 各ビューアページから画像URL(#img src)を並行取得 + var imageUrls = new string[targetViewerLinks.Count]; + var semaphore = new System.Threading.SemaphoreSlim(8); // 最大同時8接続 + + var tasks = targetViewerLinks.Select(async (vLink, index) => { await semaphore.WaitAsync(); try @@ -308,7 +325,7 @@ internal static class e_hentai_common } catch (Exception ex) { - LogManager.AddLog($"[エラー] ギャラリー全画像取得エラー ({gallery.Url}): {ex.Message}"); + LogManager.AddLog($"[エラー] ギャラリー画像取得エラー ({gallery.Url}): {ex.Message}"); return new List(); } } @@ -320,14 +337,14 @@ internal static class e_hentai_common { var galleryList = galleries.ToList(); - // 各ギャラリーの全画像取得を並行して実行(最大5ギャラリー同時) - var gallerySemaphore = new System.Threading.SemaphoreSlim(5); + // 各ギャラリーの画像取得を並行して実行(最大8ギャラリー同時) + var gallerySemaphore = new System.Threading.SemaphoreSlim(8); var fetchImageTasks = galleryList.Select(async gallery => { await gallerySemaphore.WaitAsync(); try { - gallery.ImageUrls = await FetchAllGalleryImagesAsync(client, gallery); + gallery.ImageUrls = await FetchAllGalleryImagesAsync(client, gallery, MaxImagesPerGallery); } finally { @@ -375,7 +392,7 @@ internal static class e_hentai_common // 本文 HTML の整形 var body = new StringBuilder(); - body.Append($@""); + body.Append($@""); body.Append("
"); if (!string.IsNullOrWhiteSpace(gallery.Category)) @@ -397,20 +414,41 @@ internal static class e_hentai_common body.Append($"
Tags: {WebUtility.HtmlEncode(string.Join(", ", gallery.Tags))}
"); } - // 全画像を順番に出力 + // ---------------------------------------------------- + // 403 Forbidden 対策: + // 1. referrerpolicy="no-referrer" によるリファラー送信防止 + // 2. loading="lazy" による順次遅延読み込み + // 3. 大量画像(数百枚)によるレートリミット防止(上限30枚+全ページ閲覧リンク) + // ---------------------------------------------------- if (gallery.ImageUrls.Count > 0) { int pageNum = 1; foreach (var imgUrl in gallery.ImageUrls) { - body.Append($@"
"); + body.Append($@"
"); pageNum++; } + + // ページ数表記(例: "804 pages")から総ページ数を抽出し、上限を超えている場合は案内リンクを表示 + int totalPages = 0; + if (!string.IsNullOrEmpty(gallery.Pages)) + { + var match = System.Text.RegularExpressions.Regex.Match(gallery.Pages, @"\d+"); + if (match.Success) int.TryParse(match.Value, out totalPages); + } + + if (totalPages > gallery.ImageUrls.Count) + { + body.Append($@"
"); + body.Append($@"

※ 全 {totalPages} ページ中、最初の {gallery.ImageUrls.Count} ページを表示しています。

"); + body.Append($@"E-Hentai で全ページを見る({totalPages}P)"); + body.Append("
"); + } } else if (!string.IsNullOrWhiteSpace(gallery.ThumbnailUrl)) { // フォールバック: 全画像が取得できなかった場合はサムネイルを表示 - body.Append($@"
"); + body.Append($@"
"); } item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); diff --git a/rss-generator/Class/RSS/hitomi_la/index_japanese.cs b/rss-generator/Class/RSS/hitomi_la/index_japanese.cs index 590740b..7528790 100644 --- a/rss-generator/Class/RSS/hitomi_la/index_japanese.cs +++ b/rss-generator/Class/RSS/hitomi_la/index_japanese.cs @@ -2,9 +2,13 @@ using AngleSharp.Html.Dom; using AngleSharp.Html.Parser; using System; using System.Collections.Generic; +using System.Linq; +using System.Net.Http; using System.ServiceModel.Syndication; using System.Text; using System.Text.RegularExpressions; +using System.Threading; +using System.Threading.Tasks; namespace rss_generator.Class.RSS.hitomi_la; @@ -27,137 +31,132 @@ internal class index_japanese var results = await Task.WhenAll(tasks); var allItems = results.SelectMany(items => items).ToList(); + var semaphore = new SemaphoreSlim(5); // 簡潔なRSSに非同期で整形 var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem => { - List getAddCategory() + await semaphore.WaitAsync(); + try { - List result = new List(); - - string orgText = originalItem.Summary.Text; - var parser = new HtmlParser(); - var document = parser.ParseDocument(orgText); - - var firstP = document.QuerySelector("p"); - if (firstP != null) + List getAddCategory() { - var targetText = firstP.TextContent; - int tagIndex = targetText.IndexOf("【タグ】"); - if (tagIndex >= 0) - { - // 【タグ】が見つかった場合、そこから前の文字列だけを残す - targetText = targetText.Substring(0, tagIndex); - } - // ---------------------------------------------------- - // 正規表現で各項目の値を抽出する - // ---------------------------------------------------- - // パターン解説: - // 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】) - // ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ) - string pattern = @"【[^】]+】([^【]*)"; - var matches = Regex.Matches(targetText, pattern); + List result = new List(); - foreach (Match match in matches) - { - // match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります - // (項目の中身が空の場合は空文字になります) - string valuesStr = match.Groups[1].Value; + string orgText = originalItem.Summary?.Text ?? ""; + var parser = new HtmlParser(); + var document = parser.ParseDocument(orgText); - if (string.IsNullOrWhiteSpace(valuesStr)) + var firstP = document.QuerySelector("p"); + if (firstP != null) + { + var targetText = firstP.TextContent; + int tagIndex = targetText.IndexOf("【タグ】"); + if (tagIndex >= 0) { - continue; // 中身が空の場合はスキップ + targetText = targetText.Substring(0, tagIndex); } + string pattern = @"【[^】]+】([^【]*)"; + var matches = Regex.Matches(targetText, pattern); - // ---------------------------------------------------- - // 3. カンマで分割し、前後の空白を除去してカテゴリに追加 - // ---------------------------------------------------- - // ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します - string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries); - - foreach (var val in splitValues) + foreach (Match match in matches) { - // 前後の半角・全角スペースを取り除く - string categoryName = val.Trim(); + string valuesStr = match.Groups[1].Value; - // 空でなければカテゴリとして追加 - if (!string.IsNullOrEmpty(categoryName)) + if (string.IsNullOrWhiteSpace(valuesStr)) { - // domain属性なし(前回回答の手法)でカテゴリを追加 - result.Add(new SyndicationCategory(categoryName)); + continue; + } + + string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries); + + foreach (var val in splitValues) + { + string categoryName = val.Trim(); + + if (!string.IsNullOrEmpty(categoryName)) + { + result.Add(new SyndicationCategory(categoryName)); + } } } } + return result; } - return result; - } - var newItem = new SyndicationItem() - { - // タイトルは TextSyndicationContent でラップする必要があります - Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title") - , - Id = CmnUtil.CreateGuid(originalItem.Id) - , - PublishDate = originalItem.PublishDate - , - LastUpdatedTime = originalItem.LastUpdatedTime - - // 元のコンテンツをそのまま引き継ぐ - // , Content = originalItem.Content - // , Summary = originalItem.Summary - }; - - // リンクを引き継ぐ - var link = originalItem.Links.FirstOrDefault()?.Uri; - if (link != null) - { - newItem.Links.Add(new SyndicationLink(link)); - } - // カテゴリに本文内の作者などの情報を追加する - foreach (var category in getAddCategory()) - { - newItem.Categories.Add(category); - } - // 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ - foreach (var category in originalItem.Categories) - { - category.Scheme = null; - newItem.Categories.Add(category); - } - foreach (var author in originalItem.Authors) - { - newItem.Authors.Add(author); - } - - var body = new StringBuilder(); - var originalSummary = originalItem.Summary.Text; - body.Append(originalSummary); - if (link != null) - { - var docContents = await CmnUtil.GetDocument(client, link.ToString()); - var imgElements = docContents.QuerySelectorAll("#post-hentai img"); - foreach (var img in imgElements) + var newItem = new SyndicationItem() { - var src = img.GetAttribute("src"); - if (!string.IsNullOrEmpty(src)) + Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title"), + Id = CmnUtil.CreateGuid(originalItem.Id), + PublishDate = originalItem.PublishDate, + LastUpdatedTime = originalItem.LastUpdatedTime + }; + + var link = originalItem.Links.FirstOrDefault()?.Uri; + if (link != null) + { + newItem.Links.Add(new SyndicationLink(link)); + } + foreach (var category in getAddCategory()) + { + newItem.Categories.Add(category); + } + foreach (var category in originalItem.Categories) + { + category.Scheme = null; + newItem.Categories.Add(category); + } + foreach (var author in originalItem.Authors) + { + newItem.Authors.Add(author); + } + + var body = new StringBuilder(); + var originalSummary = originalItem.Summary?.Text ?? ""; + body.Append(originalSummary); + if (link != null) + { + var docContents = await CmnUtil.GetDocument(client, link.ToString()); + var imgElements = docContents.QuerySelectorAll("#post-hentai img, img"); + const int maxImages = 30; + int addedCount = 0; + + foreach (var img in imgElements) { - // 相対URLの場合も考慮して、絶対URLに解決する - if (Uri.TryCreate(link, src, out var absoluteUri)) + var src = img.GetAttribute("src"); + if (!string.IsNullOrEmpty(src)) { - body.Append($""); - break; + if (Uri.TryCreate(link, src, out var absoluteUri)) + { + body.Append($@"
"); + addedCount++; + if (addedCount >= maxImages) + { + break; + } + } } } - } - } - newItem.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); - return newItem; + if (imgElements.Length > maxImages) + { + body.Append($@"
"); + body.Append($@"

※ 全 {imgElements.Length} ページ中、最初の {addedCount} ページを表示しています。

"); + body.Append($@"hitomi.la で全ページを見る({imgElements.Length}P)"); + body.Append("
"); + } + } + newItem.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); + + return newItem; + } + finally + { + semaphore.Release(); + } }).ToList(); var simplifiedItems = await Task.WhenAll(itemTasks); - - // 新しい統合フィードを作成 + var mergedFeed = new SyndicationFeed( "hitomi.la", "", @@ -165,11 +164,12 @@ internal class index_japanese simplifiedItems ); - CmnUtil.ExportXMLFile("momonga-magazine.xml", mergedFeed); + CmnUtil.ExportXMLFile("hitomi-japanese.xml", mergedFeed); + LogManager.AddLog($"[情報] hitomi-japanese.xml を正常に出力しました (記事数: {simplifiedItems.Length})"); } catch (Exception ex) { - LogManager.AddLog($"[エラー] momonga-magazine:{ex.Message}"); + LogManager.AddLog($"[エラー] hitomi-japanese:{ex.Message}"); } } } diff --git a/rss-generator/Program.cs b/rss-generator/Program.cs index 4894502..34958b0 100644 --- a/rss-generator/Program.cs +++ b/rss-generator/Program.cs @@ -2,6 +2,7 @@ using Microsoft.Extensions.DependencyInjection; using rss_generator.Class; using rss_generator.Class.RSS; using rss_generator.Class.RSS.e_hentai; +using rss_generator.Class.RSS.hitomi_la; using System.Diagnostics; @@ -77,9 +78,10 @@ while (true) tasks.Add(momonga_magazine.CreateRSSAsync(client)); } #if DEBUG - //tasks.Add(index_japanese.CreateRSSAsync(client)); - //tasks.Add(missav123.CreateRSSAsync(client)); - //tasks.Add(mangalear.CreateRSSAsync(client)); + tasks.Add(index_japanese.CreateRSSAsync(client)); + tasks.Add(mangalear.CreateRSSAsync(client)); + tasks.Add(momonga_fanzine.CreateRSSAsync(client)); + tasks.Add(momonga_magazine.CreateRSSAsync(client)); tasks.Add(e_hentai_ai.CreateRSSAsync(client)); tasks.Add(e_hentai_non_ai.CreateRSSAsync(client)); #else