diff --git a/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs b/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs new file mode 100644 index 0000000..71a3809 --- /dev/null +++ b/rss-generator/Class/RSS/e_hentai/e_hentai_ai.cs @@ -0,0 +1,49 @@ +using System; +using System.Collections.Generic; +using System.Linq; +using System.Net.Http; +using System.ServiceModel.Syndication; +using System.Threading.Tasks; +using static rss_generator.Class.LogManager; + +namespace rss_generator.Class.RSS.e_hentai; + +internal class e_hentai_ai +{ + /// + /// E-Hentai の最新ギャラリーから「ai generated」タグが付いている日本語作品を抽出し、 + /// RSSフィード (e_hentai_ai.xml) を生成します。 + /// + /// HttpClient インスタンス + public static async Task CreateRSSAsync(HttpClient client) + { + try + { + // ギャラリー一覧の取得(日本語以外は自動除外済み) + var galleries = await e_hentai_common.FetchGalleriesAsync(client); + + // 「ai generated」タグを持つ作品のみを抽出 + var aiGalleries = galleries.Where(g => g.IsAiGenerated).ToList(); + + // SyndicationItem のリストに変換 + var items = e_hentai_common.ConvertToSyndicationItems(aiGalleries); + + // RSS フィードの作成 + var feed = new SyndicationFeed( + "E-Hentai (AI Generated - Japanese)", + "E-Hentai の AI 生成タグ付き最新日本語作品フィード", + new Uri("https://e-hentai.org/"), + items + ); + + // XML ファイルとして出力 + CmnUtil.ExportXMLFile("e_hentai_ai.xml", feed); + AddLog($"[情報] e_hentai_ai.xml を正常に出力しました (作品数: {items.Count})"); + } + catch (Exception ex) + { + AddLog($"[エラー] [e_hentai_ai]: {ex.Message}"); + CmnUtil.PrintCallStackToEvent(ex); + } + } +} diff --git a/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs b/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs new file mode 100644 index 0000000..dc6f449 --- /dev/null +++ b/rss-generator/Class/RSS/e_hentai/e_hentai_common.cs @@ -0,0 +1,263 @@ +using AngleSharp.Dom; +using AngleSharp.Html.Dom; +using AngleSharp.Html.Parser; +using System; +using System.Collections.Generic; +using System.Globalization; +using System.Linq; +using System.Net; +using System.Net.Http; +using System.ServiceModel.Syndication; +using System.Text; +using System.Threading.Tasks; + +namespace rss_generator.Class.RSS.e_hentai; + +internal static class e_hentai_common +{ + private const string BaseUrl = "https://e-hentai.org/"; + + /// + /// E-Hentai のギャラリーデータ保持用クラス + /// + public class GalleryItem + { + public string Title { get; set; } = string.Empty; + public string Url { get; set; } = string.Empty; + public string ThumbnailUrl { get; set; } = string.Empty; + public string Category { get; set; } = string.Empty; + public string Uploader { get; set; } = string.Empty; + public string Pages { get; set; } = string.Empty; + public DateTime PublishedDate { get; set; } + public List Tags { get; set; } = new(); + public bool IsAiGenerated { get; set; } + } + + /// + /// E-Hentai からギャラリー一覧を取得し、日本語以外の作品を除外したギャラリーリストを返します。 + /// + /// HttpClient インスタンス + /// 取得するページ数(デフォルト: 5ページ = 125件) + /// 取得・フィルタリング済みの GalleryItem リスト + public static async Task> FetchGalleriesAsync(HttpClient client, int maxPages = 5) + { + var resultList = new List(); + var parser = new HtmlParser(); + + for (int page = 0; page < maxPages; page++) + { + try + { + // Extended view (dm_e) を指定してタグテーブルを含む形式で取得 + var pageUrl = $"{BaseUrl}?page={page}&inline_set=dm_e"; + using var request = new HttpRequestMessage(HttpMethod.Get, pageUrl); + // NSFW 警告ページをスキップするための Cookie + request.Headers.Add("Cookie", "nw=1"); + + using var response = await client.SendAsync(request); + if (!response.IsSuccessStatusCode) + { + LogManager.AddLog($"[警告] E-Hentai ページ取得失敗 (page={page}, Status={response.StatusCode})"); + continue; + } + + var html = await response.Content.ReadAsStringAsync(); + var doc = await parser.ParseDocumentAsync(html); + + // 外側 tr 行(各ギャラリーのエントリ行)を取得 + var outerRows = doc.QuerySelectorAll("table.itg > tbody > tr, .tbl > tr, table.itg > tr"); + + foreach (var tr in outerRows) + { + // ギャラリーへのリンク要素が存在しない行(ヘッダー行等)はスキップ + var linkElem = tr.QuerySelector("a[href*='/g/']"); + if (linkElem == null) + { + continue; + } + + // ---------------------------------------------------- + // 1. 言語判定(日本語以外の除外) + // ---------------------------------------------------- + // tr 内にあるすべての td.tc を階層に関係なく取得 + var targetCells = tr.QuerySelectorAll("td.tc"); + + // テキストが「language:」と一致するものが含まれているか判定 + bool hasLanguage = targetCells.Any(td => td.TextContent.Trim() == "language:"); + + // 条件に合致した場合(日本語以外の翻訳版等)、除外 + if (hasLanguage) + { + continue; + } + + // ---------------------------------------------------- + // 2. ギャラリー情報の抽出 + // ---------------------------------------------------- + var galleryUrl = linkElem.GetAttribute("href") ?? string.Empty; + if (string.IsNullOrWhiteSpace(galleryUrl)) + { + continue; + } + + // タイトル + var title = tr.QuerySelector(".glink")?.TextContent.Trim(); + if (string.IsNullOrEmpty(title)) + { + title = tr.QuerySelector(".gl1e img, .glthumb img")?.GetAttribute("title")?.Trim() + ?? tr.QuerySelector(".gl1e img, .glthumb img")?.GetAttribute("alt")?.Trim() + ?? tr.QuerySelector(".glname")?.TextContent.Trim(); + } + if (string.IsNullOrEmpty(title)) + { + title = "No Title"; + } + + // サムネイル画像 URL + var imgElem = tr.QuerySelector(".gl1e img, .glthumb img, img"); + var thumbUrl = imgElem?.GetAttribute("src") ?? imgElem?.GetAttribute("data-src") ?? string.Empty; + + // カテゴリ (Doujinshi, Manga, Artist CG, Game CG, Misc, etc.) + var catElem = tr.QuerySelector(".gl3e .cn, .gl1e .cn, .cn, .cs"); + var category = catElem?.TextContent.Trim() ?? string.Empty; + + // 投稿日時 (UTC表記: "yyyy-MM-dd HH:mm") + var postedElem = tr.QuerySelector("[id^='posted_'], .gl3e > div:nth-child(2)"); + var postedStr = postedElem?.TextContent.Trim() ?? string.Empty; + DateTime pubDate = DateTime.Now; + if (DateTimeOffset.TryParseExact(postedStr, "yyyy-MM-dd HH:mm", CultureInfo.InvariantCulture, DateTimeStyles.AssumeUniversal, out var parsedOffset)) + { + // 日本時間(JST = UTC+9)に変換 + pubDate = parsedOffset.ToOffset(TimeSpan.FromHours(9)).DateTime; + } + + // アップローダー + var uploaderElem = tr.QuerySelector(".gl3e a[href*='/uploader/']"); + var uploader = uploaderElem?.TextContent.Trim() ?? string.Empty; + + // ページ数 + var pagesElem = tr.QuerySelector(".gl3e > div:nth-child(5), .gl3e div:contains('pages')"); + var pages = pagesElem?.TextContent.Trim() ?? string.Empty; + + // タグ一覧 + var tagElements = tr.QuerySelectorAll("div.gt, div.gtl, div.gtw"); + var tags = new List(); + foreach (var tagEl in tagElements) + { + var tagText = tagEl.TextContent.Trim(); + if (!string.IsNullOrEmpty(tagText) && !tags.Contains(tagText, StringComparer.OrdinalIgnoreCase)) + { + tags.Add(tagText); + } + } + + // ---------------------------------------------------- + // 3. AI generated 判定 + // ---------------------------------------------------- + bool isAiGenerated = tags.Any(t => t.Equals("ai generated", StringComparison.OrdinalIgnoreCase)); + + resultList.Add(new GalleryItem + { + Title = title, + Url = galleryUrl, + ThumbnailUrl = thumbUrl, + Category = category, + Uploader = uploader, + Pages = pages, + PublishedDate = pubDate, + Tags = tags, + IsAiGenerated = isAiGenerated + }); + } + } + catch (Exception ex) + { + LogManager.AddLog($"[エラー] E-Hentai ページ取得処理 (page={page}): {ex.Message}"); + } + } + + // 重複ギャラリー(同一URL)を除外 + return resultList + .GroupBy(x => x.Url) + .Select(g => g.First()) + .OrderByDescending(x => x.PublishedDate) + .ToList(); + } + + /// + /// GalleryItem リストから SyndicationItem のリストを生成します。 + /// + public static List ConvertToSyndicationItems(IEnumerable galleries) + { + var items = new List(); + + foreach (var gallery in galleries) + { + var item = new SyndicationItem + { + Title = new TextSyndicationContent(gallery.Title), + PublishDate = gallery.PublishedDate, + LastUpdatedTime = gallery.PublishedDate, + Id = CmnUtil.CreateGuid(gallery.Url) + }; + + // ギャラリーへのリンク + if (Uri.TryCreate(gallery.Url, UriKind.Absolute, out var uri)) + { + item.Links.Add(new SyndicationLink(uri)); + } + + // カテゴリ(作品ジャンル)の追加 + if (!string.IsNullOrWhiteSpace(gallery.Category)) + { + item.Categories.Add(new SyndicationCategory(gallery.Category)); + } + + // 各タグをカテゴリに追加 + foreach (var tag in gallery.Tags) + { + item.Categories.Add(new SyndicationCategory(tag)); + } + + // アップローダーを著者に追加 + if (!string.IsNullOrWhiteSpace(gallery.Uploader)) + { + item.Authors.Add(new SyndicationPerson { Name = gallery.Uploader }); + } + + // 本文 HTML の整形 + var body = new StringBuilder(); + body.Append($@""); + + if (!string.IsNullOrWhiteSpace(gallery.ThumbnailUrl)) + { + body.Append($@"
"); + } + + body.Append("
"); + if (!string.IsNullOrWhiteSpace(gallery.Category)) + { + body.Append($"Category: {WebUtility.HtmlEncode(gallery.Category)} "); + } + if (!string.IsNullOrWhiteSpace(gallery.Pages)) + { + body.Append($"| Pages: {WebUtility.HtmlEncode(gallery.Pages)} "); + } + if (!string.IsNullOrWhiteSpace(gallery.Uploader)) + { + body.Append($"| Uploader: {WebUtility.HtmlEncode(gallery.Uploader)}"); + } + body.Append("
"); + + if (gallery.Tags.Count > 0) + { + body.Append($"
Tags: {WebUtility.HtmlEncode(string.Join(", ", gallery.Tags))}
"); + } + + item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); + items.Add(item); + } + + return items; + } +} diff --git a/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs b/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs new file mode 100644 index 0000000..5fb0857 --- /dev/null +++ b/rss-generator/Class/RSS/e_hentai/e_hentai_non_ai.cs @@ -0,0 +1,49 @@ +using System; +using System.Collections.Generic; +using System.Linq; +using System.Net.Http; +using System.ServiceModel.Syndication; +using System.Threading.Tasks; +using static rss_generator.Class.LogManager; + +namespace rss_generator.Class.RSS.e_hentai; + +internal class e_hentai_non_ai +{ + /// + /// E-Hentai の最新ギャラリーから「ai generated」タグが付いていない日本語作品を抽出し、 + /// RSSフィード (e_hentai_non_ai.xml) を生成します。 + /// + /// HttpClient インスタンス + public static async Task CreateRSSAsync(HttpClient client) + { + try + { + // ギャラリー一覧の取得(日本語以外は自動除外済み) + var galleries = await e_hentai_common.FetchGalleriesAsync(client); + + // 「ai generated」タグを持たない作品のみを抽出 + var nonAiGalleries = galleries.Where(g => !g.IsAiGenerated).ToList(); + + // SyndicationItem のリストに変換 + var items = e_hentai_common.ConvertToSyndicationItems(nonAiGalleries); + + // RSS フィードの作成 + var feed = new SyndicationFeed( + "E-Hentai (Non-AI - Japanese)", + "E-Hentai の非AI生成タグ最新日本語作品フィード", + new Uri("https://e-hentai.org/"), + items + ); + + // XML ファイルとして出力 + CmnUtil.ExportXMLFile("e_hentai_non_ai.xml", feed); + AddLog($"[情報] e_hentai_non_ai.xml を正常に出力しました (作品数: {items.Count})"); + } + catch (Exception ex) + { + AddLog($"[エラー] [e_hentai_non_ai]: {ex.Message}"); + CmnUtil.PrintCallStackToEvent(ex); + } + } +} diff --git a/rss-generator/Class/RSS/mangalear.cs b/rss-generator/Class/RSS/mangalear.cs new file mode 100644 index 0000000..45fb219 --- /dev/null +++ b/rss-generator/Class/RSS/mangalear.cs @@ -0,0 +1,201 @@ +using AngleSharp.Dom; +using AngleSharp.Html.Dom; +using System; +using System.Collections.Generic; +using System.Linq; +using System.Net; +using System.ServiceModel.Syndication; +using System.Text; +using System.Threading.Tasks; +using static rss_generator.Class.LogManager; + +namespace rss_generator.Class.RSS; + +internal class mangalear +{ + /// + /// 同人まんがりあ (mangalear.blog) の Atom フィードから記事および本文内画像を全件取得し、 + /// 新しい RSS (XML) フィードを生成して出力します。 + /// + /// HttpClient インスタンス + public static async Task CreateRSSAsync(HttpClient client) + { + var pageMaster = "https://www.mangalear.blog"; + + try + { + // 1. Atom フィードの複数ページ取得用 URL リストを作成 + var linkList = new List(); + for (int pageId = 1; pageId <= 10; pageId++) + { + var pageURL = $"{pageMaster}/feed/atom/{(pageId > 1 ? $"?paged={pageId}" : "")}"; + linkList.Add(pageURL); + } + + // 2. 並行して各ページのフィードアイテムを取得 + var tasks = linkList.Select(url => CmnUtil.GetFeedItems(client, url)).ToList(); + var results = await Task.WhenAll(tasks); + var allItems = results.SelectMany(items => items).ToList(); + + // 重複アイテム(同一URL)を除外 + var uniqueItems = allItems + .GroupBy(x => x.Links.FirstOrDefault()?.Uri?.ToString() ?? x.Id) + .Select(g => g.First()) + .ToList(); + + // 3. 各記事の詳細ページから本文画像を全て抽出し、新しいフィードアイテムに整形 + var itemTasks = uniqueItems.OrderByDescending(x => x.PublishDate).Select(async originalItem => + { + var link = originalItem.Links.FirstOrDefault()?.Uri; + var title = originalItem.Title?.Text ?? "No Title"; + + var newItem = new SyndicationItem() + { + Title = new TextSyndicationContent(title), + PublishDate = originalItem.PublishDate, + LastUpdatedTime = originalItem.LastUpdatedTime + }; + + // リンクの引き継ぎ + if (link != null) + { + newItem.Links.Add(new SyndicationLink(link)); + } + + // カテゴリ・タグの引き継ぎ + foreach (var category in originalItem.Categories) + { + category.Scheme = null; + newItem.Categories.Add(category); + } + + // 著者の引き継ぎ + if (originalItem.Authors.Any()) + { + foreach (var author in originalItem.Authors) + { + newItem.Authors.Add(author); + } + } + else + { + newItem.Authors.Add(new SyndicationPerson { Name = "mangalear" }); + } + + // GUID の生成 + newItem.Id = CmnUtil.CreateGuid($"{link}"); + + var body = new StringBuilder(); + + if (link != null) + { + // 記事詳細ページの HTML を取得 + var docContents = await CmnUtil.GetDocument(client, link.ToString()); + if (docContents != null) + { + var entryContent = docContents.QuerySelector(".entry-content") ?? docContents.QuerySelector("article"); + + // アイキャッチ画像の取得(存在する場合) + string? eyeCatchUrl = null; + if (docContents.QuerySelector(".eye-catch img, figure.eye-catch img") is IHtmlImageElement eyeCatchImg && !string.IsNullOrEmpty(eyeCatchImg.Source)) + { + eyeCatchUrl = eyeCatchImg.Source; + } + else + { + var metaOgImage = docContents.QuerySelector("meta[property='og:image']")?.GetAttribute("content"); + if (!string.IsNullOrEmpty(metaOgImage)) + { + eyeCatchUrl = metaOgImage; + } + } + + // アイキャッチ画像を先頭に配置(設定されている場合) + if (!string.IsNullOrEmpty(eyeCatchUrl)) + { + if (Uri.TryCreate(link, eyeCatchUrl, out var absoluteEyeCatchUri)) + { + body.Append($@"
"); + } + } + + // 本文から画像を全件抽出 + if (entryContent != null) + { + var imgElements = entryContent.QuerySelectorAll("img").ToList(); + var addedImages = new HashSet(StringComparer.OrdinalIgnoreCase); + + // アイキャッチ画像を追加済みの場合は重複を避けるため登録 + if (!string.IsNullOrEmpty(eyeCatchUrl)) + { + addedImages.Add(eyeCatchUrl); + } + + foreach (var img in imgElements) + { + // 親要素の タグから高解像度オリジナル画像 URL の取得を試みる + string? targetSrc = null; + if (img.ParentElement is IHtmlAnchorElement parentAnchor && !string.IsNullOrEmpty(parentAnchor.Href)) + { + var href = parentAnchor.Href; + // リンク先が画像ファイルか確認 + if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) || + href.EndsWith(".jpeg", StringComparison.OrdinalIgnoreCase) || + href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) || + href.EndsWith(".webp", StringComparison.OrdinalIgnoreCase) || + href.EndsWith(".gif", StringComparison.OrdinalIgnoreCase)) + { + targetSrc = href; + } + } + + // リンクから取得できない場合は img の src / data-src を利用 + if (string.IsNullOrEmpty(targetSrc)) + { + var src = img.GetAttribute("src"); + var dataSrc = img.GetAttribute("data-src"); + targetSrc = !string.IsNullOrEmpty(dataSrc) ? dataSrc : src; + } + + if (!string.IsNullOrEmpty(targetSrc)) + { + // 相対パスの場合は絶対 URL に解決 + if (Uri.TryCreate(link, targetSrc, out var absoluteImgUri)) + { + var finalUrl = absoluteImgUri.ToString(); + if (addedImages.Add(finalUrl)) + { + body.Append($@"
"); + } + } + } + } + } + } + } + + newItem.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); + return newItem; + }).ToList(); + + var simplifiedItems = await Task.WhenAll(itemTasks); + + // 4. 新しい統合フィードを作成 + var mergedFeed = new SyndicationFeed( + "同人まんがりあ", + "同人まんがりあの最新記事フィード", + new Uri("https://www.mangalear.blog/"), + simplifiedItems + ); + + // 5. XML ファイルとして出力 + CmnUtil.ExportXMLFile("mangalear.xml", mergedFeed); + AddLog($"[情報] mangalear.xml を正常に出力しました (記事数: {simplifiedItems.Length})"); + } + catch (Exception ex) + { + AddLog($"[エラー] [mangalear]: {ex.Message}"); + CmnUtil.PrintCallStackToEvent(ex); + } + } +} diff --git a/rss-generator/Program.cs b/rss-generator/Program.cs index 1c8a13b..4894502 100644 --- a/rss-generator/Program.cs +++ b/rss-generator/Program.cs @@ -1,6 +1,7 @@ -using Microsoft.Extensions.DependencyInjection; +using Microsoft.Extensions.DependencyInjection; using rss_generator.Class; using rss_generator.Class.RSS; +using rss_generator.Class.RSS.e_hentai; using System.Diagnostics; @@ -77,7 +78,10 @@ while (true) } #if DEBUG //tasks.Add(index_japanese.CreateRSSAsync(client)); - tasks.Add(missav123.CreateRSSAsync(client)); + //tasks.Add(missav123.CreateRSSAsync(client)); + //tasks.Add(mangalear.CreateRSSAsync(client)); + tasks.Add(e_hentai_ai.CreateRSSAsync(client)); + tasks.Add(e_hentai_non_ai.CreateRSSAsync(client)); #else tasks.Add(Youtube.CreateRSSAsync(client)); @@ -91,6 +95,9 @@ while (true) tasks.Add(aurahentai.CreateRSSAsync(client)); tasks.Add(javtwi.CreateRSSAsync(client)); tasks.Add(rss_generator.Class.RSS.Danbooru.rank.CreateRSSAsync(client)); + tasks.Add(mangalear.CreateRSSAsync(client)); + tasks.Add(e_hentai_ai.CreateRSSAsync(client)); + tasks.Add(e_hentai_non_ai.CreateRSSAsync(client)); #endif