From 34cc2623c2446a9f7470e7489d4d0fe07d820276 Mon Sep 17 00:00:00 2001 From: uduki Date: Sun, 16 Aug 2026 02:16:43 +0900 Subject: [PATCH] =?UTF-8?q?=E3=81=A8=E3=82=8A=E3=81=82=E3=81=88=E3=81=9A?= =?UTF-8?q?=E7=8F=BE=E5=9C=A8=E3=81=AE=E7=8A=B6=E6=85=8B=E3=81=A7=E3=82=B3?= =?UTF-8?q?=E3=83=9F=E3=83=83=E3=83=88?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- RSSAPI/Program.cs | 1247 ++++++++++++++++++++++-------------------- RSSAPI/RSSAPI.csproj | 6 +- RSSAPI/RSSAPI.http | 2 +- 3 files changed, 655 insertions(+), 600 deletions(-) diff --git a/RSSAPI/Program.cs b/RSSAPI/Program.cs index d354f2d..956d403 100644 --- a/RSSAPI/Program.cs +++ b/RSSAPI/Program.cs @@ -6,6 +6,7 @@ using AngleSharp.Xml.Parser; using Microsoft.AspNetCore.Html; using Microsoft.AspNetCore.Mvc.RazorPages; using System.Diagnostics; +using System.Security.Cryptography; using System.ServiceModel.Syndication; using System.Text; using System.Text.RegularExpressions; @@ -192,7 +193,7 @@ app.MapGet("/missav", async () => title, string.Empty, itemUri, - itemUri?.ToString() ?? Guid.NewGuid().ToString(), // 一意なID (URLを使うことが多い) + cmnUtil.CreateGuid(linkHref), DateTimeOffset.Now // 取得できた公開日時があればそれをセット ); item.Content = SyndicationContent.CreateHtmlContent(body.ToString()); @@ -291,7 +292,7 @@ app.MapGet("/missav123", async () => title, string.Empty, itemUri, - itemUri?.ToString() ?? Guid.NewGuid().ToString(), // 一意なID (URLを使うことが多い) + cmnUtil.CreateGuid(linkHref), DateTimeOffset.Now // 取得できた公開日時があればそれをセット ); item.Content = SyndicationContent.CreateHtmlContent(body.ToString()); @@ -333,599 +334,617 @@ app.MapGet("/missav123", async () => } }); -// --- APIエンドポイントの定義 --- -app.MapGet("/momonga/fanzine", async (HttpContext context, IHttpClientFactory httpClientFactory) => -{ - var linkList = new List(); - var pageMaster = "https://momon-ga.com/fanzine"; - for (int pageId = 1; pageId <= 50; pageId++) - { - var pageURL = string.Empty; - if (pageId > 1) - { - pageURL = $"{pageMaster}/feed/atom/?paged={pageId}"; - } - else - { - pageURL = $"{pageMaster}/feed/atom/"; - } - linkList.Add(pageURL); - } - - var client = httpClientFactory.CreateClient(); - - var fetchTasks = linkList.Select(async url => - { - try - { - // GetStreamAsyncを使うことで、文字列をメモリに溜め込まず流し読みします - using var stream = await client.GetStreamAsync(url); - using var reader = XmlReader.Create(stream); - var feed = SyndicationFeed.Load(reader); - - return feed?.Items ?? Enumerable.Empty(); - } - catch (Exception ex) - { - Console.WriteLine($"[エラー] {url} の取得に失敗: {ex.Message}"); - return Enumerable.Empty(); // 失敗したURLは無視して空を返す - } - }); - - var results = await Task.WhenAll(fetchTasks); - var allItems = results.SelectMany(items => items).ToList(); - - // ========================================== - // 4. 【機能】簡潔なRSSに整形するロジック - // ========================================== - var simplifiedItems = allItems - .OrderByDescending(x => x.PublishDate) // 新しい順に並び替え - .Select(originalItem => - { - // 元のRSSが重い画像や長文を含んでいても、ここでシンプルな説明文に上書きして削ぎ落とす - // var simpleContent = SyndicationContent.CreatePlaintextContent("記事の詳細はリンク先で確認してください。"); - - List getAddCategory() - { - List result = new List(); - - string orgText = originalItem.Summary.Text; - var parser = new HtmlParser(); - var document = parser.ParseDocument(orgText); - - var firstP = document.QuerySelector("p"); - if (firstP != null) - { - var targetText = firstP.TextContent; - int tagIndex = targetText.IndexOf("【タグ】"); - if (tagIndex >= 0) - { - // 【タグ】が見つかった場合、そこから前の文字列だけを残す - targetText = targetText.Substring(0, tagIndex); - } - // ---------------------------------------------------- - // 正規表現で各項目の値を抽出する - // ---------------------------------------------------- - // パターン解説: - // 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】) - // ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ) - string pattern = @"【[^】]+】([^【]*)"; - var matches = Regex.Matches(targetText, pattern); - - foreach (Match match in matches) - { - // match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります - // (項目の中身が空の場合は空文字になります) - string valuesStr = match.Groups[1].Value; - - if (string.IsNullOrWhiteSpace(valuesStr)) - { - continue; // 中身が空の場合はスキップ - } - - // ---------------------------------------------------- - // 3. カンマで分割し、前後の空白を除去してカテゴリに追加 - // ---------------------------------------------------- - // ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します - string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries); - - foreach (var val in splitValues) - { - // 前後の半角・全角スペースを取り除く - string categoryName = val.Trim(); - - // 空でなければカテゴリとして追加 - if (!string.IsNullOrEmpty(categoryName)) - { - // domain属性なし(前回回答の手法)でカテゴリを追加 - result.Add(new SyndicationCategory(categoryName)); - } - } - } - } - return result; - } - - var newItem = new SyndicationItem() - { - // タイトルは TextSyndicationContent でラップする必要があります - Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title"), - Id = originalItem.Id, - PublishDate = originalItem.PublishDate, - LastUpdatedTime = originalItem.LastUpdatedTime, - - // 元のコンテンツをそのまま引き継ぐ - Content = originalItem.Content, - Summary = originalItem.Summary - }; - - // リンクを引き継ぐ - var link = originalItem.Links.FirstOrDefault()?.Uri; - if (link != null) - { - newItem.Links.Add(new SyndicationLink(link)); - } - // カテゴリに本文内の作者などの情報を追加する - foreach (var category in getAddCategory()) - { - newItem.Categories.Add(category); - } - // 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ - foreach (var category in originalItem.Categories) - { - category.Scheme = null; - newItem.Categories.Add(category); - } - foreach (var author in originalItem.Authors) - { - newItem.Authors.Add(author); - } - return newItem; - }); - - // 5. 新しい統合フィードを作成 - var mergedFeed = new SyndicationFeed( - "momon-ga.com", - "", - new Uri("https://momon-ga.com/fanzine/"), - simplifiedItems - ); - - // ========================================== - // 【追加】このリクエストに限り、同期書き込み(Sync I/O)を特別に許可する - // ========================================== - var syncIoFeature = context.Features.Get(); - if (syncIoFeature != null) - { - syncIoFeature.AllowSynchronousIO = true; - } - - // 6. 出力時のメモリ消費を抑えるため、Response.Body に直接XMLを書き込む - context.Response.ContentType = "application/rss+xml; charset=utf-8"; - - var settings = new XmlWriterSettings - { - Encoding = Encoding.UTF8, - Indent = true, - Async = true, - CloseOutput = false // Response.Bodyを閉じないようにする - }; - - using (var writer = XmlWriter.Create(context.Response.Body, settings)) - { - var formatter = new Rss20FeedFormatter(mergedFeed); - formatter.WriteTo(writer); - await writer.FlushAsync(); - } -}); - -// --- APIエンドポイントの定義 --- -app.MapGet("/momonga/magazine", async (HttpContext context, IHttpClientFactory httpClientFactory) => -{ - var linkList = new List(); - var pageMaster = "https://momon-ga.com/magazine"; - for (int pageId = 1; pageId <= 50; pageId++) - { - var pageURL = string.Empty; - if (pageId > 1) - { - pageURL = $"{pageMaster}/feed/atom/?paged={pageId}"; - } - else - { - pageURL = $"{pageMaster}/feed/atom/"; - } - linkList.Add(pageURL); - } - - var client = httpClientFactory.CreateClient(); - - var fetchTasks = linkList.Select(async url => - { - try - { - // GetStreamAsyncを使うことで、文字列をメモリに溜め込まず流し読みします - using var stream = await client.GetStreamAsync(url); - using var reader = XmlReader.Create(stream); - var feed = SyndicationFeed.Load(reader); - - return feed?.Items ?? Enumerable.Empty(); - } - catch (Exception ex) - { - Console.WriteLine($"[エラー] {url} の取得に失敗: {ex.Message}"); - return Enumerable.Empty(); // 失敗したURLは無視して空を返す - } - }); - - var results = await Task.WhenAll(fetchTasks); - var allItems = results.SelectMany(items => items).ToList(); - - // ========================================== - // 4. 【機能】簡潔なRSSに整形するロジック - // ========================================== - var simplifiedItems = allItems - .OrderByDescending(x => x.PublishDate) // 新しい順に並び替え - .Select(originalItem => - { - // 元のRSSが重い画像や長文を含んでいても、ここでシンプルな説明文に上書きして削ぎ落とす - // var simpleContent = SyndicationContent.CreatePlaintextContent("記事の詳細はリンク先で確認してください。"); - - List getAddCategory() - { - List result = new List(); - - string orgText = originalItem.Summary.Text; - var parser = new HtmlParser(); - var document = parser.ParseDocument(orgText); - - var firstP = document.QuerySelector("p"); - if (firstP != null) - { - var targetText = firstP.TextContent; - int tagIndex = targetText.IndexOf("【タグ】"); - if (tagIndex >= 0) - { - // 【タグ】が見つかった場合、そこから前の文字列だけを残す - targetText = targetText.Substring(0, tagIndex); - } - // ---------------------------------------------------- - // 正規表現で各項目の値を抽出する - // ---------------------------------------------------- - // パターン解説: - // 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】) - // ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ) - string pattern = @"【[^】]+】([^【]*)"; - var matches = Regex.Matches(targetText, pattern); - - foreach (Match match in matches) - { - // match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります - // (項目の中身が空の場合は空文字になります) - string valuesStr = match.Groups[1].Value; - - if (string.IsNullOrWhiteSpace(valuesStr)) - { - continue; // 中身が空の場合はスキップ - } - - // ---------------------------------------------------- - // 3. カンマで分割し、前後の空白を除去してカテゴリに追加 - // ---------------------------------------------------- - // ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します - string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries); - - foreach (var val in splitValues) - { - // 前後の半角・全角スペースを取り除く - string categoryName = val.Trim(); - - // 空でなければカテゴリとして追加 - if (!string.IsNullOrEmpty(categoryName)) - { - // domain属性なし(前回回答の手法)でカテゴリを追加 - result.Add(new SyndicationCategory(categoryName)); - } - } - } - } - return result; - } - - var newItem = new SyndicationItem() - { - // タイトルは TextSyndicationContent でラップする必要があります - Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title"), - Id = originalItem.Id, - PublishDate = originalItem.PublishDate, - LastUpdatedTime = originalItem.LastUpdatedTime, - - // 元のコンテンツをそのまま引き継ぐ - Content = originalItem.Content, - Summary = originalItem.Summary - }; - - // リンクを引き継ぐ - var link = originalItem.Links.FirstOrDefault()?.Uri; - if (link != null) - { - newItem.Links.Add(new SyndicationLink(link)); - } - // カテゴリに本文内の作者などの情報を追加する - foreach (var category in getAddCategory()) - { - newItem.Categories.Add(category); - } - // 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ - foreach (var category in originalItem.Categories) - { - category.Scheme = null; - newItem.Categories.Add(category); - } - foreach (var author in originalItem.Authors) - { - newItem.Authors.Add(author); - } - return newItem; - }); - - // 5. 新しい統合フィードを作成 - var mergedFeed = new SyndicationFeed( - "momon-ga.com", - "", - new Uri("https://momon-ga.com/magazine/"), - simplifiedItems - ); - - // ========================================== - // 【追加】このリクエストに限り、同期書き込み(Sync I/O)を特別に許可する - // ========================================== - var syncIoFeature = context.Features.Get(); - if (syncIoFeature != null) - { - syncIoFeature.AllowSynchronousIO = true; - } - - // 6. 出力時のメモリ消費を抑えるため、Response.Body に直接XMLを書き込む - context.Response.ContentType = "application/rss+xml; charset=utf-8"; - - var settings = new XmlWriterSettings - { - Encoding = Encoding.UTF8, - Indent = true, - Async = true, - CloseOutput = false // Response.Bodyを閉じないようにする - }; - - using (var writer = XmlWriter.Create(context.Response.Body, settings)) - { - var formatter = new Rss20FeedFormatter(mergedFeed); - formatter.WriteTo(writer); - await writer.FlushAsync(); - } -}); - -// --- 2. APIエンドポイントの定義 --- -app.MapGet("/javtwi", async () => -{ - var baseURL = "https://javtwi.com/new.html"; - - - var feed = new SyndicationFeed("javtwi", "", new Uri(baseURL)); - var items = new List(); - - try - { - var linkList = new List(); - - // --- 3. HTMLの取得と解析 --- - var document = await context.OpenAsync(baseURL); - var pageTitle = document.QuerySelector("title")?.TextContent; - - var elements = document.QuerySelectorAll("div.center_contents a.center_contents"); - foreach (var linkElement in elements) - { - var imgElement = linkElement.QuerySelector("a img"); - - var linkHref = linkElement?.GetAttribute("href") ?? string.Empty; - var imageSrc = (imgElement as IHtmlImageElement)!.Source; - if (linkHref != string.Empty && !linkList.Contains(linkHref)) - { - if (linkHref.Last() == '?') - { - linkHref = linkHref.TrimEnd('?'); - } - linkList.Add(linkHref); - } - else - { - continue; - } - - var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null; - var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null; - if (itemUri == null) - { - continue; - } - if (itemUri.AbsolutePath.Contains("404.")) - { - continue; - } - - var title = cmnUtil.GetLastPathPart(linkHref); - - var body = new StringBuilder(); - body.Append($@""); - body.Append($@"
"); - - var item = new SyndicationItem( - title, - string.Empty, - itemUri, - itemUri?.ToString() ?? Guid.NewGuid().ToString(), // 一意なID (URLを使うことが多い) - DateTimeOffset.Now // 取得できた公開日時があればそれをセット - ); - item.Content = SyndicationContent.CreateHtmlContent(body.ToString()); - // ※ RSS 2.0の場合は Content よりも Summary(タグ)が使われることが多いため、 - // 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。 - item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); - - items.Add(item); - } - feed.Items = items; - - // 3. XMLとしてMemoryStreamに書き込み - using var memoryStream = new MemoryStream(); - // 文字コードをUTF-8に指定(重要) - var settings = new XmlWriterSettings - { - Encoding = new UTF8Encoding(false), // BOMなしUTF-8 - Indent = true - }; - using (var xmlWriter = XmlWriter.Create(memoryStream, settings)) - { - // RSS 2.0 形式で出力 - var formatter = new Rss20FeedFormatter(feed); - // ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。 - // var formatter = new Atom10FeedFormatter(feed); - formatter.WriteTo(xmlWriter); - } - // 4. クライアントに返却 - // Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください - return Results.File( - memoryStream.ToArray(), - contentType: "application/rss+xml; charset=utf-8" - ); - } - catch (Exception ex) - { - return Results.Problem(detail: ex.Message, statusCode: 500, title: "Scraping Error"); - } -}); - -// kimochi.info -app.MapGet("/kimochiinfo", async () => { - - var baseURL = "https://kimochi.info/browse/"; - var query = "?platform=windows"; - - var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}")); - var items = new List(); - try - { - for (int pageId = 1; pageId <= 3; pageId++) - { - var url = ""; - if (pageId == 1) - { - url = $"{baseURL}{query}"; - } - else - { - url = $"{baseURL}/page/{pageId}{query}"; - } - // --- 3. HTMLの取得と解析 --- - var document = await context.OpenAsync(url); - - var pageTitle = document.QuerySelector("title")?.TextContent; - - var elements = document.QuerySelectorAll("main article>a"); - var linkList = new List(); - foreach (var linkElement in elements) - { - var imgElement = linkElement.QuerySelector("img"); - var imageSrc = (imgElement as IHtmlImageElement)!.Source; - var linkHref = linkElement.GetAttribute("href") ?? string.Empty; - if (linkHref != string.Empty && !linkList.Contains(linkHref)) - { - if (linkHref.Last() == '?') - { - linkHref = linkHref.TrimEnd('?'); - } - linkList.Add(linkHref); - } - else - { - continue; - } - var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null; - var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null; - if (itemUri == null) - { - continue; - } - var title = itemUri.LocalPath.Trim("/").ToString(); - - var divContents = linkElement.QuerySelectorAll("h3+div>div"); - var isJP = false; - if (divContents!.Length > 2) - { - var span = divContents[1]; - if (span.TextContent.Contains("JP")) - { - isJP = true; - } - } - if (isJP == false) - { - continue; - } - var docContents = await context.OpenAsync(linkHref); - var divDetail = docContents.QuerySelector("main>div>div")!; - var metaPubDate = cmnUtil.GetPublishedTimeAsJst(docContents); - var metaModDate = cmnUtil.GetModifiedTimeAsJst(docContents); - - var body = new StringBuilder(); - body.Append($@""); - body.Append($@"
"); - body.Append(cmnUtil.GetHtmlWithoutJavaScript(divDetail)); - - var item = new SyndicationItem( - title, - string.Empty, - itemUri, - itemUri?.ToString() ?? Guid.NewGuid().ToString(), // 一意なID (URLを使うことが多い) - metaModDate ?? (metaPubDate ?? DateTimeOffset.Now) // 取得できた公開日時があればそれをセット - ); - item.Content = SyndicationContent.CreateHtmlContent(body.ToString()); - // ※ RSS 2.0の場合は Content よりも Summary(タグ)が使われることが多いため、 - // 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。 - item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); - - items.Add(item); - } - } - feed.Items = items; - - // 3. XMLとしてMemoryStreamに書き込み - using var memoryStream = new MemoryStream(); - // 文字コードをUTF-8に指定(重要) - var settings = new XmlWriterSettings - { - Encoding = new UTF8Encoding(false), // BOMなしUTF-8 - Indent = true - }; - using (var xmlWriter = XmlWriter.Create(memoryStream, settings)) - { - // RSS 2.0 形式で出力 - var formatter = new Rss20FeedFormatter(feed); - // ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。 - // var formatter = new Atom10FeedFormatter(feed); - formatter.WriteTo(xmlWriter); - } - // 4. クライアントに返却 - // Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください - return Results.File( - memoryStream.ToArray(), - contentType: "application/rss+xml; charset=utf-8" - ); - } - catch (Exception ex) - { - return Results.Problem(detail: ex.Message, statusCode: 500, title: "Scraping Error"); - } -}); +//// --- APIエンドポイントの定義 --- +//app.MapGet("/momonga/fanzine", async (HttpContext context, IHttpClientFactory httpClientFactory) => +//{ +// var linkList = new List(); +// var pageMaster = "https://momon-ga.com/fanzine"; +// for (int pageId = 1; pageId <= 50; pageId++) +// { +// var pageURL = string.Empty; +// if (pageId > 1) +// { +// pageURL = $"{pageMaster}/feed/atom/?paged={pageId}"; +// } +// else +// { +// pageURL = $"{pageMaster}/feed/atom/"; +// } +// linkList.Add(pageURL); +// } + +// var client = httpClientFactory.CreateClient(); + +// var fetchTasks = linkList.Select(async url => +// { +// try +// { +// // GetStreamAsyncを使うことで、文字列をメモリに溜め込まず流し読みします +// using var stream = await client.GetStreamAsync(url); +// using var reader = XmlReader.Create(stream); +// var feed = SyndicationFeed.Load(reader); + +// return feed?.Items ?? Enumerable.Empty(); +// } +// catch (Exception ex) +// { +// Console.WriteLine($"[エラー] {url} の取得に失敗: {ex.Message}"); +// return Enumerable.Empty(); // 失敗したURLは無視して空を返す +// } +// }); + +// var results = await Task.WhenAll(fetchTasks); +// var allItems = results.SelectMany(items => items).ToList(); + +// // ========================================== +// // 4. 【機能】簡潔なRSSに整形するロジック +// // ========================================== +// var simplifiedItems = allItems +// .OrderByDescending(x => x.PublishDate) // 新しい順に並び替え +// .Select(originalItem => +// { +// // 元のRSSが重い画像や長文を含んでいても、ここでシンプルな説明文に上書きして削ぎ落とす +// // var simpleContent = SyndicationContent.CreatePlaintextContent("記事の詳細はリンク先で確認してください。"); + +// List getAddCategory() +// { +// List result = new List(); + +// string orgText = originalItem.Summary.Text; +// var parser = new HtmlParser(); +// var document = parser.ParseDocument(orgText); + +// var firstP = document.QuerySelector("p"); +// if (firstP != null) +// { +// var targetText = firstP.TextContent; +// int tagIndex = targetText.IndexOf("【タグ】"); +// if (tagIndex >= 0) +// { +// // 【タグ】が見つかった場合、そこから前の文字列だけを残す +// targetText = targetText.Substring(0, tagIndex); +// } +// // ---------------------------------------------------- +// // 正規表現で各項目の値を抽出する +// // ---------------------------------------------------- +// // パターン解説: +// // 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】) +// // ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ) +// string pattern = @"【[^】]+】([^【]*)"; +// var matches = Regex.Matches(targetText, pattern); + +// foreach (Match match in matches) +// { +// // match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります +// // (項目の中身が空の場合は空文字になります) +// string valuesStr = match.Groups[1].Value; + +// if (string.IsNullOrWhiteSpace(valuesStr)) +// { +// continue; // 中身が空の場合はスキップ +// } + +// // ---------------------------------------------------- +// // 3. カンマで分割し、前後の空白を除去してカテゴリに追加 +// // ---------------------------------------------------- +// // ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します +// string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries); + +// foreach (var val in splitValues) +// { +// // 前後の半角・全角スペースを取り除く +// string categoryName = val.Trim(); + +// // 空でなければカテゴリとして追加 +// if (!string.IsNullOrEmpty(categoryName)) +// { +// // domain属性なし(前回回答の手法)でカテゴリを追加 +// result.Add(new SyndicationCategory(categoryName)); +// } +// } +// } +// } +// return result; +// } + +// var newItem = new SyndicationItem() +// { +// // タイトルは TextSyndicationContent でラップする必要があります +// Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title"), +// Id = originalItem.Id, +// PublishDate = originalItem.PublishDate, +// LastUpdatedTime = originalItem.LastUpdatedTime, + +// // 元のコンテンツをそのまま引き継ぐ +// Content = originalItem.Content, +// Summary = originalItem.Summary +// }; + +// // リンクを引き継ぐ +// var link = originalItem.Links.FirstOrDefault()?.Uri; +// if (link != null) +// { +// newItem.Links.Add(new SyndicationLink(link)); +// } +// // カテゴリに本文内の作者などの情報を追加する +// foreach (var category in getAddCategory()) +// { +// newItem.Categories.Add(category); +// } +// // 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ +// foreach (var category in originalItem.Categories) +// { +// category.Scheme = null; +// newItem.Categories.Add(category); +// } +// foreach (var author in originalItem.Authors) +// { +// newItem.Authors.Add(author); +// } +// return newItem; +// }); + +// // 5. 新しい統合フィードを作成 +// var mergedFeed = new SyndicationFeed( +// "momon-ga.com", +// "", +// new Uri("https://momon-ga.com/fanzine/"), +// simplifiedItems +// ); + +// // ========================================== +// // 【追加】このリクエストに限り、同期書き込み(Sync I/O)を特別に許可する +// // ========================================== +// var syncIoFeature = context.Features.Get(); +// if (syncIoFeature != null) +// { +// syncIoFeature.AllowSynchronousIO = true; +// } + +// // 6. 出力時のメモリ消費を抑えるため、Response.Body に直接XMLを書き込む +// context.Response.ContentType = "application/rss+xml; charset=utf-8"; + +// var settings = new XmlWriterSettings +// { +// Encoding = Encoding.UTF8, +// Indent = true, +// Async = true, +// CloseOutput = false // Response.Bodyを閉じないようにする +// }; + +// using (var writer = XmlWriter.Create(context.Response.Body, settings)) +// { +// var formatter = new Rss20FeedFormatter(mergedFeed); +// formatter.WriteTo(writer); +// await writer.FlushAsync(); +// } +//}); + +//// --- APIエンドポイントの定義 --- +//app.MapGet("/momonga/magazine", async (HttpContext context, IHttpClientFactory httpClientFactory) => +//{ +// var linkList = new List(); +// var pageMaster = "https://momon-ga.com/magazine"; +// for (int pageId = 1; pageId <= 50; pageId++) +// { +// var pageURL = string.Empty; +// if (pageId > 1) +// { +// pageURL = $"{pageMaster}/feed/atom/?paged={pageId}"; +// } +// else +// { +// pageURL = $"{pageMaster}/feed/atom/"; +// } +// linkList.Add(pageURL); +// } + +// var client = httpClientFactory.CreateClient(); + +// var fetchTasks = linkList.Select(async url => +// { +// try +// { +// // GetStreamAsyncを使うことで、文字列をメモリに溜め込まず流し読みします +// using var stream = await client.GetStreamAsync(url); +// using var reader = XmlReader.Create(stream); +// var feed = SyndicationFeed.Load(reader); + +// return feed?.Items ?? Enumerable.Empty(); +// } +// catch (Exception ex) +// { +// Console.WriteLine($"[エラー] {url} の取得に失敗: {ex.Message}"); +// return Enumerable.Empty(); // 失敗したURLは無視して空を返す +// } +// }); + +// var results = await Task.WhenAll(fetchTasks); +// var allItems = results.SelectMany(items => items).ToList(); + +// // ========================================== +// // 4. 【機能】簡潔なRSSに整形するロジック +// // ========================================== +// var simplifiedItems = allItems +// .OrderByDescending(x => x.PublishDate) // 新しい順に並び替え +// .Select(originalItem => +// { +// // 元のRSSが重い画像や長文を含んでいても、ここでシンプルな説明文に上書きして削ぎ落とす +// // var simpleContent = SyndicationContent.CreatePlaintextContent("記事の詳細はリンク先で確認してください。"); + +// List getAddCategory() +// { +// List result = new List(); + +// string orgText = originalItem.Summary.Text; +// var parser = new HtmlParser(); +// var document = parser.ParseDocument(orgText); + +// var firstP = document.QuerySelector("p"); +// if (firstP != null) +// { +// var targetText = firstP.TextContent; +// int tagIndex = targetText.IndexOf("【タグ】"); +// if (tagIndex >= 0) +// { +// // 【タグ】が見つかった場合、そこから前の文字列だけを残す +// targetText = targetText.Substring(0, tagIndex); +// } +// // ---------------------------------------------------- +// // 正規表現で各項目の値を抽出する +// // ---------------------------------------------------- +// // パターン解説: +// // 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】) +// // ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ) +// string pattern = @"【[^】]+】([^【]*)"; +// var matches = Regex.Matches(targetText, pattern); + +// foreach (Match match in matches) +// { +// // match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります +// // (項目の中身が空の場合は空文字になります) +// string valuesStr = match.Groups[1].Value; + +// if (string.IsNullOrWhiteSpace(valuesStr)) +// { +// continue; // 中身が空の場合はスキップ +// } + +// // ---------------------------------------------------- +// // 3. カンマで分割し、前後の空白を除去してカテゴリに追加 +// // ---------------------------------------------------- +// // ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します +// string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries); + +// foreach (var val in splitValues) +// { +// // 前後の半角・全角スペースを取り除く +// string categoryName = val.Trim(); + +// // 空でなければカテゴリとして追加 +// if (!string.IsNullOrEmpty(categoryName)) +// { +// // domain属性なし(前回回答の手法)でカテゴリを追加 +// result.Add(new SyndicationCategory(categoryName)); +// } +// } +// } +// } +// return result; +// } + +// var newItem = new SyndicationItem() +// { +// // タイトルは TextSyndicationContent でラップする必要があります +// Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title"), +// Id = originalItem.Id, +// PublishDate = originalItem.PublishDate, +// LastUpdatedTime = originalItem.LastUpdatedTime, + +// // 元のコンテンツをそのまま引き継ぐ +// Content = originalItem.Content, +// Summary = originalItem.Summary +// }; + +// // リンクを引き継ぐ +// var link = originalItem.Links.FirstOrDefault()?.Uri; +// if (link != null) +// { +// newItem.Links.Add(new SyndicationLink(link)); +// } +// // カテゴリに本文内の作者などの情報を追加する +// foreach (var category in getAddCategory()) +// { +// newItem.Categories.Add(category); +// } +// // 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ +// foreach (var category in originalItem.Categories) +// { +// category.Scheme = null; +// newItem.Categories.Add(category); +// } +// foreach (var author in originalItem.Authors) +// { +// newItem.Authors.Add(author); +// } +// return newItem; +// }); + +// // 5. 新しい統合フィードを作成 +// var mergedFeed = new SyndicationFeed( +// "momon-ga.com", +// "", +// new Uri("https://momon-ga.com/magazine/"), +// simplifiedItems +// ); + +// // ========================================== +// // 【追加】このリクエストに限り、同期書き込み(Sync I/O)を特別に許可する +// // ========================================== +// var syncIoFeature = context.Features.Get(); +// if (syncIoFeature != null) +// { +// syncIoFeature.AllowSynchronousIO = true; +// } + +// // 6. 出力時のメモリ消費を抑えるため、Response.Body に直接XMLを書き込む +// context.Response.ContentType = "application/rss+xml; charset=utf-8"; + +// var settings = new XmlWriterSettings +// { +// Encoding = Encoding.UTF8, +// Indent = true, +// Async = true, +// CloseOutput = false // Response.Bodyを閉じないようにする +// }; + +// using (var writer = XmlWriter.Create(context.Response.Body, settings)) +// { +// var formatter = new Rss20FeedFormatter(mergedFeed); +// formatter.WriteTo(writer); +// await writer.FlushAsync(); +// } +//}); + +//// --- 2. APIエンドポイントの定義 --- +//app.MapGet("/javtwi", async () => +//{ +// var baseURL = "https://javtwi.com/new.html"; + + +// var feed = new SyndicationFeed("javtwi", "", new Uri(baseURL)); +// var items = new List(); + +// try +// { +// var linkList = new List(); + +// // --- 3. HTMLの取得と解析 --- +// var document = await context.OpenAsync(baseURL); +// var pageTitle = document.QuerySelector("title")?.TextContent; + +// var elements = document.QuerySelectorAll("div.center_contents a.center_contents"); +// foreach (var linkElement in elements) +// { +// var imgElement = linkElement.QuerySelector("a img"); + +// var linkHref = linkElement?.GetAttribute("href") ?? string.Empty; +// var imageSrc = (imgElement as IHtmlImageElement)!.Source; +// if (linkHref != string.Empty && !linkList.Contains(linkHref)) +// { +// if (linkHref.Last() == '?') +// { +// linkHref = linkHref.TrimEnd('?'); +// } +// // 重複行は追加しない +// if (linkList.Contains(linkHref)) +// { +// continue; +// } +// linkList.Add(linkHref); +// } +// else +// { +// continue; +// } + +// var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null; +// var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null; +// if (itemUri == null) +// { +// continue; +// } +// if (itemUri.AbsolutePath.Contains("404.")) +// { +// continue; +// } + +// var title = cmnUtil.GetLastPathPart(linkHref); + +// var body = new StringBuilder(); +// body.Append($@""); +// body.Append($@"
"); + +// var item = new SyndicationItem( +// title, +// string.Empty, +// itemUri, +// cmnUtil.CreateGuid(linkHref), +// DateTimeOffset.Now // 取得できた公開日時があればそれをセット +// ); +// item.Content = SyndicationContent.CreateHtmlContent(body.ToString()); +// // ※ RSS 2.0の場合は Content よりも Summary(タグ)が使われることが多いため、 +// // 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。 +// item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); + +// items.Add(item); +// } +// feed.Items = items; + +// // 3. XMLとしてMemoryStreamに書き込み +// using var memoryStream = new MemoryStream(); +// // 文字コードをUTF-8に指定(重要) +// var settings = new XmlWriterSettings +// { +// Encoding = new UTF8Encoding(false), // BOMなしUTF-8 +// Indent = true +// }; +// using (var xmlWriter = XmlWriter.Create(memoryStream, settings)) +// { +// // RSS 2.0 形式で出力 +// var formatter = new Rss20FeedFormatter(feed); +// // ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。 +// // var formatter = new Atom10FeedFormatter(feed); +// formatter.WriteTo(xmlWriter); +// } +// // 4. クライアントに返却 +// // Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください +// return Results.File( +// memoryStream.ToArray(), +// contentType: "application/rss+xml; charset=utf-8" +// ); +// } +// catch (Exception ex) +// { +// return Results.Problem(detail: ex.Message, statusCode: 500, title: "Scraping Error"); +// } +//}); + +//// kimochi.info +//app.MapGet("/kimochiinfo", async () => { + +// var baseURL = "https://kimochi.info/browse/"; +// var query = "?platform=windows"; + +// var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}")); +// var items = new List(); +// try +// { +// for (int pageId = 1; pageId <= 3; pageId++) +// { +// var url = ""; +// if (pageId == 1) +// { +// url = $"{baseURL}{query}"; +// } +// else +// { +// url = $"{baseURL}/page/{pageId}{query}"; +// } +// // --- 3. HTMLの取得と解析 --- +// var document = await context.OpenAsync(url); + +// var pageTitle = document.QuerySelector("title")?.TextContent; + +// var elements = document.QuerySelectorAll("main article>a"); +// var linkList = new List(); +// foreach (var linkElement in elements) +// { +// var imgElement = linkElement.QuerySelector("img"); +// var imageSrc = (imgElement as IHtmlImageElement)!.Source; +// var linkHref = linkElement.GetAttribute("href") ?? string.Empty; +// if (linkHref != string.Empty && !linkList.Contains(linkHref)) +// { +// if (linkHref.Last() == '?') +// { +// linkHref = linkHref.TrimEnd('?'); +// } +// linkList.Add(linkHref); +// } +// else +// { +// continue; +// } +// var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null; +// var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null; +// if (itemUri == null) +// { +// continue; +// } + + +// var divVerElems = linkElement.QuerySelectorAll("div>div.tracking-wider"); +// var versionText = "v1.0.0"; +// foreach (var divVerElem in divVerElems) +// { +// versionText = Regex.Replace(divVerElem.TextContent, @"\s+", ""); +// break; +// } + +// var h3Elem = linkElement.QuerySelector("h3"); +// var title = $"{h3Elem!.TextContent.Replace("\t", "").Replace("\r", "").Replace("\n", "").Trim()} {versionText}"; + +// var divContents = linkElement.QuerySelectorAll("h3+div>div"); +// var isJP = false; +// if (divContents!.Length > 2) +// { +// var span = divContents[1]; +// if (span.TextContent.Contains("JP")) +// { +// isJP = true; +// } +// } +// if (isJP == false) +// { +// continue; +// } +// var docContents = await context.OpenAsync(linkHref); +// var divDetail = docContents.QuerySelector("main>div>div")!; +// var metaPubDate = cmnUtil.GetPublishedTimeAsJst(docContents); +// var metaModDate = cmnUtil.GetModifiedTimeAsJst(docContents); + +// var body = new StringBuilder(); + +// body.Append($@"
バージョン:{versionText}
"); +// body.Append($@""); +// body.Append($@"
"); +// body.Append(cmnUtil.GetHtmlWithoutJavaScript(divDetail)); + +// var item = new SyndicationItem( +// title, +// string.Empty, +// itemUri, +// cmnUtil.CreateGuid(linkHref), +// metaModDate ?? (metaPubDate ?? DateTimeOffset.Now) // 取得できた公開日時があればそれをセット +// ); +// item.Content = SyndicationContent.CreateHtmlContent(body.ToString()); +// // ※ RSS 2.0の場合は Content よりも Summary(タグ)が使われることが多いため、 +// // 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。 +// item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); + +// items.Add(item); +// } +// } +// feed.Items = items; + +// // 3. XMLとしてMemoryStreamに書き込み +// using var memoryStream = new MemoryStream(); +// // 文字コードをUTF-8に指定(重要) +// var settings = new XmlWriterSettings +// { +// Encoding = new UTF8Encoding(false), // BOMなしUTF-8 +// Indent = true +// }; +// using (var xmlWriter = XmlWriter.Create(memoryStream, settings)) +// { +// // RSS 2.0 形式で出力 +// var formatter = new Rss20FeedFormatter(feed); +// // ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。 +// // var formatter = new Atom10FeedFormatter(feed); +// formatter.WriteTo(xmlWriter); +// } +// // 4. クライアントに返却 +// // Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください +// return Results.File( +// memoryStream.ToArray(), +// contentType: "application/rss+xml; charset=utf-8" +// ); +// } +// catch (Exception ex) +// { +// return Results.Problem(detail: ex.Message, statusCode: 500, title: "Scraping Error"); +// } +//}); app.Run(); @@ -952,6 +971,12 @@ public class cmnUtil // 元のDOMツリーに影響を与えないよう、要素をディープコピー(複製)します var element = (IElement)originalElement.Clone(true); + // クラス名の削除 + foreach (var el in element.QuerySelectorAll("[class]")) + { + el.RemoveAttribute("class"); + } + // 1.