diff --git a/RSSAPI/Dockerfile b/RSSAPI/Dockerfile index 4d4c46a..a355b6f 100644 --- a/RSSAPI/Dockerfile +++ b/RSSAPI/Dockerfile @@ -1,16 +1,24 @@ -# ビルド環境 -FROM mcr.microsoft.com/dotnet/sdk:10.0 AS build -WORKDIR /src -COPY ["RSSAPI.csproj", "./"] -RUN dotnet restore "RSSAPI.csproj" -COPY . . -RUN dotnet publish "RSSAPI.csproj" -c Release -o /app/publish - -# 実行環境 -FROM mcr.microsoft.com/dotnet/aspnet:10.0 AS final +FROM mcr.microsoft.com/dotnet/aspnet:10.0 WORKDIR /app -COPY --from=build /app/publish . + +# Docker CLI と Compose プラグインのインストール +RUN apt-get update && apt-get install -y \ + ca-certificates \ + curl \ + gnupg \ + && install -m 0755 -d /etc/apt/keyrings \ + && curl -fsSL https://download.docker.com/linux/debian/gpg | gpg --dearmor -o /etc/apt/keyrings/docker.gpg \ + && chmod a+r /etc/apt/keyrings/docker.gpg \ + && echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/debian bookworm stable" > /etc/apt/sources.list.d/docker.list \ + && apt-get update \ + && apt-get install -y docker-ce-cli docker-compose-plugin \ + && rm -rf /var/lib/apt/lists/* + +# appフォルダ内のビルド済みファイルをコピー +COPY ./app . + # 日本語の文字化け・タイムゾーン対策 ENV TZ=Asia/Tokyo ENV LANG=ja_JP.UTF-8 -ENTRYPOINT ["dotnet", "RSSAPI.dll"] \ No newline at end of file +# 実行(YourApp.dllは実際のプロジェクト名に変更してください) +ENTRYPOINT ["dotnet", "RSSAPI.dll"] diff --git a/RSSAPI/Program.cs b/RSSAPI/Program.cs index 956d403..e9001a7 100644 --- a/RSSAPI/Program.cs +++ b/RSSAPI/Program.cs @@ -1,10 +1,5 @@ using AngleSharp; using AngleSharp.Dom; -using AngleSharp.Html.Dom; -using AngleSharp.Html.Parser; -using AngleSharp.Xml.Parser; -using Microsoft.AspNetCore.Html; -using Microsoft.AspNetCore.Mvc.RazorPages; using System.Diagnostics; using System.Security.Cryptography; using System.ServiceModel.Syndication; @@ -334,618 +329,6 @@ app.MapGet("/missav123", async () => } }); -//// --- APIエンドポイントの定義 --- -//app.MapGet("/momonga/fanzine", async (HttpContext context, IHttpClientFactory httpClientFactory) => -//{ -// var linkList = new List(); -// var pageMaster = "https://momon-ga.com/fanzine"; -// for (int pageId = 1; pageId <= 50; pageId++) -// { -// var pageURL = string.Empty; -// if (pageId > 1) -// { -// pageURL = $"{pageMaster}/feed/atom/?paged={pageId}"; -// } -// else -// { -// pageURL = $"{pageMaster}/feed/atom/"; -// } -// linkList.Add(pageURL); -// } - -// var client = httpClientFactory.CreateClient(); - -// var fetchTasks = linkList.Select(async url => -// { -// try -// { -// // GetStreamAsyncを使うことで、文字列をメモリに溜め込まず流し読みします -// using var stream = await client.GetStreamAsync(url); -// using var reader = XmlReader.Create(stream); -// var feed = SyndicationFeed.Load(reader); - -// return feed?.Items ?? Enumerable.Empty(); -// } -// catch (Exception ex) -// { -// Console.WriteLine($"[エラー] {url} の取得に失敗: {ex.Message}"); -// return Enumerable.Empty(); // 失敗したURLは無視して空を返す -// } -// }); - -// var results = await Task.WhenAll(fetchTasks); -// var allItems = results.SelectMany(items => items).ToList(); - -// // ========================================== -// // 4. 【機能】簡潔なRSSに整形するロジック -// // ========================================== -// var simplifiedItems = allItems -// .OrderByDescending(x => x.PublishDate) // 新しい順に並び替え -// .Select(originalItem => -// { -// // 元のRSSが重い画像や長文を含んでいても、ここでシンプルな説明文に上書きして削ぎ落とす -// // var simpleContent = SyndicationContent.CreatePlaintextContent("記事の詳細はリンク先で確認してください。"); - -// List getAddCategory() -// { -// List result = new List(); - -// string orgText = originalItem.Summary.Text; -// var parser = new HtmlParser(); -// var document = parser.ParseDocument(orgText); - -// var firstP = document.QuerySelector("p"); -// if (firstP != null) -// { -// var targetText = firstP.TextContent; -// int tagIndex = targetText.IndexOf("【タグ】"); -// if (tagIndex >= 0) -// { -// // 【タグ】が見つかった場合、そこから前の文字列だけを残す -// targetText = targetText.Substring(0, tagIndex); -// } -// // ---------------------------------------------------- -// // 正規表現で各項目の値を抽出する -// // ---------------------------------------------------- -// // パターン解説: -// // 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】) -// // ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ) -// string pattern = @"【[^】]+】([^【]*)"; -// var matches = Regex.Matches(targetText, pattern); - -// foreach (Match match in matches) -// { -// // match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります -// // (項目の中身が空の場合は空文字になります) -// string valuesStr = match.Groups[1].Value; - -// if (string.IsNullOrWhiteSpace(valuesStr)) -// { -// continue; // 中身が空の場合はスキップ -// } - -// // ---------------------------------------------------- -// // 3. カンマで分割し、前後の空白を除去してカテゴリに追加 -// // ---------------------------------------------------- -// // ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します -// string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries); - -// foreach (var val in splitValues) -// { -// // 前後の半角・全角スペースを取り除く -// string categoryName = val.Trim(); - -// // 空でなければカテゴリとして追加 -// if (!string.IsNullOrEmpty(categoryName)) -// { -// // domain属性なし(前回回答の手法)でカテゴリを追加 -// result.Add(new SyndicationCategory(categoryName)); -// } -// } -// } -// } -// return result; -// } - -// var newItem = new SyndicationItem() -// { -// // タイトルは TextSyndicationContent でラップする必要があります -// Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title"), -// Id = originalItem.Id, -// PublishDate = originalItem.PublishDate, -// LastUpdatedTime = originalItem.LastUpdatedTime, - -// // 元のコンテンツをそのまま引き継ぐ -// Content = originalItem.Content, -// Summary = originalItem.Summary -// }; - -// // リンクを引き継ぐ -// var link = originalItem.Links.FirstOrDefault()?.Uri; -// if (link != null) -// { -// newItem.Links.Add(new SyndicationLink(link)); -// } -// // カテゴリに本文内の作者などの情報を追加する -// foreach (var category in getAddCategory()) -// { -// newItem.Categories.Add(category); -// } -// // 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ -// foreach (var category in originalItem.Categories) -// { -// category.Scheme = null; -// newItem.Categories.Add(category); -// } -// foreach (var author in originalItem.Authors) -// { -// newItem.Authors.Add(author); -// } -// return newItem; -// }); - -// // 5. 新しい統合フィードを作成 -// var mergedFeed = new SyndicationFeed( -// "momon-ga.com", -// "", -// new Uri("https://momon-ga.com/fanzine/"), -// simplifiedItems -// ); - -// // ========================================== -// // 【追加】このリクエストに限り、同期書き込み(Sync I/O)を特別に許可する -// // ========================================== -// var syncIoFeature = context.Features.Get(); -// if (syncIoFeature != null) -// { -// syncIoFeature.AllowSynchronousIO = true; -// } - -// // 6. 出力時のメモリ消費を抑えるため、Response.Body に直接XMLを書き込む -// context.Response.ContentType = "application/rss+xml; charset=utf-8"; - -// var settings = new XmlWriterSettings -// { -// Encoding = Encoding.UTF8, -// Indent = true, -// Async = true, -// CloseOutput = false // Response.Bodyを閉じないようにする -// }; - -// using (var writer = XmlWriter.Create(context.Response.Body, settings)) -// { -// var formatter = new Rss20FeedFormatter(mergedFeed); -// formatter.WriteTo(writer); -// await writer.FlushAsync(); -// } -//}); - -//// --- APIエンドポイントの定義 --- -//app.MapGet("/momonga/magazine", async (HttpContext context, IHttpClientFactory httpClientFactory) => -//{ -// var linkList = new List(); -// var pageMaster = "https://momon-ga.com/magazine"; -// for (int pageId = 1; pageId <= 50; pageId++) -// { -// var pageURL = string.Empty; -// if (pageId > 1) -// { -// pageURL = $"{pageMaster}/feed/atom/?paged={pageId}"; -// } -// else -// { -// pageURL = $"{pageMaster}/feed/atom/"; -// } -// linkList.Add(pageURL); -// } - -// var client = httpClientFactory.CreateClient(); - -// var fetchTasks = linkList.Select(async url => -// { -// try -// { -// // GetStreamAsyncを使うことで、文字列をメモリに溜め込まず流し読みします -// using var stream = await client.GetStreamAsync(url); -// using var reader = XmlReader.Create(stream); -// var feed = SyndicationFeed.Load(reader); - -// return feed?.Items ?? Enumerable.Empty(); -// } -// catch (Exception ex) -// { -// Console.WriteLine($"[エラー] {url} の取得に失敗: {ex.Message}"); -// return Enumerable.Empty(); // 失敗したURLは無視して空を返す -// } -// }); - -// var results = await Task.WhenAll(fetchTasks); -// var allItems = results.SelectMany(items => items).ToList(); - -// // ========================================== -// // 4. 【機能】簡潔なRSSに整形するロジック -// // ========================================== -// var simplifiedItems = allItems -// .OrderByDescending(x => x.PublishDate) // 新しい順に並び替え -// .Select(originalItem => -// { -// // 元のRSSが重い画像や長文を含んでいても、ここでシンプルな説明文に上書きして削ぎ落とす -// // var simpleContent = SyndicationContent.CreatePlaintextContent("記事の詳細はリンク先で確認してください。"); - -// List getAddCategory() -// { -// List result = new List(); - -// string orgText = originalItem.Summary.Text; -// var parser = new HtmlParser(); -// var document = parser.ParseDocument(orgText); - -// var firstP = document.QuerySelector("p"); -// if (firstP != null) -// { -// var targetText = firstP.TextContent; -// int tagIndex = targetText.IndexOf("【タグ】"); -// if (tagIndex >= 0) -// { -// // 【タグ】が見つかった場合、そこから前の文字列だけを残す -// targetText = targetText.Substring(0, tagIndex); -// } -// // ---------------------------------------------------- -// // 正規表現で各項目の値を抽出する -// // ---------------------------------------------------- -// // パターン解説: -// // 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】) -// // ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ) -// string pattern = @"【[^】]+】([^【]*)"; -// var matches = Regex.Matches(targetText, pattern); - -// foreach (Match match in matches) -// { -// // match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります -// // (項目の中身が空の場合は空文字になります) -// string valuesStr = match.Groups[1].Value; - -// if (string.IsNullOrWhiteSpace(valuesStr)) -// { -// continue; // 中身が空の場合はスキップ -// } - -// // ---------------------------------------------------- -// // 3. カンマで分割し、前後の空白を除去してカテゴリに追加 -// // ---------------------------------------------------- -// // ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します -// string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries); - -// foreach (var val in splitValues) -// { -// // 前後の半角・全角スペースを取り除く -// string categoryName = val.Trim(); - -// // 空でなければカテゴリとして追加 -// if (!string.IsNullOrEmpty(categoryName)) -// { -// // domain属性なし(前回回答の手法)でカテゴリを追加 -// result.Add(new SyndicationCategory(categoryName)); -// } -// } -// } -// } -// return result; -// } - -// var newItem = new SyndicationItem() -// { -// // タイトルは TextSyndicationContent でラップする必要があります -// Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title"), -// Id = originalItem.Id, -// PublishDate = originalItem.PublishDate, -// LastUpdatedTime = originalItem.LastUpdatedTime, - -// // 元のコンテンツをそのまま引き継ぐ -// Content = originalItem.Content, -// Summary = originalItem.Summary -// }; - -// // リンクを引き継ぐ -// var link = originalItem.Links.FirstOrDefault()?.Uri; -// if (link != null) -// { -// newItem.Links.Add(new SyndicationLink(link)); -// } -// // カテゴリに本文内の作者などの情報を追加する -// foreach (var category in getAddCategory()) -// { -// newItem.Categories.Add(category); -// } -// // 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ -// foreach (var category in originalItem.Categories) -// { -// category.Scheme = null; -// newItem.Categories.Add(category); -// } -// foreach (var author in originalItem.Authors) -// { -// newItem.Authors.Add(author); -// } -// return newItem; -// }); - -// // 5. 新しい統合フィードを作成 -// var mergedFeed = new SyndicationFeed( -// "momon-ga.com", -// "", -// new Uri("https://momon-ga.com/magazine/"), -// simplifiedItems -// ); - -// // ========================================== -// // 【追加】このリクエストに限り、同期書き込み(Sync I/O)を特別に許可する -// // ========================================== -// var syncIoFeature = context.Features.Get(); -// if (syncIoFeature != null) -// { -// syncIoFeature.AllowSynchronousIO = true; -// } - -// // 6. 出力時のメモリ消費を抑えるため、Response.Body に直接XMLを書き込む -// context.Response.ContentType = "application/rss+xml; charset=utf-8"; - -// var settings = new XmlWriterSettings -// { -// Encoding = Encoding.UTF8, -// Indent = true, -// Async = true, -// CloseOutput = false // Response.Bodyを閉じないようにする -// }; - -// using (var writer = XmlWriter.Create(context.Response.Body, settings)) -// { -// var formatter = new Rss20FeedFormatter(mergedFeed); -// formatter.WriteTo(writer); -// await writer.FlushAsync(); -// } -//}); - -//// --- 2. APIエンドポイントの定義 --- -//app.MapGet("/javtwi", async () => -//{ -// var baseURL = "https://javtwi.com/new.html"; - - -// var feed = new SyndicationFeed("javtwi", "", new Uri(baseURL)); -// var items = new List(); - -// try -// { -// var linkList = new List(); - -// // --- 3. HTMLの取得と解析 --- -// var document = await context.OpenAsync(baseURL); -// var pageTitle = document.QuerySelector("title")?.TextContent; - -// var elements = document.QuerySelectorAll("div.center_contents a.center_contents"); -// foreach (var linkElement in elements) -// { -// var imgElement = linkElement.QuerySelector("a img"); - -// var linkHref = linkElement?.GetAttribute("href") ?? string.Empty; -// var imageSrc = (imgElement as IHtmlImageElement)!.Source; -// if (linkHref != string.Empty && !linkList.Contains(linkHref)) -// { -// if (linkHref.Last() == '?') -// { -// linkHref = linkHref.TrimEnd('?'); -// } -// // 重複行は追加しない -// if (linkList.Contains(linkHref)) -// { -// continue; -// } -// linkList.Add(linkHref); -// } -// else -// { -// continue; -// } - -// var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null; -// var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null; -// if (itemUri == null) -// { -// continue; -// } -// if (itemUri.AbsolutePath.Contains("404.")) -// { -// continue; -// } - -// var title = cmnUtil.GetLastPathPart(linkHref); - -// var body = new StringBuilder(); -// body.Append($@""); -// body.Append($@"
"); - -// var item = new SyndicationItem( -// title, -// string.Empty, -// itemUri, -// cmnUtil.CreateGuid(linkHref), -// DateTimeOffset.Now // 取得できた公開日時があればそれをセット -// ); -// item.Content = SyndicationContent.CreateHtmlContent(body.ToString()); -// // ※ RSS 2.0の場合は Content よりも Summary(タグ)が使われることが多いため、 -// // 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。 -// item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); - -// items.Add(item); -// } -// feed.Items = items; - -// // 3. XMLとしてMemoryStreamに書き込み -// using var memoryStream = new MemoryStream(); -// // 文字コードをUTF-8に指定(重要) -// var settings = new XmlWriterSettings -// { -// Encoding = new UTF8Encoding(false), // BOMなしUTF-8 -// Indent = true -// }; -// using (var xmlWriter = XmlWriter.Create(memoryStream, settings)) -// { -// // RSS 2.0 形式で出力 -// var formatter = new Rss20FeedFormatter(feed); -// // ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。 -// // var formatter = new Atom10FeedFormatter(feed); -// formatter.WriteTo(xmlWriter); -// } -// // 4. クライアントに返却 -// // Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください -// return Results.File( -// memoryStream.ToArray(), -// contentType: "application/rss+xml; charset=utf-8" -// ); -// } -// catch (Exception ex) -// { -// return Results.Problem(detail: ex.Message, statusCode: 500, title: "Scraping Error"); -// } -//}); - -//// kimochi.info -//app.MapGet("/kimochiinfo", async () => { - -// var baseURL = "https://kimochi.info/browse/"; -// var query = "?platform=windows"; - -// var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}")); -// var items = new List(); -// try -// { -// for (int pageId = 1; pageId <= 3; pageId++) -// { -// var url = ""; -// if (pageId == 1) -// { -// url = $"{baseURL}{query}"; -// } -// else -// { -// url = $"{baseURL}/page/{pageId}{query}"; -// } -// // --- 3. HTMLの取得と解析 --- -// var document = await context.OpenAsync(url); - -// var pageTitle = document.QuerySelector("title")?.TextContent; - -// var elements = document.QuerySelectorAll("main article>a"); -// var linkList = new List(); -// foreach (var linkElement in elements) -// { -// var imgElement = linkElement.QuerySelector("img"); -// var imageSrc = (imgElement as IHtmlImageElement)!.Source; -// var linkHref = linkElement.GetAttribute("href") ?? string.Empty; -// if (linkHref != string.Empty && !linkList.Contains(linkHref)) -// { -// if (linkHref.Last() == '?') -// { -// linkHref = linkHref.TrimEnd('?'); -// } -// linkList.Add(linkHref); -// } -// else -// { -// continue; -// } -// var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null; -// var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null; -// if (itemUri == null) -// { -// continue; -// } - - -// var divVerElems = linkElement.QuerySelectorAll("div>div.tracking-wider"); -// var versionText = "v1.0.0"; -// foreach (var divVerElem in divVerElems) -// { -// versionText = Regex.Replace(divVerElem.TextContent, @"\s+", ""); -// break; -// } - -// var h3Elem = linkElement.QuerySelector("h3"); -// var title = $"{h3Elem!.TextContent.Replace("\t", "").Replace("\r", "").Replace("\n", "").Trim()} {versionText}"; - -// var divContents = linkElement.QuerySelectorAll("h3+div>div"); -// var isJP = false; -// if (divContents!.Length > 2) -// { -// var span = divContents[1]; -// if (span.TextContent.Contains("JP")) -// { -// isJP = true; -// } -// } -// if (isJP == false) -// { -// continue; -// } -// var docContents = await context.OpenAsync(linkHref); -// var divDetail = docContents.QuerySelector("main>div>div")!; -// var metaPubDate = cmnUtil.GetPublishedTimeAsJst(docContents); -// var metaModDate = cmnUtil.GetModifiedTimeAsJst(docContents); - -// var body = new StringBuilder(); - -// body.Append($@"
バージョン:{versionText}
"); -// body.Append($@""); -// body.Append($@"
"); -// body.Append(cmnUtil.GetHtmlWithoutJavaScript(divDetail)); - -// var item = new SyndicationItem( -// title, -// string.Empty, -// itemUri, -// cmnUtil.CreateGuid(linkHref), -// metaModDate ?? (metaPubDate ?? DateTimeOffset.Now) // 取得できた公開日時があればそれをセット -// ); -// item.Content = SyndicationContent.CreateHtmlContent(body.ToString()); -// // ※ RSS 2.0の場合は Content よりも Summary(タグ)が使われることが多いため、 -// // 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。 -// item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); - -// items.Add(item); -// } -// } -// feed.Items = items; - -// // 3. XMLとしてMemoryStreamに書き込み -// using var memoryStream = new MemoryStream(); -// // 文字コードをUTF-8に指定(重要) -// var settings = new XmlWriterSettings -// { -// Encoding = new UTF8Encoding(false), // BOMなしUTF-8 -// Indent = true -// }; -// using (var xmlWriter = XmlWriter.Create(memoryStream, settings)) -// { -// // RSS 2.0 形式で出力 -// var formatter = new Rss20FeedFormatter(feed); -// // ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。 -// // var formatter = new Atom10FeedFormatter(feed); -// formatter.WriteTo(xmlWriter); -// } -// // 4. クライアントに返却 -// // Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください -// return Results.File( -// memoryStream.ToArray(), -// contentType: "application/rss+xml; charset=utf-8" -// ); -// } -// catch (Exception ex) -// { -// return Results.Problem(detail: ex.Message, statusCode: 500, title: "Scraping Error"); -// } -//}); - app.Run(); public class cmnUtil diff --git a/RSSAPI/Properties/PublishProfiles/FolderProfile.pubxml b/RSSAPI/Properties/PublishProfiles/FolderProfile.pubxml new file mode 100644 index 0000000..507ac5d --- /dev/null +++ b/RSSAPI/Properties/PublishProfiles/FolderProfile.pubxml @@ -0,0 +1,16 @@ + + + + + false + false + true + Release + Any CPU + FileSystem + bin\publish\ + bin\publish\ + FileSystem + <_TargetId>Folder + + \ No newline at end of file diff --git a/RSSAPI/RSSAPI.csproj b/RSSAPI/RSSAPI.csproj index 43e293e..e8b21cc 100644 --- a/RSSAPI/RSSAPI.csproj +++ b/RSSAPI/RSSAPI.csproj @@ -9,7 +9,15 @@ + + + + + + + + diff --git a/RSSAPI/docker-compose.yml b/RSSAPI/compose.yml similarity index 100% rename from RSSAPI/docker-compose.yml rename to RSSAPI/compose.yml