一旦きれいに
This commit is contained in:
1 parent
34cc2623c2
commit
d16109b441
5 files changed
+44
-629
No files matched your search
+20
-12
@@ -1,16 +1,24 @@
|
|||||||
# ビルド環境
|
FROM mcr.microsoft.com/dotnet/aspnet:10.0
|
||||||
FROM mcr.microsoft.com/dotnet/sdk:10.0 AS build
|
|
||||||
WORKDIR /src
|
|
||||||
COPY ["RSSAPI.csproj", "./"]
|
|
||||||
RUN dotnet restore "RSSAPI.csproj"
|
|
||||||
COPY . .
|
|
||||||
RUN dotnet publish "RSSAPI.csproj" -c Release -o /app/publish
|
|
||||||
|
|
||||||
# 実行環境
|
|
||||||
FROM mcr.microsoft.com/dotnet/aspnet:10.0 AS final
|
|
||||||
WORKDIR /app
|
WORKDIR /app
|
||||||
COPY --from=build /app/publish .
|
|
||||||
|
# Docker CLI と Compose プラグインのインストール
|
||||||
|
RUN apt-get update && apt-get install -y \
|
||||||
|
ca-certificates \
|
||||||
|
curl \
|
||||||
|
gnupg \
|
||||||
|
&& install -m 0755 -d /etc/apt/keyrings \
|
||||||
|
&& curl -fsSL https://download.docker.com/linux/debian/gpg | gpg --dearmor -o /etc/apt/keyrings/docker.gpg \
|
||||||
|
&& chmod a+r /etc/apt/keyrings/docker.gpg \
|
||||||
|
&& echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/debian bookworm stable" > /etc/apt/sources.list.d/docker.list \
|
||||||
|
&& apt-get update \
|
||||||
|
&& apt-get install -y docker-ce-cli docker-compose-plugin \
|
||||||
|
&& rm -rf /var/lib/apt/lists/*
|
||||||
|
|
||||||
|
# appフォルダ内のビルド済みファイルをコピー
|
||||||
|
COPY ./app .
|
||||||
|
|
||||||
# 日本語の文字化け・タイムゾーン対策
|
# 日本語の文字化け・タイムゾーン対策
|
||||||
ENV TZ=Asia/Tokyo
|
ENV TZ=Asia/Tokyo
|
||||||
ENV LANG=ja_JP.UTF-8
|
ENV LANG=ja_JP.UTF-8
|
||||||
ENTRYPOINT ["dotnet", "RSSAPI.dll"]
|
# 実行(YourApp.dllは実際のプロジェクト名に変更してください)
|
||||||
|
ENTRYPOINT ["dotnet", "RSSAPI.dll"]
|
||||||
@@ -1,10 +1,5 @@
|
|||||||
using AngleSharp;
|
using AngleSharp;
|
||||||
using AngleSharp.Dom;
|
using AngleSharp.Dom;
|
||||||
using AngleSharp.Html.Dom;
|
|
||||||
using AngleSharp.Html.Parser;
|
|
||||||
using AngleSharp.Xml.Parser;
|
|
||||||
using Microsoft.AspNetCore.Html;
|
|
||||||
using Microsoft.AspNetCore.Mvc.RazorPages;
|
|
||||||
using System.Diagnostics;
|
using System.Diagnostics;
|
||||||
using System.Security.Cryptography;
|
using System.Security.Cryptography;
|
||||||
using System.ServiceModel.Syndication;
|
using System.ServiceModel.Syndication;
|
||||||
@@ -334,618 +329,6 @@ app.MapGet("/missav123", async () =>
|
|||||||
}
|
}
|
||||||
});
|
});
|
||||||
|
|
||||||
//// --- APIエンドポイントの定義 ---
|
|
||||||
//app.MapGet("/momonga/fanzine", async (HttpContext context, IHttpClientFactory httpClientFactory) =>
|
|
||||||
//{
|
|
||||||
// var linkList = new List<string>();
|
|
||||||
// var pageMaster = "https://momon-ga.com/fanzine";
|
|
||||||
// for (int pageId = 1; pageId <= 50; pageId++)
|
|
||||||
// {
|
|
||||||
// var pageURL = string.Empty;
|
|
||||||
// if (pageId > 1)
|
|
||||||
// {
|
|
||||||
// pageURL = $"{pageMaster}/feed/atom/?paged={pageId}";
|
|
||||||
// }
|
|
||||||
// else
|
|
||||||
// {
|
|
||||||
// pageURL = $"{pageMaster}/feed/atom/";
|
|
||||||
// }
|
|
||||||
// linkList.Add(pageURL);
|
|
||||||
// }
|
|
||||||
|
|
||||||
// var client = httpClientFactory.CreateClient();
|
|
||||||
|
|
||||||
// var fetchTasks = linkList.Select(async url =>
|
|
||||||
// {
|
|
||||||
// try
|
|
||||||
// {
|
|
||||||
// // GetStreamAsyncを使うことで、文字列をメモリに溜め込まず流し読みします
|
|
||||||
// using var stream = await client.GetStreamAsync(url);
|
|
||||||
// using var reader = XmlReader.Create(stream);
|
|
||||||
// var feed = SyndicationFeed.Load(reader);
|
|
||||||
|
|
||||||
// return feed?.Items ?? Enumerable.Empty<SyndicationItem>();
|
|
||||||
// }
|
|
||||||
// catch (Exception ex)
|
|
||||||
// {
|
|
||||||
// Console.WriteLine($"[エラー] {url} の取得に失敗: {ex.Message}");
|
|
||||||
// return Enumerable.Empty<SyndicationItem>(); // 失敗したURLは無視して空を返す
|
|
||||||
// }
|
|
||||||
// });
|
|
||||||
|
|
||||||
// var results = await Task.WhenAll(fetchTasks);
|
|
||||||
// var allItems = results.SelectMany(items => items).ToList();
|
|
||||||
|
|
||||||
// // ==========================================
|
|
||||||
// // 4. 【機能】簡潔なRSSに整形するロジック
|
|
||||||
// // ==========================================
|
|
||||||
// var simplifiedItems = allItems
|
|
||||||
// .OrderByDescending(x => x.PublishDate) // 新しい順に並び替え
|
|
||||||
// .Select(originalItem =>
|
|
||||||
// {
|
|
||||||
// // 元のRSSが重い画像や長文を含んでいても、ここでシンプルな説明文に上書きして削ぎ落とす
|
|
||||||
// // var simpleContent = SyndicationContent.CreatePlaintextContent("記事の詳細はリンク先で確認してください。");
|
|
||||||
|
|
||||||
// List<SyndicationCategory> getAddCategory()
|
|
||||||
// {
|
|
||||||
// List<SyndicationCategory> result = new List<SyndicationCategory>();
|
|
||||||
|
|
||||||
// string orgText = originalItem.Summary.Text;
|
|
||||||
// var parser = new HtmlParser();
|
|
||||||
// var document = parser.ParseDocument(orgText);
|
|
||||||
|
|
||||||
// var firstP = document.QuerySelector("p");
|
|
||||||
// if (firstP != null)
|
|
||||||
// {
|
|
||||||
// var targetText = firstP.TextContent;
|
|
||||||
// int tagIndex = targetText.IndexOf("【タグ】");
|
|
||||||
// if (tagIndex >= 0)
|
|
||||||
// {
|
|
||||||
// // 【タグ】が見つかった場合、そこから前の文字列だけを残す
|
|
||||||
// targetText = targetText.Substring(0, tagIndex);
|
|
||||||
// }
|
|
||||||
// // ----------------------------------------------------
|
|
||||||
// // 正規表現で各項目の値を抽出する
|
|
||||||
// // ----------------------------------------------------
|
|
||||||
// // パターン解説:
|
|
||||||
// // 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】)
|
|
||||||
// // ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ)
|
|
||||||
// string pattern = @"【[^】]+】([^【]*)";
|
|
||||||
// var matches = Regex.Matches(targetText, pattern);
|
|
||||||
|
|
||||||
// foreach (Match match in matches)
|
|
||||||
// {
|
|
||||||
// // match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります
|
|
||||||
// // (項目の中身が空の場合は空文字になります)
|
|
||||||
// string valuesStr = match.Groups[1].Value;
|
|
||||||
|
|
||||||
// if (string.IsNullOrWhiteSpace(valuesStr))
|
|
||||||
// {
|
|
||||||
// continue; // 中身が空の場合はスキップ
|
|
||||||
// }
|
|
||||||
|
|
||||||
// // ----------------------------------------------------
|
|
||||||
// // 3. カンマで分割し、前後の空白を除去してカテゴリに追加
|
|
||||||
// // ----------------------------------------------------
|
|
||||||
// // ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します
|
|
||||||
// string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries);
|
|
||||||
|
|
||||||
// foreach (var val in splitValues)
|
|
||||||
// {
|
|
||||||
// // 前後の半角・全角スペースを取り除く
|
|
||||||
// string categoryName = val.Trim();
|
|
||||||
|
|
||||||
// // 空でなければカテゴリとして追加
|
|
||||||
// if (!string.IsNullOrEmpty(categoryName))
|
|
||||||
// {
|
|
||||||
// // domain属性なし(前回回答の手法)でカテゴリを追加
|
|
||||||
// result.Add(new SyndicationCategory(categoryName));
|
|
||||||
// }
|
|
||||||
// }
|
|
||||||
// }
|
|
||||||
// }
|
|
||||||
// return result;
|
|
||||||
// }
|
|
||||||
|
|
||||||
// var newItem = new SyndicationItem()
|
|
||||||
// {
|
|
||||||
// // タイトルは TextSyndicationContent でラップする必要があります
|
|
||||||
// Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title"),
|
|
||||||
// Id = originalItem.Id,
|
|
||||||
// PublishDate = originalItem.PublishDate,
|
|
||||||
// LastUpdatedTime = originalItem.LastUpdatedTime,
|
|
||||||
|
|
||||||
// // 元のコンテンツをそのまま引き継ぐ
|
|
||||||
// Content = originalItem.Content,
|
|
||||||
// Summary = originalItem.Summary
|
|
||||||
// };
|
|
||||||
|
|
||||||
// // リンクを引き継ぐ
|
|
||||||
// var link = originalItem.Links.FirstOrDefault()?.Uri;
|
|
||||||
// if (link != null)
|
|
||||||
// {
|
|
||||||
// newItem.Links.Add(new SyndicationLink(link));
|
|
||||||
// }
|
|
||||||
// // カテゴリに本文内の作者などの情報を追加する
|
|
||||||
// foreach (var category in getAddCategory())
|
|
||||||
// {
|
|
||||||
// newItem.Categories.Add(category);
|
|
||||||
// }
|
|
||||||
// // 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
|
|
||||||
// foreach (var category in originalItem.Categories)
|
|
||||||
// {
|
|
||||||
// category.Scheme = null;
|
|
||||||
// newItem.Categories.Add(category);
|
|
||||||
// }
|
|
||||||
// foreach (var author in originalItem.Authors)
|
|
||||||
// {
|
|
||||||
// newItem.Authors.Add(author);
|
|
||||||
// }
|
|
||||||
// return newItem;
|
|
||||||
// });
|
|
||||||
|
|
||||||
// // 5. 新しい統合フィードを作成
|
|
||||||
// var mergedFeed = new SyndicationFeed(
|
|
||||||
// "momon-ga.com",
|
|
||||||
// "",
|
|
||||||
// new Uri("https://momon-ga.com/fanzine/"),
|
|
||||||
// simplifiedItems
|
|
||||||
// );
|
|
||||||
|
|
||||||
// // ==========================================
|
|
||||||
// // 【追加】このリクエストに限り、同期書き込み(Sync I/O)を特別に許可する
|
|
||||||
// // ==========================================
|
|
||||||
// var syncIoFeature = context.Features.Get<Microsoft.AspNetCore.Http.Features.IHttpBodyControlFeature>();
|
|
||||||
// if (syncIoFeature != null)
|
|
||||||
// {
|
|
||||||
// syncIoFeature.AllowSynchronousIO = true;
|
|
||||||
// }
|
|
||||||
|
|
||||||
// // 6. 出力時のメモリ消費を抑えるため、Response.Body に直接XMLを書き込む
|
|
||||||
// context.Response.ContentType = "application/rss+xml; charset=utf-8";
|
|
||||||
|
|
||||||
// var settings = new XmlWriterSettings
|
|
||||||
// {
|
|
||||||
// Encoding = Encoding.UTF8,
|
|
||||||
// Indent = true,
|
|
||||||
// Async = true,
|
|
||||||
// CloseOutput = false // Response.Bodyを閉じないようにする
|
|
||||||
// };
|
|
||||||
|
|
||||||
// using (var writer = XmlWriter.Create(context.Response.Body, settings))
|
|
||||||
// {
|
|
||||||
// var formatter = new Rss20FeedFormatter(mergedFeed);
|
|
||||||
// formatter.WriteTo(writer);
|
|
||||||
// await writer.FlushAsync();
|
|
||||||
// }
|
|
||||||
//});
|
|
||||||
|
|
||||||
//// --- APIエンドポイントの定義 ---
|
|
||||||
//app.MapGet("/momonga/magazine", async (HttpContext context, IHttpClientFactory httpClientFactory) =>
|
|
||||||
//{
|
|
||||||
// var linkList = new List<string>();
|
|
||||||
// var pageMaster = "https://momon-ga.com/magazine";
|
|
||||||
// for (int pageId = 1; pageId <= 50; pageId++)
|
|
||||||
// {
|
|
||||||
// var pageURL = string.Empty;
|
|
||||||
// if (pageId > 1)
|
|
||||||
// {
|
|
||||||
// pageURL = $"{pageMaster}/feed/atom/?paged={pageId}";
|
|
||||||
// }
|
|
||||||
// else
|
|
||||||
// {
|
|
||||||
// pageURL = $"{pageMaster}/feed/atom/";
|
|
||||||
// }
|
|
||||||
// linkList.Add(pageURL);
|
|
||||||
// }
|
|
||||||
|
|
||||||
// var client = httpClientFactory.CreateClient();
|
|
||||||
|
|
||||||
// var fetchTasks = linkList.Select(async url =>
|
|
||||||
// {
|
|
||||||
// try
|
|
||||||
// {
|
|
||||||
// // GetStreamAsyncを使うことで、文字列をメモリに溜め込まず流し読みします
|
|
||||||
// using var stream = await client.GetStreamAsync(url);
|
|
||||||
// using var reader = XmlReader.Create(stream);
|
|
||||||
// var feed = SyndicationFeed.Load(reader);
|
|
||||||
|
|
||||||
// return feed?.Items ?? Enumerable.Empty<SyndicationItem>();
|
|
||||||
// }
|
|
||||||
// catch (Exception ex)
|
|
||||||
// {
|
|
||||||
// Console.WriteLine($"[エラー] {url} の取得に失敗: {ex.Message}");
|
|
||||||
// return Enumerable.Empty<SyndicationItem>(); // 失敗したURLは無視して空を返す
|
|
||||||
// }
|
|
||||||
// });
|
|
||||||
|
|
||||||
// var results = await Task.WhenAll(fetchTasks);
|
|
||||||
// var allItems = results.SelectMany(items => items).ToList();
|
|
||||||
|
|
||||||
// // ==========================================
|
|
||||||
// // 4. 【機能】簡潔なRSSに整形するロジック
|
|
||||||
// // ==========================================
|
|
||||||
// var simplifiedItems = allItems
|
|
||||||
// .OrderByDescending(x => x.PublishDate) // 新しい順に並び替え
|
|
||||||
// .Select(originalItem =>
|
|
||||||
// {
|
|
||||||
// // 元のRSSが重い画像や長文を含んでいても、ここでシンプルな説明文に上書きして削ぎ落とす
|
|
||||||
// // var simpleContent = SyndicationContent.CreatePlaintextContent("記事の詳細はリンク先で確認してください。");
|
|
||||||
|
|
||||||
// List<SyndicationCategory> getAddCategory()
|
|
||||||
// {
|
|
||||||
// List<SyndicationCategory> result = new List<SyndicationCategory>();
|
|
||||||
|
|
||||||
// string orgText = originalItem.Summary.Text;
|
|
||||||
// var parser = new HtmlParser();
|
|
||||||
// var document = parser.ParseDocument(orgText);
|
|
||||||
|
|
||||||
// var firstP = document.QuerySelector("p");
|
|
||||||
// if (firstP != null)
|
|
||||||
// {
|
|
||||||
// var targetText = firstP.TextContent;
|
|
||||||
// int tagIndex = targetText.IndexOf("【タグ】");
|
|
||||||
// if (tagIndex >= 0)
|
|
||||||
// {
|
|
||||||
// // 【タグ】が見つかった場合、そこから前の文字列だけを残す
|
|
||||||
// targetText = targetText.Substring(0, tagIndex);
|
|
||||||
// }
|
|
||||||
// // ----------------------------------------------------
|
|
||||||
// // 正規表現で各項目の値を抽出する
|
|
||||||
// // ----------------------------------------------------
|
|
||||||
// // パターン解説:
|
|
||||||
// // 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】)
|
|
||||||
// // ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ)
|
|
||||||
// string pattern = @"【[^】]+】([^【]*)";
|
|
||||||
// var matches = Regex.Matches(targetText, pattern);
|
|
||||||
|
|
||||||
// foreach (Match match in matches)
|
|
||||||
// {
|
|
||||||
// // match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります
|
|
||||||
// // (項目の中身が空の場合は空文字になります)
|
|
||||||
// string valuesStr = match.Groups[1].Value;
|
|
||||||
|
|
||||||
// if (string.IsNullOrWhiteSpace(valuesStr))
|
|
||||||
// {
|
|
||||||
// continue; // 中身が空の場合はスキップ
|
|
||||||
// }
|
|
||||||
|
|
||||||
// // ----------------------------------------------------
|
|
||||||
// // 3. カンマで分割し、前後の空白を除去してカテゴリに追加
|
|
||||||
// // ----------------------------------------------------
|
|
||||||
// // ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します
|
|
||||||
// string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries);
|
|
||||||
|
|
||||||
// foreach (var val in splitValues)
|
|
||||||
// {
|
|
||||||
// // 前後の半角・全角スペースを取り除く
|
|
||||||
// string categoryName = val.Trim();
|
|
||||||
|
|
||||||
// // 空でなければカテゴリとして追加
|
|
||||||
// if (!string.IsNullOrEmpty(categoryName))
|
|
||||||
// {
|
|
||||||
// // domain属性なし(前回回答の手法)でカテゴリを追加
|
|
||||||
// result.Add(new SyndicationCategory(categoryName));
|
|
||||||
// }
|
|
||||||
// }
|
|
||||||
// }
|
|
||||||
// }
|
|
||||||
// return result;
|
|
||||||
// }
|
|
||||||
|
|
||||||
// var newItem = new SyndicationItem()
|
|
||||||
// {
|
|
||||||
// // タイトルは TextSyndicationContent でラップする必要があります
|
|
||||||
// Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title"),
|
|
||||||
// Id = originalItem.Id,
|
|
||||||
// PublishDate = originalItem.PublishDate,
|
|
||||||
// LastUpdatedTime = originalItem.LastUpdatedTime,
|
|
||||||
|
|
||||||
// // 元のコンテンツをそのまま引き継ぐ
|
|
||||||
// Content = originalItem.Content,
|
|
||||||
// Summary = originalItem.Summary
|
|
||||||
// };
|
|
||||||
|
|
||||||
// // リンクを引き継ぐ
|
|
||||||
// var link = originalItem.Links.FirstOrDefault()?.Uri;
|
|
||||||
// if (link != null)
|
|
||||||
// {
|
|
||||||
// newItem.Links.Add(new SyndicationLink(link));
|
|
||||||
// }
|
|
||||||
// // カテゴリに本文内の作者などの情報を追加する
|
|
||||||
// foreach (var category in getAddCategory())
|
|
||||||
// {
|
|
||||||
// newItem.Categories.Add(category);
|
|
||||||
// }
|
|
||||||
// // 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
|
|
||||||
// foreach (var category in originalItem.Categories)
|
|
||||||
// {
|
|
||||||
// category.Scheme = null;
|
|
||||||
// newItem.Categories.Add(category);
|
|
||||||
// }
|
|
||||||
// foreach (var author in originalItem.Authors)
|
|
||||||
// {
|
|
||||||
// newItem.Authors.Add(author);
|
|
||||||
// }
|
|
||||||
// return newItem;
|
|
||||||
// });
|
|
||||||
|
|
||||||
// // 5. 新しい統合フィードを作成
|
|
||||||
// var mergedFeed = new SyndicationFeed(
|
|
||||||
// "momon-ga.com",
|
|
||||||
// "",
|
|
||||||
// new Uri("https://momon-ga.com/magazine/"),
|
|
||||||
// simplifiedItems
|
|
||||||
// );
|
|
||||||
|
|
||||||
// // ==========================================
|
|
||||||
// // 【追加】このリクエストに限り、同期書き込み(Sync I/O)を特別に許可する
|
|
||||||
// // ==========================================
|
|
||||||
// var syncIoFeature = context.Features.Get<Microsoft.AspNetCore.Http.Features.IHttpBodyControlFeature>();
|
|
||||||
// if (syncIoFeature != null)
|
|
||||||
// {
|
|
||||||
// syncIoFeature.AllowSynchronousIO = true;
|
|
||||||
// }
|
|
||||||
|
|
||||||
// // 6. 出力時のメモリ消費を抑えるため、Response.Body に直接XMLを書き込む
|
|
||||||
// context.Response.ContentType = "application/rss+xml; charset=utf-8";
|
|
||||||
|
|
||||||
// var settings = new XmlWriterSettings
|
|
||||||
// {
|
|
||||||
// Encoding = Encoding.UTF8,
|
|
||||||
// Indent = true,
|
|
||||||
// Async = true,
|
|
||||||
// CloseOutput = false // Response.Bodyを閉じないようにする
|
|
||||||
// };
|
|
||||||
|
|
||||||
// using (var writer = XmlWriter.Create(context.Response.Body, settings))
|
|
||||||
// {
|
|
||||||
// var formatter = new Rss20FeedFormatter(mergedFeed);
|
|
||||||
// formatter.WriteTo(writer);
|
|
||||||
// await writer.FlushAsync();
|
|
||||||
// }
|
|
||||||
//});
|
|
||||||
|
|
||||||
//// --- 2. APIエンドポイントの定義 ---
|
|
||||||
//app.MapGet("/javtwi", async () =>
|
|
||||||
//{
|
|
||||||
// var baseURL = "https://javtwi.com/new.html";
|
|
||||||
|
|
||||||
|
|
||||||
// var feed = new SyndicationFeed("javtwi", "", new Uri(baseURL));
|
|
||||||
// var items = new List<SyndicationItem>();
|
|
||||||
|
|
||||||
// try
|
|
||||||
// {
|
|
||||||
// var linkList = new List<string>();
|
|
||||||
|
|
||||||
// // --- 3. HTMLの取得と解析 ---
|
|
||||||
// var document = await context.OpenAsync(baseURL);
|
|
||||||
// var pageTitle = document.QuerySelector("title")?.TextContent;
|
|
||||||
|
|
||||||
// var elements = document.QuerySelectorAll("div.center_contents a.center_contents");
|
|
||||||
// foreach (var linkElement in elements)
|
|
||||||
// {
|
|
||||||
// var imgElement = linkElement.QuerySelector("a img");
|
|
||||||
|
|
||||||
// var linkHref = linkElement?.GetAttribute("href") ?? string.Empty;
|
|
||||||
// var imageSrc = (imgElement as IHtmlImageElement)!.Source;
|
|
||||||
// if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
|
||||||
// {
|
|
||||||
// if (linkHref.Last() == '?')
|
|
||||||
// {
|
|
||||||
// linkHref = linkHref.TrimEnd('?');
|
|
||||||
// }
|
|
||||||
// // 重複行は追加しない
|
|
||||||
// if (linkList.Contains(linkHref))
|
|
||||||
// {
|
|
||||||
// continue;
|
|
||||||
// }
|
|
||||||
// linkList.Add(linkHref);
|
|
||||||
// }
|
|
||||||
// else
|
|
||||||
// {
|
|
||||||
// continue;
|
|
||||||
// }
|
|
||||||
|
|
||||||
// var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
|
||||||
// var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
|
||||||
// if (itemUri == null)
|
|
||||||
// {
|
|
||||||
// continue;
|
|
||||||
// }
|
|
||||||
// if (itemUri.AbsolutePath.Contains("404."))
|
|
||||||
// {
|
|
||||||
// continue;
|
|
||||||
// }
|
|
||||||
|
|
||||||
// var title = cmnUtil.GetLastPathPart(linkHref);
|
|
||||||
|
|
||||||
// var body = new StringBuilder();
|
|
||||||
// body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
|
||||||
// body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
|
||||||
|
|
||||||
// var item = new SyndicationItem(
|
|
||||||
// title,
|
|
||||||
// string.Empty,
|
|
||||||
// itemUri,
|
|
||||||
// cmnUtil.CreateGuid(linkHref),
|
|
||||||
// DateTimeOffset.Now // 取得できた公開日時があればそれをセット
|
|
||||||
// );
|
|
||||||
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
|
||||||
// // ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
|
||||||
// // 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
|
||||||
// item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
|
||||||
|
|
||||||
// items.Add(item);
|
|
||||||
// }
|
|
||||||
// feed.Items = items;
|
|
||||||
|
|
||||||
// // 3. XMLとしてMemoryStreamに書き込み
|
|
||||||
// using var memoryStream = new MemoryStream();
|
|
||||||
// // 文字コードをUTF-8に指定(重要)
|
|
||||||
// var settings = new XmlWriterSettings
|
|
||||||
// {
|
|
||||||
// Encoding = new UTF8Encoding(false), // BOMなしUTF-8
|
|
||||||
// Indent = true
|
|
||||||
// };
|
|
||||||
// using (var xmlWriter = XmlWriter.Create(memoryStream, settings))
|
|
||||||
// {
|
|
||||||
// // RSS 2.0 形式で出力
|
|
||||||
// var formatter = new Rss20FeedFormatter(feed);
|
|
||||||
// // ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。
|
|
||||||
// // var formatter = new Atom10FeedFormatter(feed);
|
|
||||||
// formatter.WriteTo(xmlWriter);
|
|
||||||
// }
|
|
||||||
// // 4. クライアントに返却
|
|
||||||
// // Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください
|
|
||||||
// return Results.File(
|
|
||||||
// memoryStream.ToArray(),
|
|
||||||
// contentType: "application/rss+xml; charset=utf-8"
|
|
||||||
// );
|
|
||||||
// }
|
|
||||||
// catch (Exception ex)
|
|
||||||
// {
|
|
||||||
// return Results.Problem(detail: ex.Message, statusCode: 500, title: "Scraping Error");
|
|
||||||
// }
|
|
||||||
//});
|
|
||||||
|
|
||||||
//// kimochi.info
|
|
||||||
//app.MapGet("/kimochiinfo", async () => {
|
|
||||||
|
|
||||||
// var baseURL = "https://kimochi.info/browse/";
|
|
||||||
// var query = "?platform=windows";
|
|
||||||
|
|
||||||
// var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}"));
|
|
||||||
// var items = new List<SyndicationItem>();
|
|
||||||
// try
|
|
||||||
// {
|
|
||||||
// for (int pageId = 1; pageId <= 3; pageId++)
|
|
||||||
// {
|
|
||||||
// var url = "";
|
|
||||||
// if (pageId == 1)
|
|
||||||
// {
|
|
||||||
// url = $"{baseURL}{query}";
|
|
||||||
// }
|
|
||||||
// else
|
|
||||||
// {
|
|
||||||
// url = $"{baseURL}/page/{pageId}{query}";
|
|
||||||
// }
|
|
||||||
// // --- 3. HTMLの取得と解析 ---
|
|
||||||
// var document = await context.OpenAsync(url);
|
|
||||||
|
|
||||||
// var pageTitle = document.QuerySelector("title")?.TextContent;
|
|
||||||
|
|
||||||
// var elements = document.QuerySelectorAll("main article>a");
|
|
||||||
// var linkList = new List<string>();
|
|
||||||
// foreach (var linkElement in elements)
|
|
||||||
// {
|
|
||||||
// var imgElement = linkElement.QuerySelector("img");
|
|
||||||
// var imageSrc = (imgElement as IHtmlImageElement)!.Source;
|
|
||||||
// var linkHref = linkElement.GetAttribute("href") ?? string.Empty;
|
|
||||||
// if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
|
||||||
// {
|
|
||||||
// if (linkHref.Last() == '?')
|
|
||||||
// {
|
|
||||||
// linkHref = linkHref.TrimEnd('?');
|
|
||||||
// }
|
|
||||||
// linkList.Add(linkHref);
|
|
||||||
// }
|
|
||||||
// else
|
|
||||||
// {
|
|
||||||
// continue;
|
|
||||||
// }
|
|
||||||
// var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
|
||||||
// var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
|
||||||
// if (itemUri == null)
|
|
||||||
// {
|
|
||||||
// continue;
|
|
||||||
// }
|
|
||||||
|
|
||||||
|
|
||||||
// var divVerElems = linkElement.QuerySelectorAll("div>div.tracking-wider");
|
|
||||||
// var versionText = "v1.0.0";
|
|
||||||
// foreach (var divVerElem in divVerElems)
|
|
||||||
// {
|
|
||||||
// versionText = Regex.Replace(divVerElem.TextContent, @"\s+", "");
|
|
||||||
// break;
|
|
||||||
// }
|
|
||||||
|
|
||||||
// var h3Elem = linkElement.QuerySelector("h3");
|
|
||||||
// var title = $"{h3Elem!.TextContent.Replace("\t", "").Replace("\r", "").Replace("\n", "").Trim()} {versionText}";
|
|
||||||
|
|
||||||
// var divContents = linkElement.QuerySelectorAll("h3+div>div");
|
|
||||||
// var isJP = false;
|
|
||||||
// if (divContents!.Length > 2)
|
|
||||||
// {
|
|
||||||
// var span = divContents[1];
|
|
||||||
// if (span.TextContent.Contains("JP"))
|
|
||||||
// {
|
|
||||||
// isJP = true;
|
|
||||||
// }
|
|
||||||
// }
|
|
||||||
// if (isJP == false)
|
|
||||||
// {
|
|
||||||
// continue;
|
|
||||||
// }
|
|
||||||
// var docContents = await context.OpenAsync(linkHref);
|
|
||||||
// var divDetail = docContents.QuerySelector("main>div>div")!;
|
|
||||||
// var metaPubDate = cmnUtil.GetPublishedTimeAsJst(docContents);
|
|
||||||
// var metaModDate = cmnUtil.GetModifiedTimeAsJst(docContents);
|
|
||||||
|
|
||||||
// var body = new StringBuilder();
|
|
||||||
|
|
||||||
// body.Append($@"<div>バージョン:{versionText}</div>");
|
|
||||||
// body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
|
||||||
// body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
|
||||||
// body.Append(cmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
|
||||||
|
|
||||||
// var item = new SyndicationItem(
|
|
||||||
// title,
|
|
||||||
// string.Empty,
|
|
||||||
// itemUri,
|
|
||||||
// cmnUtil.CreateGuid(linkHref),
|
|
||||||
// metaModDate ?? (metaPubDate ?? DateTimeOffset.Now) // 取得できた公開日時があればそれをセット
|
|
||||||
// );
|
|
||||||
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
|
||||||
// // ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
|
||||||
// // 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
|
||||||
// item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
|
||||||
|
|
||||||
// items.Add(item);
|
|
||||||
// }
|
|
||||||
// }
|
|
||||||
// feed.Items = items;
|
|
||||||
|
|
||||||
// // 3. XMLとしてMemoryStreamに書き込み
|
|
||||||
// using var memoryStream = new MemoryStream();
|
|
||||||
// // 文字コードをUTF-8に指定(重要)
|
|
||||||
// var settings = new XmlWriterSettings
|
|
||||||
// {
|
|
||||||
// Encoding = new UTF8Encoding(false), // BOMなしUTF-8
|
|
||||||
// Indent = true
|
|
||||||
// };
|
|
||||||
// using (var xmlWriter = XmlWriter.Create(memoryStream, settings))
|
|
||||||
// {
|
|
||||||
// // RSS 2.0 形式で出力
|
|
||||||
// var formatter = new Rss20FeedFormatter(feed);
|
|
||||||
// // ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。
|
|
||||||
// // var formatter = new Atom10FeedFormatter(feed);
|
|
||||||
// formatter.WriteTo(xmlWriter);
|
|
||||||
// }
|
|
||||||
// // 4. クライアントに返却
|
|
||||||
// // Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください
|
|
||||||
// return Results.File(
|
|
||||||
// memoryStream.ToArray(),
|
|
||||||
// contentType: "application/rss+xml; charset=utf-8"
|
|
||||||
// );
|
|
||||||
// }
|
|
||||||
// catch (Exception ex)
|
|
||||||
// {
|
|
||||||
// return Results.Problem(detail: ex.Message, statusCode: 500, title: "Scraping Error");
|
|
||||||
// }
|
|
||||||
//});
|
|
||||||
|
|
||||||
app.Run();
|
app.Run();
|
||||||
|
|
||||||
public class cmnUtil
|
public class cmnUtil
|
||||||
|
|||||||
@@ -0,0 +1,16 @@
|
|||||||
|
<?xml version="1.0" encoding="utf-8"?>
|
||||||
|
<!-- https://go.microsoft.com/fwlink/?LinkID=208121. -->
|
||||||
|
<Project>
|
||||||
|
<PropertyGroup>
|
||||||
|
<DeleteExistingFiles>false</DeleteExistingFiles>
|
||||||
|
<ExcludeApp_Data>false</ExcludeApp_Data>
|
||||||
|
<LaunchSiteAfterPublish>true</LaunchSiteAfterPublish>
|
||||||
|
<LastUsedBuildConfiguration>Release</LastUsedBuildConfiguration>
|
||||||
|
<LastUsedPlatform>Any CPU</LastUsedPlatform>
|
||||||
|
<PublishProvider>FileSystem</PublishProvider>
|
||||||
|
<PublishUrl>bin\publish\</PublishUrl>
|
||||||
|
<PublishDir>bin\publish\</PublishDir>
|
||||||
|
<WebPublishMethod>FileSystem</WebPublishMethod>
|
||||||
|
<_TargetId>Folder</_TargetId>
|
||||||
|
</PropertyGroup>
|
||||||
|
</Project>
|
||||||
@@ -9,7 +9,15 @@
|
|||||||
<ItemGroup>
|
<ItemGroup>
|
||||||
<PackageReference Include="AngleSharp" Version="1.7.1" />
|
<PackageReference Include="AngleSharp" Version="1.7.1" />
|
||||||
<PackageReference Include="AngleSharp.Xml" Version="1.1.0" />
|
<PackageReference Include="AngleSharp.Xml" Version="1.1.0" />
|
||||||
|
<PackageReference Include="SSH.NET" Version="2026.0.0" />
|
||||||
<PackageReference Include="System.ServiceModel.Syndication" Version="10.0.11" />
|
<PackageReference Include="System.ServiceModel.Syndication" Version="10.0.11" />
|
||||||
</ItemGroup>
|
</ItemGroup>
|
||||||
|
|
||||||
|
<Target Name="PostPublishDeploy" AfterTargets="Publish">
|
||||||
|
<Message Text="=== [VPS Deploy] Starting Deploy via MSBuild ===" Importance="high" />
|
||||||
|
<Exec Command="ssh -p 22321 armonica@162.43.79.113 "mkdir -p /home/armonica/docker/rss-api/app"" />
|
||||||
|
<Exec Command="scp -P 22321 -r "$(ProjectDir)bin\publish\." armonica@162.43.79.113:/home/armonica/docker/rss-api/app/" />
|
||||||
|
<Exec Command="ssh -p 22321 armonica@162.43.79.113 "cd /home/armonica/docker/rss-api && docker compose up -d --build rss-api"" />
|
||||||
|
<Message Text="=== [VPS Deploy] All processes completed successfully! ===" Importance="high" />
|
||||||
|
</Target>
|
||||||
</Project>
|
</Project>
|
||||||
File renamed without changes.
Reference in new issue
Block a user