名前変更+url追加

This commit is contained in:
armonica committed 2026-05-02 19:32:33 +09:00
1 parent e874ae9808
commit 49e0fa41e3
37 files changed
+477 -1518

No files matched your search

+16
View File
@@ -0,0 +1,16 @@
# ビルド環境
FROM mcr.microsoft.com/dotnet/sdk:10.0 AS build
WORKDIR /src
COPY ["RSSAPI.csproj", "./"]
RUN dotnet restore "RSSAPI.csproj"
COPY . .
RUN dotnet publish "RSSAPI.csproj" -c Release -o /app/publish
# 実行環境
FROM mcr.microsoft.com/dotnet/aspnet:10.0 AS final
WORKDIR /app
COPY --from=build /app/publish .
# 日本語の文字化け・タイムゾーン対策
ENV TZ=Asia/Tokyo
ENV LANG=ja_JP.UTF-8
ENTRYPOINT ["dotnet", "RSSAPI.dll"]
+459
View File
@@ -0,0 +1,459 @@
using AngleSharp;
using AngleSharp.Dom;
using AngleSharp.Html.Parser;
using AngleSharp.Xml.Parser;
using Microsoft.AspNetCore.Html;
using System.Diagnostics;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.RegularExpressions;
using System.Xml;
var builder = WebApplication.CreateBuilder(args);
builder.Services.AddHttpClient();
// --- 1. AngleSharpの初期設定 ---
var config = Configuration.Default.WithDefaultLoader();
var context = BrowsingContext.New(config);
var app = builder.Build();
// --- 2. APIエンドポイントの定義 ---
app.MapGet("/ci-en/{creatorId}", async (string creatorId) =>
{
// HTMLの記載に合わせてドメインを ci-en.dlsite.com に修正
var targetUrl = $"https://ci-en.dlsite.com/creator/{creatorId}/article";
try
{
// --- 3. HTMLの取得と解析 ---
var document = await context.OpenAsync(targetUrl);
var pageTitle = document.QuerySelector("title")?.TextContent ?? $"{creatorId} - Ci-en Articles";
// --- 4. RSSフィードの基本情報を作成 ---
var feed = new SyndicationFeed(
title: pageTitle,
description: "Ci-en Unofficial Scraped RSS Feed",
feedAlternateLink: new Uri(targetUrl)
);
var items = new List<SyndicationItem>();
// --- 5. 記事一覧の要素を取得(実際のクラス名に修正) ---
var articleElements = document.QuerySelectorAll(".c-postedArticle");
foreach (var element in articleElements)
{
// ==========================================
// 【機能1】固定記事の除外ロジック
// ==========================================
// 取得した要素自身が "is-fixed" クラスを持っているか判定
if (element.ClassList.Contains("is-fixed"))
{
continue; // 固定記事の場合はスキップして次の記事へ
}
// タイトル、リンク、日付の取得
var titleElement = element.QuerySelector(".e-title");
var linkElement = element.QuerySelector("a.c-cardLink");
var title = titleElement?.TextContent?.Trim();
var link = linkElement?.GetAttribute("href");
// 相対パスの場合は絶対パスに変換
if (!string.IsNullOrEmpty(link) && link.StartsWith("/"))
{
link = $"https://ci-en.dlsite.com{link}";
}
if (!string.IsNullOrEmpty(title) && !string.IsNullOrEmpty(link))
{
// 日付の取得と変換
var dateText = element.QuerySelector(".e-date")?.TextContent?.Trim();
var pubDate = DateTimeOffset.Now;
if (!string.IsNullOrEmpty(dateText))
{
// "2026/04/03 00:04" などの文字列を日付型に変換
if (DateTimeOffset.TryParse(dateText, out var parsedDate))
{
pubDate = parsedDate;
}
}
// ==========================================
// 【機能2】サムネイル画像の取得ロジック
// ==========================================
var imgElement = element.QuerySelector(".v-image");
// 遅延読み込み対策: data-src を優先し、なければ src を取得
var imageUrl = imgElement?.GetAttribute("data-src");
if (string.IsNullOrEmpty(imageUrl))
{
imageUrl = imgElement?.GetAttribute("src");
}
// RSSリーダーで表示するためのHTMLコンテンツを作成
var contentBody = "<p>この記事の詳細はCi-enのサイト内で確認してください。</p>";
if (!string.IsNullOrEmpty(imageUrl))
{
// 本文内に画像を埋め込む
contentBody = $"<div><img src=\"{imageUrl}\" /></div>" + contentBody;
}
var item = new SyndicationItem()
{
Title = new TextSyndicationContent(title),
Id = link,
PublishDate = pubDate,
Content = SyndicationContent.CreateHtmlContent(contentBody)
};
item.Links.Add(new SyndicationLink(new Uri(link)));
items.Add(item);
}
}
feed.Items = items;
// --- 6. XMLフォーマットで出力(文字化け修正・UTF-8対応版) ---
using var memoryStream = new MemoryStream();
using (var xmlWriter = XmlWriter.Create(memoryStream, new XmlWriterSettings
{
Indent = true,
Encoding = System.Text.Encoding.UTF8
}))
{
var rssFormatter = new Rss20FeedFormatter(feed);
rssFormatter.WriteTo(xmlWriter);
}
return Results.File(memoryStream.ToArray(), contentType: "application/rss+xml; charset=utf-8");
}
catch (Exception ex)
{
return Results.Problem(detail: ex.Message, statusCode: 500, title: "Scraping Error");
}
});
// --- 2. APIエンドポイントの定義 ---
app.MapGet("/missav", async () =>
{
var feed = new SyndicationFeed("missav.ai", "", new Uri("https://missav.ai/ja/new"));
var items = new List<SyndicationItem>();
try
{
var linkList = new List<string>();
for (int pageId = 1; pageId <= 10; pageId++)
{
var pageURL = string.Empty;
if (pageId > 1)
{
pageURL = $"https://missav.ai/ja/new?page={pageId}";
}
else
{
pageURL = $"https://missav.ai/ja/new";
}
var rssUrl = $"https://freshrss.armonica-vps.work/api/cloudsolver.php?feed={pageURL}";
// --- 3. HTMLの取得と解析 ---
var document = await context.OpenAsync(rssUrl);
var pageTitle = document.QuerySelector("title")?.TextContent;
var elements = document.QuerySelectorAll("div.thumbnail.group");
var targetDivs = elements.Where(e => e.ClassList.Length == 2).ToList();
foreach (var div in targetDivs)
{
var titleElement = div.QuerySelector(".text-secondary");
var linkElement = div.QuerySelector(".text-secondary");
var imgElement = div.QuerySelector("img");
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
var linkHref = linkElement?.GetAttribute("href") ?? string.Empty;
var imageSrc = imgElement?.GetAttribute("data-src");
if (linkHref != string.Empty && !linkList.Contains(linkHref))
{
linkList.Add(linkHref);
}
else
{
continue;
}
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
var body = new StringBuilder();
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
Debug.WriteLine(title);
var item = new SyndicationItem(
title,
string.Empty,
itemUri,
itemUri?.ToString() ?? Guid.NewGuid().ToString(), // 一意なID (URLを使うことが多い)
DateTimeOffset.Now // 取得できた公開日時があればそれをセット
);
item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
items.Add(item);
}
}
feed.Items = items;
// 3. XMLとしてMemoryStreamに書き込み
using var memoryStream = new MemoryStream();
// 文字コードをUTF-8に指定(重要)
var settings = new XmlWriterSettings
{
Encoding = new UTF8Encoding(false), // BOMなしUTF-8
Indent = true
};
using (var xmlWriter = XmlWriter.Create(memoryStream, settings))
{
// RSS 2.0 形式で出力
var formatter = new Rss20FeedFormatter(feed);
// ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。
// var formatter = new Atom10FeedFormatter(feed);
formatter.WriteTo(xmlWriter);
}
// 4. クライアントに返却
// Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください
return Results.File(
memoryStream.ToArray(),
contentType: "application/rss+xml; charset=utf-8"
);
}
catch (Exception ex)
{
return Results.Problem(detail: ex.Message, statusCode: 500, title: "Scraping Error");
}
});
// --- 2. APIエンドポイントの定義 ---
app.MapGet("/missav123", async () =>
{
var feed = new SyndicationFeed("missav123.to", "", new Uri("https://missav123.to/ja/recent"));
var items = new List<SyndicationItem>();
try
{
var linkList = new List<string>();
for (int pageId = 1; pageId <= 10; pageId++)
{
var pageMaster = "https://missav123.to";
var pageURL = string.Empty;
if (pageId > 1)
{
pageURL = $"{pageMaster}/ja/recent?page={pageId}";
}
else
{
pageURL = $"{pageMaster}/ja/recent";
}
var rssUrl = $"https://freshrss.armonica-vps.work/api/cloudsolver.php?feed={pageURL}";
// --- 3. HTMLの取得と解析 ---
var document = await context.OpenAsync(rssUrl);
var pageTitle = document.QuerySelector("title")?.TextContent;
var elements = document.QuerySelectorAll("div.item");
var targetDivs = elements.Where(e => e.ClassList.Length == 1).ToList();
foreach (var div in targetDivs)
{
var titleElement = div.QuerySelector("a.title");
var linkElement = div.QuerySelector("a.title");
var imgElement = div.QuerySelector("img");
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
var linkHref = $"{pageMaster}{linkElement?.GetAttribute("href")}";
var imageSrc = imgElement?.GetAttribute("src");
if (linkHref != string.Empty && !linkList.Contains(linkHref))
{
linkList.Add(linkHref);
}
else
{
continue;
}
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
var body = new StringBuilder();
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
Debug.WriteLine(body.ToString());
var item = new SyndicationItem(
title,
string.Empty,
itemUri,
itemUri?.ToString() ?? Guid.NewGuid().ToString(), // 一意なID (URLを使うことが多い)
DateTimeOffset.Now // 取得できた公開日時があればそれをセット
);
item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
items.Add(item);
}
}
feed.Items = items;
// 3. XMLとしてMemoryStreamに書き込み
using var memoryStream = new MemoryStream();
// 文字コードをUTF-8に指定(重要)
var settings = new XmlWriterSettings
{
Encoding = new UTF8Encoding(false), // BOMなしUTF-8
Indent = true
};
using (var xmlWriter = XmlWriter.Create(memoryStream, settings))
{
// RSS 2.0 形式で出力
var formatter = new Rss20FeedFormatter(feed);
// ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。
// var formatter = new Atom10FeedFormatter(feed);
formatter.WriteTo(xmlWriter);
}
// 4. クライアントに返却
// Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください
return Results.File(
memoryStream.ToArray(),
contentType: "application/rss+xml; charset=utf-8"
);
}
catch (Exception ex)
{
return Results.Problem(detail: ex.Message, statusCode: 500, title: "Scraping Error");
}
});
// --- APIエンドポイントの定義 ---
app.MapGet("/momonga/fanzine", async (HttpContext context, IHttpClientFactory httpClientFactory) =>
{
// 1. 取得対象のURLを10件定義(例として連番パラメーターを生成)
var linkList = new List<string>();
var pageMaster = "https://momon-ga.com/fanzine";
for (int pageId = 1; pageId <= 50; pageId++)
{
var pageURL = string.Empty;
if (pageId > 1)
{
pageURL = $"{pageMaster}/feed/atom/?paged={pageId}";
}
else
{
pageURL = $"{pageMaster}/feed/atom/";
}
linkList.Add(pageURL);
}
var client = httpClientFactory.CreateClient();
// 2. 10件のRSSを「非同期」かつ「並列」で取得し、メモリに展開せずストリームのままパース
var fetchTasks = linkList.Select(async url =>
{
try
{
// GetStreamAsyncを使うことで、文字列をメモリに溜め込まず流し読みします
using var stream = await client.GetStreamAsync(url);
using var reader = XmlReader.Create(stream);
var feed = SyndicationFeed.Load(reader);
return feed?.Items ?? Enumerable.Empty<SyndicationItem>();
}
catch (Exception ex)
{
Console.WriteLine($"[エラー] {url} の取得に失敗: {ex.Message}");
return Enumerable.Empty<SyndicationItem>(); // 失敗したURLは無視して空を返す
}
});
// 3. 全10件の通信完了を待機し、結果のリストを1つに平坦化 (SelectMany)
var results = await Task.WhenAll(fetchTasks);
var allItems = results.SelectMany(items => items).ToList();
// ==========================================
// 4. 【機能】簡潔なRSSに整形するロジック
// ==========================================
var simplifiedItems = allItems
.OrderByDescending(x => x.PublishDate) // 新しい順に並び替え
.Select(originalItem =>
{
// 元のRSSが重い画像や長文を含んでいても、ここでシンプルな説明文に上書きして削ぎ落とす
// var simpleContent = SyndicationContent.CreatePlaintextContent("記事の詳細はリンク先で確認してください。");
var newItem = new SyndicationItem()
{
// タイトルは TextSyndicationContent でラップする必要があります
Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title"),
Id = originalItem.Id,
PublishDate = originalItem.PublishDate,
LastUpdatedTime = originalItem.LastUpdatedTime,
// 元のコンテンツをそのまま引き継ぐ
Content = originalItem.Content,
Summary = originalItem.Summary
};
// リンクを引き継ぐ
var link = originalItem.Links.FirstOrDefault()?.Uri;
if (link != null)
{
newItem.Links.Add(new SyndicationLink(link));
}
// 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
foreach (var category in originalItem.Categories)
{
newItem.Categories.Add(category);
}
foreach (var author in originalItem.Authors)
{
newItem.Authors.Add(author);
}
return newItem;
});
// 5. 新しい統合フィードを作成
var mergedFeed = new SyndicationFeed(
"momon-ga.com",
"",
new Uri("https://momon-ga.com/fanzine/"),
simplifiedItems
);
// ==========================================
// 【追加】このリクエストに限り、同期書き込み(Sync I/O)を特別に許可する
// ==========================================
var syncIoFeature = context.Features.Get<Microsoft.AspNetCore.Http.Features.IHttpBodyControlFeature>();
if (syncIoFeature != null)
{
syncIoFeature.AllowSynchronousIO = true;
}
// 6. 出力時のメモリ消費を抑えるため、Response.Body に直接XMLを書き込む
context.Response.ContentType = "application/rss+xml; charset=utf-8";
var settings = new XmlWriterSettings
{
Encoding = Encoding.UTF8,
Indent = true,
Async = true,
CloseOutput = false // Response.Bodyを閉じないようにする
};
using (var writer = XmlWriter.Create(context.Response.Body, settings))
{
var formatter = new Rss20FeedFormatter(mergedFeed);
formatter.WriteTo(writer);
await writer.FlushAsync();
}
});
app.Run();
+14
View File
@@ -0,0 +1,14 @@
{
"$schema": "https://json.schemastore.org/launchsettings.json",
"profiles": {
"http": {
"commandName": "Project",
"dotnetRunMessages": true,
"launchBrowser": false,
"applicationUrl": "http://localhost:5185",
"environmentVariables": {
"ASPNETCORE_ENVIRONMENT": "Development"
}
}
}
}
+15
View File
@@ -0,0 +1,15 @@
<Project Sdk="Microsoft.NET.Sdk.Web">
<PropertyGroup>
<TargetFramework>net10.0</TargetFramework>
<Nullable>enable</Nullable>
<ImplicitUsings>enable</ImplicitUsings>
</PropertyGroup>
<ItemGroup>
<PackageReference Include="AngleSharp" Version="1.4.0" />
<PackageReference Include="AngleSharp.Xml" Version="1.0.0" />
<PackageReference Include="System.ServiceModel.Syndication" Version="10.0.5" />
</ItemGroup>
</Project>
+6
View File
@@ -0,0 +1,6 @@
@RSSAPI_HostAddress = http://localhost:5185
GET {{RSSAPI_HostAddress}}/momonga/fanzine
Accept: application/json
###
+8
View File
@@ -0,0 +1,8 @@
{
"Logging": {
"LogLevel": {
"Default": "Information",
"Microsoft.AspNetCore": "Warning"
}
}
}
+9
View File
@@ -0,0 +1,9 @@
{
"Logging": {
"LogLevel": {
"Default": "Information",
"Microsoft.AspNetCore": "Warning"
}
},
"AllowedHosts": "*"
}
+8
View File
@@ -0,0 +1,8 @@
version: '3.8'
services:
rss-api:
build: .
container_name: rss-api
restart: always
ports:
- "18080:80" # VPS内のポート18080で受け付ける(他のサービスと被らない番号)