@@ -0,0 +1,459 @@
using AngleSharp ;
using AngleSharp.Dom ;
using AngleSharp.Html.Parser ;
using AngleSharp.Xml.Parser ;
using Microsoft.AspNetCore.Html ;
using System.Diagnostics ;
using System.ServiceModel.Syndication ;
using System.Text ;
using System.Text.RegularExpressions ;
using System.Xml ;
var builder = WebApplication . CreateBuilder ( args ) ;
builder . Services . AddHttpClient ( ) ;
// --- 1. AngleSharpの初期設定 ---
var config = Configuration . Default . WithDefaultLoader ( ) ;
var context = BrowsingContext . New ( config ) ;
var app = builder . Build ( ) ;
// --- 2. APIエンドポイントの定義 ---
app . MapGet ( "/ci-en/{creatorId}" , async ( string creatorId ) = >
{
// HTMLの記載に合わせてドメインを ci-en.dlsite.com に修正
var targetUrl = $"https://ci-en.dlsite.com/creator/{creatorId}/article" ;
try
{
// --- 3. HTMLの取得と解析 ---
var document = await context . OpenAsync ( targetUrl ) ;
var pageTitle = document . QuerySelector ( "title" ) ? . TextContent ? ? $"{creatorId} - Ci-en Articles" ;
// --- 4. RSSフィードの基本情報を作成 ---
var feed = new SyndicationFeed (
title : pageTitle ,
description : "Ci-en Unofficial Scraped RSS Feed" ,
feedAlternateLink : new Uri ( targetUrl )
) ;
var items = new List < SyndicationItem > ( ) ;
// --- 5. 記事一覧の要素を取得(実際のクラス名に修正) ---
var articleElements = document . QuerySelectorAll ( ".c-postedArticle" ) ;
foreach ( var element in articleElements )
{
// ==========================================
// 【機能1】固定記事の除外ロジック
// ==========================================
// 取得した要素自身が "is-fixed" クラスを持っているか判定
if ( element . ClassList . Contains ( "is-fixed" ) )
{
continue ; // 固定記事の場合はスキップして次の記事へ
}
// タイトル、リンク、日付の取得
var titleElement = element . QuerySelector ( ".e-title" ) ;
var linkElement = element . QuerySelector ( "a.c-cardLink" ) ;
var title = titleElement ? . TextContent ? . Trim ( ) ;
var link = linkElement ? . GetAttribute ( "href" ) ;
// 相対パスの場合は絶対パスに変換
if ( ! string . IsNullOrEmpty ( link ) & & link . StartsWith ( "/" ) )
{
link = $"https://ci-en.dlsite.com{link}" ;
}
if ( ! string . IsNullOrEmpty ( title ) & & ! string . IsNullOrEmpty ( link ) )
{
// 日付の取得と変換
var dateText = element . QuerySelector ( ".e-date" ) ? . TextContent ? . Trim ( ) ;
var pubDate = DateTimeOffset . Now ;
if ( ! string . IsNullOrEmpty ( dateText ) )
{
// "2026/04/03 00:04" などの文字列を日付型に変換
if ( DateTimeOffset . TryParse ( dateText , out var parsedDate ) )
{
pubDate = parsedDate ;
}
}
// ==========================================
// 【機能2】サムネイル画像の取得ロジック
// ==========================================
var imgElement = element . QuerySelector ( ".v-image" ) ;
// 遅延読み込み対策: data-src を優先し、なければ src を取得
var imageUrl = imgElement ? . GetAttribute ( "data-src" ) ;
if ( string . IsNullOrEmpty ( imageUrl ) )
{
imageUrl = imgElement ? . GetAttribute ( "src" ) ;
}
// RSSリーダーで表示するためのHTMLコンテンツを作成
var contentBody = "<p>この記事の詳細はCi-enのサイト内で確認してください。</p>" ;
if ( ! string . IsNullOrEmpty ( imageUrl ) )
{
// 本文内に画像を埋め込む
contentBody = $"<div><img src=\" { imageUrl } \ " /></div>" + contentBody ;
}
var item = new SyndicationItem ( )
{
Title = new TextSyndicationContent ( title ) ,
Id = link ,
PublishDate = pubDate ,
Content = SyndicationContent . CreateHtmlContent ( contentBody )
} ;
item . Links . Add ( new SyndicationLink ( new Uri ( link ) ) ) ;
items . Add ( item ) ;
}
}
feed . Items = items ;
// --- 6. XMLフォーマットで出力(文字化け修正・UTF-8対応版) ---
using var memoryStream = new MemoryStream ( ) ;
using ( var xmlWriter = XmlWriter . Create ( memoryStream , new XmlWriterSettings
{
Indent = true ,
Encoding = System . Text . Encoding . UTF8
} ) )
{
var rssFormatter = new Rss20FeedFormatter ( feed ) ;
rssFormatter . WriteTo ( xmlWriter ) ;
}
return Results . File ( memoryStream . ToArray ( ) , contentType : "application/rss+xml; charset=utf-8" ) ;
}
catch ( Exception ex )
{
return Results . Problem ( detail : ex . Message , statusCode : 500 , title : "Scraping Error" ) ;
}
} ) ;
// --- 2. APIエンドポイントの定義 ---
app . MapGet ( "/missav" , async ( ) = >
{
var feed = new SyndicationFeed ( "missav.ai" , "" , new Uri ( "https://missav.ai/ja/new" ) ) ;
var items = new List < SyndicationItem > ( ) ;
try
{
var linkList = new List < string > ( ) ;
for ( int pageId = 1 ; pageId < = 10 ; pageId + + )
{
var pageURL = string . Empty ;
if ( pageId > 1 )
{
pageURL = $"https://missav.ai/ja/new?page={pageId}" ;
}
else
{
pageURL = $"https://missav.ai/ja/new" ;
}
var rssUrl = $"https://freshrss.armonica-vps.work/api/cloudsolver.php?feed={pageURL}" ;
// --- 3. HTMLの取得と解析 ---
var document = await context . OpenAsync ( rssUrl ) ;
var pageTitle = document . QuerySelector ( "title" ) ? . TextContent ;
var elements = document . QuerySelectorAll ( "div.thumbnail.group" ) ;
var targetDivs = elements . Where ( e = > e . ClassList . Length = = 2 ) . ToList ( ) ;
foreach ( var div in targetDivs )
{
var titleElement = div . QuerySelector ( ".text-secondary" ) ;
var linkElement = div . QuerySelector ( ".text-secondary" ) ;
var imgElement = div . QuerySelector ( "img" ) ;
var title = titleElement ? . TextContent ? . Trim ( ) ? ? "タイトルなし" ;
var linkHref = linkElement ? . GetAttribute ( "href" ) ? ? string . Empty ;
var imageSrc = imgElement ? . GetAttribute ( "data-src" ) ;
if ( linkHref ! = string . Empty & & ! linkList . Contains ( linkHref ) )
{
linkList . Add ( linkHref ) ;
}
else
{
continue ;
}
var itemUri = ! string . IsNullOrEmpty ( linkHref ) ? new Uri ( linkHref ) : null ;
var imageUri = ! string . IsNullOrEmpty ( imageSrc ) ? new Uri ( imageSrc ) : null ;
var body = new StringBuilder ( ) ;
body . Append ( $@"<div><a href=""{itemUri}"">{title}</a></div>" ) ;
body . Append ( $@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>" ) ;
Debug . WriteLine ( title ) ;
var item = new SyndicationItem (
title ,
string . Empty ,
itemUri ,
itemUri ? . ToString ( ) ? ? Guid . NewGuid ( ) . ToString ( ) , // 一意なID (URLを使うことが多い)
DateTimeOffset . Now // 取得できた公開日時があればそれをセット
) ;
item . Content = SyndicationContent . CreateHtmlContent ( body . ToString ( ) ) ;
// ※ RSS 2.0の場合は Content よりも Summary( <description>タグ)が使われることが多いため、
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
item . Summary = new TextSyndicationContent ( body . ToString ( ) , TextSyndicationContentKind . Html ) ;
items . Add ( item ) ;
}
}
feed . Items = items ;
// 3. XMLとしてMemoryStreamに書き込み
using var memoryStream = new MemoryStream ( ) ;
// 文字コードをUTF-8に指定(重要)
var settings = new XmlWriterSettings
{
Encoding = new UTF8Encoding ( false ) , // BOMなしUTF-8
Indent = true
} ;
using ( var xmlWriter = XmlWriter . Create ( memoryStream , settings ) )
{
// RSS 2.0 形式で出力
var formatter = new Rss20FeedFormatter ( feed ) ;
// ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。
// var formatter = new Atom10FeedFormatter(feed);
formatter . WriteTo ( xmlWriter ) ;
}
// 4. クライアントに返却
// Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください
return Results . File (
memoryStream . ToArray ( ) ,
contentType : "application/rss+xml; charset=utf-8"
) ;
}
catch ( Exception ex )
{
return Results . Problem ( detail : ex . Message , statusCode : 500 , title : "Scraping Error" ) ;
}
} ) ;
// --- 2. APIエンドポイントの定義 ---
app . MapGet ( "/missav123" , async ( ) = >
{
var feed = new SyndicationFeed ( "missav123.to" , "" , new Uri ( "https://missav123.to/ja/recent" ) ) ;
var items = new List < SyndicationItem > ( ) ;
try
{
var linkList = new List < string > ( ) ;
for ( int pageId = 1 ; pageId < = 10 ; pageId + + )
{
var pageMaster = "https://missav123.to" ;
var pageURL = string . Empty ;
if ( pageId > 1 )
{
pageURL = $"{pageMaster}/ja/recent?page={pageId}" ;
}
else
{
pageURL = $"{pageMaster}/ja/recent" ;
}
var rssUrl = $"https://freshrss.armonica-vps.work/api/cloudsolver.php?feed={pageURL}" ;
// --- 3. HTMLの取得と解析 ---
var document = await context . OpenAsync ( rssUrl ) ;
var pageTitle = document . QuerySelector ( "title" ) ? . TextContent ;
var elements = document . QuerySelectorAll ( "div.item" ) ;
var targetDivs = elements . Where ( e = > e . ClassList . Length = = 1 ) . ToList ( ) ;
foreach ( var div in targetDivs )
{
var titleElement = div . QuerySelector ( "a.title" ) ;
var linkElement = div . QuerySelector ( "a.title" ) ;
var imgElement = div . QuerySelector ( "img" ) ;
var title = titleElement ? . TextContent ? . Trim ( ) ? ? "タイトルなし" ;
var linkHref = $"{pageMaster}{linkElement?.GetAttribute(" href ")}" ;
var imageSrc = imgElement ? . GetAttribute ( "src" ) ;
if ( linkHref ! = string . Empty & & ! linkList . Contains ( linkHref ) )
{
linkList . Add ( linkHref ) ;
}
else
{
continue ;
}
var itemUri = ! string . IsNullOrEmpty ( linkHref ) ? new Uri ( linkHref ) : null ;
var imageUri = ! string . IsNullOrEmpty ( imageSrc ) ? new Uri ( imageSrc ) : null ;
var body = new StringBuilder ( ) ;
body . Append ( $@"<div><a href=""{itemUri}"">{title}</a></div>" ) ;
body . Append ( $@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>" ) ;
Debug . WriteLine ( body . ToString ( ) ) ;
var item = new SyndicationItem (
title ,
string . Empty ,
itemUri ,
itemUri ? . ToString ( ) ? ? Guid . NewGuid ( ) . ToString ( ) , // 一意なID (URLを使うことが多い)
DateTimeOffset . Now // 取得できた公開日時があればそれをセット
) ;
item . Content = SyndicationContent . CreateHtmlContent ( body . ToString ( ) ) ;
// ※ RSS 2.0の場合は Content よりも Summary( <description>タグ)が使われることが多いため、
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
item . Summary = new TextSyndicationContent ( body . ToString ( ) , TextSyndicationContentKind . Html ) ;
items . Add ( item ) ;
}
}
feed . Items = items ;
// 3. XMLとしてMemoryStreamに書き込み
using var memoryStream = new MemoryStream ( ) ;
// 文字コードをUTF-8に指定(重要)
var settings = new XmlWriterSettings
{
Encoding = new UTF8Encoding ( false ) , // BOMなしUTF-8
Indent = true
} ;
using ( var xmlWriter = XmlWriter . Create ( memoryStream , settings ) )
{
// RSS 2.0 形式で出力
var formatter = new Rss20FeedFormatter ( feed ) ;
// ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。
// var formatter = new Atom10FeedFormatter(feed);
formatter . WriteTo ( xmlWriter ) ;
}
// 4. クライアントに返却
// Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください
return Results . File (
memoryStream . ToArray ( ) ,
contentType : "application/rss+xml; charset=utf-8"
) ;
}
catch ( Exception ex )
{
return Results . Problem ( detail : ex . Message , statusCode : 500 , title : "Scraping Error" ) ;
}
} ) ;
// --- APIエンドポイントの定義 ---
app . MapGet ( "/momonga/fanzine" , async ( HttpContext context , IHttpClientFactory httpClientFactory ) = >
{
// 1. 取得対象のURLを10件定義(例として連番パラメーターを生成)
var linkList = new List < string > ( ) ;
var pageMaster = "https://momon-ga.com/fanzine" ;
for ( int pageId = 1 ; pageId < = 50 ; pageId + + )
{
var pageURL = string . Empty ;
if ( pageId > 1 )
{
pageURL = $"{pageMaster}/feed/atom/?paged={pageId}" ;
}
else
{
pageURL = $"{pageMaster}/feed/atom/" ;
}
linkList . Add ( pageURL ) ;
}
var client = httpClientFactory . CreateClient ( ) ;
// 2. 10件のRSSを「非同期」かつ「並列」で取得し、メモリに展開せずストリームのままパース
var fetchTasks = linkList . Select ( async url = >
{
try
{
// GetStreamAsyncを使うことで、文字列をメモリに溜め込まず流し読みします
using var stream = await client . GetStreamAsync ( url ) ;
using var reader = XmlReader . Create ( stream ) ;
var feed = SyndicationFeed . Load ( reader ) ;
return feed ? . Items ? ? Enumerable . Empty < SyndicationItem > ( ) ;
}
catch ( Exception ex )
{
Console . WriteLine ( $"[エラー] {url} の取得に失敗: {ex.Message}" ) ;
return Enumerable . Empty < SyndicationItem > ( ) ; // 失敗したURLは無視して空を返す
}
} ) ;
// 3. 全10件の通信完了を待機し、結果のリストを1つに平坦化 (SelectMany)
var results = await Task . WhenAll ( fetchTasks ) ;
var allItems = results . SelectMany ( items = > items ) . ToList ( ) ;
// ==========================================
// 4. 【機能】簡潔なRSSに整形するロジック
// ==========================================
var simplifiedItems = allItems
. OrderByDescending ( x = > x . PublishDate ) // 新しい順に並び替え
. Select ( originalItem = >
{
// 元のRSSが重い画像や長文を含んでいても、ここでシンプルな説明文に上書きして削ぎ落とす
// var simpleContent = SyndicationContent.CreatePlaintextContent("記事の詳細はリンク先で確認してください。");
var newItem = new SyndicationItem ( )
{
// タイトルは TextSyndicationContent でラップする必要があります
Title = new TextSyndicationContent ( originalItem . Title ? . Text ? ? "No Title" ) ,
Id = originalItem . Id ,
PublishDate = originalItem . PublishDate ,
LastUpdatedTime = originalItem . LastUpdatedTime ,
// 元のコンテンツをそのまま引き継ぐ
Content = originalItem . Content ,
Summary = originalItem . Summary
} ;
// リンクを引き継ぐ
var link = originalItem . Links . FirstOrDefault ( ) ? . Uri ;
if ( link ! = null )
{
newItem . Links . Add ( new SyndicationLink ( link ) ) ;
}
// 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
foreach ( var category in originalItem . Categories )
{
newItem . Categories . Add ( category ) ;
}
foreach ( var author in originalItem . Authors )
{
newItem . Authors . Add ( author ) ;
}
return newItem ;
} ) ;
// 5. 新しい統合フィードを作成
var mergedFeed = new SyndicationFeed (
"momon-ga.com" ,
"" ,
new Uri ( "https://momon-ga.com/fanzine/" ) ,
simplifiedItems
) ;
// ==========================================
// 【追加】このリクエストに限り、同期書き込み(Sync I/O)を特別に許可する
// ==========================================
var syncIoFeature = context . Features . Get < Microsoft . AspNetCore . Http . Features . IHttpBodyControlFeature > ( ) ;
if ( syncIoFeature ! = null )
{
syncIoFeature . AllowSynchronousIO = true ;
}
// 6. 出力時のメモリ消費を抑えるため、Response.Body に直接XMLを書き込む
context . Response . ContentType = "application/rss+xml; charset=utf-8" ;
var settings = new XmlWriterSettings
{
Encoding = Encoding . UTF8 ,
Indent = true ,
Async = true ,
CloseOutput = false // Response.Bodyを閉じないようにする
} ;
using ( var writer = XmlWriter . Create ( context . Response . Body , settings ) )
{
var formatter = new Rss20FeedFormatter ( mergedFeed ) ;
formatter . WriteTo ( writer ) ;
await writer . FlushAsync ( ) ;
}
} ) ;
app . Run ( ) ;