kimochi.info
対応
This commit is contained in:
1 parent
36c4c02013
commit
9be792b3d9
2 files changed
+236
-2
No files matched your search
+235
-1
@@ -731,6 +731,10 @@ app.MapGet("/javtwi", async () =>
|
||||
var imageSrc = (imgElement as IHtmlImageElement)!.Source;
|
||||
if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
||||
{
|
||||
if (linkHref.Last() == '?')
|
||||
{
|
||||
linkHref = linkHref.TrimEnd('?');
|
||||
}
|
||||
linkList.Add(linkHref);
|
||||
}
|
||||
else
|
||||
@@ -800,6 +804,129 @@ app.MapGet("/javtwi", async () =>
|
||||
}
|
||||
});
|
||||
|
||||
// kimochi.info
|
||||
app.MapGet("/kimochiinfo", async () => {
|
||||
|
||||
var baseURL = "https://kimochi.info/browse/";
|
||||
var query = "?platform=windows";
|
||||
|
||||
var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
for (int pageId = 1; pageId <= 3; pageId++)
|
||||
{
|
||||
var url = "";
|
||||
if (pageId == 1)
|
||||
{
|
||||
url = $"{baseURL}{query}";
|
||||
}
|
||||
else
|
||||
{
|
||||
url = $"{baseURL}/page/{pageId}{query}";
|
||||
}
|
||||
// --- 3. HTMLの取得と解析 ---
|
||||
var document = await context.OpenAsync(url);
|
||||
|
||||
var pageTitle = document.QuerySelector("title")?.TextContent;
|
||||
|
||||
var elements = document.QuerySelectorAll("main article>a");
|
||||
var linkList = new List<string>();
|
||||
foreach (var linkElement in elements)
|
||||
{
|
||||
var imgElement = linkElement.QuerySelector("img");
|
||||
var imageSrc = (imgElement as IHtmlImageElement)!.Source;
|
||||
var linkHref = linkElement.GetAttribute("href") ?? string.Empty;
|
||||
if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
||||
{
|
||||
if (linkHref.Last() == '?')
|
||||
{
|
||||
linkHref = linkHref.TrimEnd('?');
|
||||
}
|
||||
linkList.Add(linkHref);
|
||||
}
|
||||
else
|
||||
{
|
||||
continue;
|
||||
}
|
||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
if (itemUri == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
var title = itemUri.LocalPath.Trim("/").ToString();
|
||||
|
||||
var divContents = linkElement.QuerySelectorAll("h3+div>div");
|
||||
var isJP = false;
|
||||
if (divContents!.Length > 2)
|
||||
{
|
||||
var span = divContents[1];
|
||||
if (span.TextContent.Contains("JP"))
|
||||
{
|
||||
isJP = true;
|
||||
}
|
||||
}
|
||||
if (isJP == false)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
var docContents = await context.OpenAsync(linkHref);
|
||||
var divDetail = docContents.QuerySelector("main>div>div")!;
|
||||
var metaPubDate = cmnUtil.GetPublishedTimeAsJst(docContents);
|
||||
var metaModDate = cmnUtil.GetModifiedTimeAsJst(docContents);
|
||||
|
||||
var body = new StringBuilder();
|
||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||
body.Append(cmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
||||
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
itemUri?.ToString() ?? Guid.NewGuid().ToString(), // 一意なID (URLを使うことが多い)
|
||||
metaModDate ?? (metaPubDate ?? DateTimeOffset.Now) // 取得できた公開日時があればそれをセット
|
||||
);
|
||||
item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
||||
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
||||
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
// 3. XMLとしてMemoryStreamに書き込み
|
||||
using var memoryStream = new MemoryStream();
|
||||
// 文字コードをUTF-8に指定(重要)
|
||||
var settings = new XmlWriterSettings
|
||||
{
|
||||
Encoding = new UTF8Encoding(false), // BOMなしUTF-8
|
||||
Indent = true
|
||||
};
|
||||
using (var xmlWriter = XmlWriter.Create(memoryStream, settings))
|
||||
{
|
||||
// RSS 2.0 形式で出力
|
||||
var formatter = new Rss20FeedFormatter(feed);
|
||||
// ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。
|
||||
// var formatter = new Atom10FeedFormatter(feed);
|
||||
formatter.WriteTo(xmlWriter);
|
||||
}
|
||||
// 4. クライアントに返却
|
||||
// Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください
|
||||
return Results.File(
|
||||
memoryStream.ToArray(),
|
||||
contentType: "application/rss+xml; charset=utf-8"
|
||||
);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
return Results.Problem(detail: ex.Message, statusCode: 500, title: "Scraping Error");
|
||||
}
|
||||
});
|
||||
|
||||
app.Run();
|
||||
|
||||
public class cmnUtil
|
||||
@@ -817,4 +944,111 @@ public class cmnUtil
|
||||
}
|
||||
return string.Empty;
|
||||
}
|
||||
}
|
||||
|
||||
public static string GetHtmlWithoutJavaScript(IElement originalElement)
|
||||
{
|
||||
if (originalElement == null) return string.Empty;
|
||||
|
||||
// 元のDOMツリーに影響を与えないよう、要素をディープコピー(複製)します
|
||||
var element = (IElement)originalElement.Clone(true);
|
||||
|
||||
// 1. <script> タグの削除
|
||||
var scriptTags = element.QuerySelectorAll("script").ToList();
|
||||
foreach (var script in scriptTags)
|
||||
{
|
||||
script.Remove();
|
||||
}
|
||||
|
||||
// 2. href="javascript:..." リンクの無効化(オプション)
|
||||
var jsLinks = element.QuerySelectorAll("a[href^='javascript:' i]").ToList();
|
||||
foreach (var link in jsLinks)
|
||||
{
|
||||
// リンクを無効化するか、href属性自体を削除します
|
||||
link.SetAttribute("href", "#");
|
||||
// link.RemoveAttribute("href");
|
||||
}
|
||||
|
||||
// 3. インラインイベントハンドラ(onclick, onload など)の削除(オプション)
|
||||
// ルート要素自身と、その配下の全要素を対象にします
|
||||
var allElements = new[] { element }.Concat(element.QuerySelectorAll("*"));
|
||||
foreach (var el in allElements)
|
||||
{
|
||||
// "on" で始まる属性名をリストアップ
|
||||
var onAttributes = el.Attributes
|
||||
.Where(attr => attr.Name.StartsWith("on", System.StringComparison.OrdinalIgnoreCase))
|
||||
.Select(attr => attr.Name)
|
||||
.ToList();
|
||||
|
||||
// 抽出した属性を削除
|
||||
foreach (var attrName in onAttributes)
|
||||
{
|
||||
el.RemoveAttribute(attrName);
|
||||
}
|
||||
}
|
||||
|
||||
// 結果を文字列として返す
|
||||
// 要素自身のタグ(<div>...</div>など)を含める場合は OuterHtml
|
||||
// 要素の中身のHTMLだけが必要な場合は InnerHtml を使用してください
|
||||
return element.OuterHtml;
|
||||
}
|
||||
|
||||
public static DateTime? GetPublishedTimeAsJst(IDocument document)
|
||||
{
|
||||
// 1. CSSセレクタを使用して該当のmetaタグを特定
|
||||
var metaElement = document.QuerySelector("meta[property='article:published_time']");
|
||||
|
||||
if (metaElement == null)
|
||||
{
|
||||
return null; // 要素が見つからない場合
|
||||
}
|
||||
|
||||
// 2. content属性の値を取得
|
||||
string contentValue = metaElement.GetAttribute("content")!;
|
||||
if (string.IsNullOrEmpty(contentValue))
|
||||
{
|
||||
return null;
|
||||
}
|
||||
|
||||
// 3. DateTimeOffset型としてパース(時差情報を維持するため)
|
||||
if (DateTimeOffset.TryParse(contentValue, out DateTimeOffset parsedOffset))
|
||||
{
|
||||
// 4. 日本時間(UTC+9時間)のオフセットに変換
|
||||
DateTimeOffset jstOffset = parsedOffset.ToOffset(TimeSpan.FromHours(9));
|
||||
|
||||
// 5. DateTime型(KindはUnspecifiedまたはLocal扱い)として戻す
|
||||
return jstOffset.DateTime;
|
||||
}
|
||||
|
||||
return null; // パースに失敗した場合
|
||||
}
|
||||
public static DateTime? GetModifiedTimeAsJst(IDocument document)
|
||||
{
|
||||
// 1. CSSセレクタを使用して該当のmetaタグを特定
|
||||
var metaElement = document.QuerySelector("meta[property='article:modified_time']");
|
||||
|
||||
if (metaElement == null)
|
||||
{
|
||||
return null; // 要素が見つからない場合
|
||||
}
|
||||
|
||||
// 2. content属性の値を取得
|
||||
string contentValue = metaElement.GetAttribute("content")!;
|
||||
if (string.IsNullOrEmpty(contentValue))
|
||||
{
|
||||
return null;
|
||||
}
|
||||
|
||||
// 3. DateTimeOffset型としてパース(時差情報を維持するため)
|
||||
if (DateTimeOffset.TryParse(contentValue, out DateTimeOffset parsedOffset))
|
||||
{
|
||||
// 4. 日本時間(UTC+9時間)のオフセットに変換
|
||||
DateTimeOffset jstOffset = parsedOffset.ToOffset(TimeSpan.FromHours(9));
|
||||
|
||||
// 5. DateTime型(KindはUnspecifiedまたはLocal扱い)として戻す
|
||||
return jstOffset.DateTime;
|
||||
}
|
||||
|
||||
return null; // パースに失敗した場合
|
||||
}
|
||||
}
|
||||
|
||||
+1
-1
@@ -3,7 +3,7 @@
|
||||
# GET {{RSSAPI_HostAddress}}/momonga/fanzine
|
||||
# Accept: application/json
|
||||
|
||||
GET {{RSSAPI_HostAddress}}/missav123
|
||||
GET {{RSSAPI_HostAddress}}/kimochiinfo
|
||||
Accept: application/json
|
||||
|
||||
###
|
||||
Reference in new issue
Block a user