kimochi.info
対応
This commit is contained in:
1 parent
36c4c02013
commit
9be792b3d9
2 files changed
+235
-1
No files matched your search
@@ -731,6 +731,10 @@ app.MapGet("/javtwi", async () =>
|
|||||||
var imageSrc = (imgElement as IHtmlImageElement)!.Source;
|
var imageSrc = (imgElement as IHtmlImageElement)!.Source;
|
||||||
if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
||||||
{
|
{
|
||||||
|
if (linkHref.Last() == '?')
|
||||||
|
{
|
||||||
|
linkHref = linkHref.TrimEnd('?');
|
||||||
|
}
|
||||||
linkList.Add(linkHref);
|
linkList.Add(linkHref);
|
||||||
}
|
}
|
||||||
else
|
else
|
||||||
@@ -800,6 +804,129 @@ app.MapGet("/javtwi", async () =>
|
|||||||
}
|
}
|
||||||
});
|
});
|
||||||
|
|
||||||
|
// kimochi.info
|
||||||
|
app.MapGet("/kimochiinfo", async () => {
|
||||||
|
|
||||||
|
var baseURL = "https://kimochi.info/browse/";
|
||||||
|
var query = "?platform=windows";
|
||||||
|
|
||||||
|
var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}"));
|
||||||
|
var items = new List<SyndicationItem>();
|
||||||
|
try
|
||||||
|
{
|
||||||
|
for (int pageId = 1; pageId <= 3; pageId++)
|
||||||
|
{
|
||||||
|
var url = "";
|
||||||
|
if (pageId == 1)
|
||||||
|
{
|
||||||
|
url = $"{baseURL}{query}";
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
url = $"{baseURL}/page/{pageId}{query}";
|
||||||
|
}
|
||||||
|
// --- 3. HTMLの取得と解析 ---
|
||||||
|
var document = await context.OpenAsync(url);
|
||||||
|
|
||||||
|
var pageTitle = document.QuerySelector("title")?.TextContent;
|
||||||
|
|
||||||
|
var elements = document.QuerySelectorAll("main article>a");
|
||||||
|
var linkList = new List<string>();
|
||||||
|
foreach (var linkElement in elements)
|
||||||
|
{
|
||||||
|
var imgElement = linkElement.QuerySelector("img");
|
||||||
|
var imageSrc = (imgElement as IHtmlImageElement)!.Source;
|
||||||
|
var linkHref = linkElement.GetAttribute("href") ?? string.Empty;
|
||||||
|
if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
||||||
|
{
|
||||||
|
if (linkHref.Last() == '?')
|
||||||
|
{
|
||||||
|
linkHref = linkHref.TrimEnd('?');
|
||||||
|
}
|
||||||
|
linkList.Add(linkHref);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||||
|
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||||
|
if (itemUri == null)
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
var title = itemUri.LocalPath.Trim("/").ToString();
|
||||||
|
|
||||||
|
var divContents = linkElement.QuerySelectorAll("h3+div>div");
|
||||||
|
var isJP = false;
|
||||||
|
if (divContents!.Length > 2)
|
||||||
|
{
|
||||||
|
var span = divContents[1];
|
||||||
|
if (span.TextContent.Contains("JP"))
|
||||||
|
{
|
||||||
|
isJP = true;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (isJP == false)
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
var docContents = await context.OpenAsync(linkHref);
|
||||||
|
var divDetail = docContents.QuerySelector("main>div>div")!;
|
||||||
|
var metaPubDate = cmnUtil.GetPublishedTimeAsJst(docContents);
|
||||||
|
var metaModDate = cmnUtil.GetModifiedTimeAsJst(docContents);
|
||||||
|
|
||||||
|
var body = new StringBuilder();
|
||||||
|
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
||||||
|
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||||
|
body.Append(cmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
||||||
|
|
||||||
|
var item = new SyndicationItem(
|
||||||
|
title,
|
||||||
|
string.Empty,
|
||||||
|
itemUri,
|
||||||
|
itemUri?.ToString() ?? Guid.NewGuid().ToString(), // 一意なID (URLを使うことが多い)
|
||||||
|
metaModDate ?? (metaPubDate ?? DateTimeOffset.Now) // 取得できた公開日時があればそれをセット
|
||||||
|
);
|
||||||
|
item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
||||||
|
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
||||||
|
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
||||||
|
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||||
|
|
||||||
|
items.Add(item);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
feed.Items = items;
|
||||||
|
|
||||||
|
// 3. XMLとしてMemoryStreamに書き込み
|
||||||
|
using var memoryStream = new MemoryStream();
|
||||||
|
// 文字コードをUTF-8に指定(重要)
|
||||||
|
var settings = new XmlWriterSettings
|
||||||
|
{
|
||||||
|
Encoding = new UTF8Encoding(false), // BOMなしUTF-8
|
||||||
|
Indent = true
|
||||||
|
};
|
||||||
|
using (var xmlWriter = XmlWriter.Create(memoryStream, settings))
|
||||||
|
{
|
||||||
|
// RSS 2.0 形式で出力
|
||||||
|
var formatter = new Rss20FeedFormatter(feed);
|
||||||
|
// ※ Atom形式にしたい場合は、上の1行を以下に変えるだけです。
|
||||||
|
// var formatter = new Atom10FeedFormatter(feed);
|
||||||
|
formatter.WriteTo(xmlWriter);
|
||||||
|
}
|
||||||
|
// 4. クライアントに返却
|
||||||
|
// Atomに変更した場合は contentType を "application/atom+xml; charset=utf-8" にしてください
|
||||||
|
return Results.File(
|
||||||
|
memoryStream.ToArray(),
|
||||||
|
contentType: "application/rss+xml; charset=utf-8"
|
||||||
|
);
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
return Results.Problem(detail: ex.Message, statusCode: 500, title: "Scraping Error");
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
app.Run();
|
app.Run();
|
||||||
|
|
||||||
public class cmnUtil
|
public class cmnUtil
|
||||||
@@ -817,4 +944,111 @@ public class cmnUtil
|
|||||||
}
|
}
|
||||||
return string.Empty;
|
return string.Empty;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
public static string GetHtmlWithoutJavaScript(IElement originalElement)
|
||||||
|
{
|
||||||
|
if (originalElement == null) return string.Empty;
|
||||||
|
|
||||||
|
// 元のDOMツリーに影響を与えないよう、要素をディープコピー(複製)します
|
||||||
|
var element = (IElement)originalElement.Clone(true);
|
||||||
|
|
||||||
|
// 1. <script> タグの削除
|
||||||
|
var scriptTags = element.QuerySelectorAll("script").ToList();
|
||||||
|
foreach (var script in scriptTags)
|
||||||
|
{
|
||||||
|
script.Remove();
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// 2. href="javascript:..." リンクの無効化(オプション)
|
||||||
|
var jsLinks = element.QuerySelectorAll("a[href^='javascript:' i]").ToList();
|
||||||
|
foreach (var link in jsLinks)
|
||||||
|
{
|
||||||
|
// リンクを無効化するか、href属性自体を削除します
|
||||||
|
link.SetAttribute("href", "#");
|
||||||
|
// link.RemoveAttribute("href");
|
||||||
|
}
|
||||||
|
|
||||||
|
// 3. インラインイベントハンドラ(onclick, onload など)の削除(オプション)
|
||||||
|
// ルート要素自身と、その配下の全要素を対象にします
|
||||||
|
var allElements = new[] { element }.Concat(element.QuerySelectorAll("*"));
|
||||||
|
foreach (var el in allElements)
|
||||||
|
{
|
||||||
|
// "on" で始まる属性名をリストアップ
|
||||||
|
var onAttributes = el.Attributes
|
||||||
|
.Where(attr => attr.Name.StartsWith("on", System.StringComparison.OrdinalIgnoreCase))
|
||||||
|
.Select(attr => attr.Name)
|
||||||
|
.ToList();
|
||||||
|
|
||||||
|
// 抽出した属性を削除
|
||||||
|
foreach (var attrName in onAttributes)
|
||||||
|
{
|
||||||
|
el.RemoveAttribute(attrName);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// 結果を文字列として返す
|
||||||
|
// 要素自身のタグ(<div>...</div>など)を含める場合は OuterHtml
|
||||||
|
// 要素の中身のHTMLだけが必要な場合は InnerHtml を使用してください
|
||||||
|
return element.OuterHtml;
|
||||||
|
}
|
||||||
|
|
||||||
|
public static DateTime? GetPublishedTimeAsJst(IDocument document)
|
||||||
|
{
|
||||||
|
// 1. CSSセレクタを使用して該当のmetaタグを特定
|
||||||
|
var metaElement = document.QuerySelector("meta[property='article:published_time']");
|
||||||
|
|
||||||
|
if (metaElement == null)
|
||||||
|
{
|
||||||
|
return null; // 要素が見つからない場合
|
||||||
|
}
|
||||||
|
|
||||||
|
// 2. content属性の値を取得
|
||||||
|
string contentValue = metaElement.GetAttribute("content")!;
|
||||||
|
if (string.IsNullOrEmpty(contentValue))
|
||||||
|
{
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 3. DateTimeOffset型としてパース(時差情報を維持するため)
|
||||||
|
if (DateTimeOffset.TryParse(contentValue, out DateTimeOffset parsedOffset))
|
||||||
|
{
|
||||||
|
// 4. 日本時間(UTC+9時間)のオフセットに変換
|
||||||
|
DateTimeOffset jstOffset = parsedOffset.ToOffset(TimeSpan.FromHours(9));
|
||||||
|
|
||||||
|
// 5. DateTime型(KindはUnspecifiedまたはLocal扱い)として戻す
|
||||||
|
return jstOffset.DateTime;
|
||||||
|
}
|
||||||
|
|
||||||
|
return null; // パースに失敗した場合
|
||||||
|
}
|
||||||
|
public static DateTime? GetModifiedTimeAsJst(IDocument document)
|
||||||
|
{
|
||||||
|
// 1. CSSセレクタを使用して該当のmetaタグを特定
|
||||||
|
var metaElement = document.QuerySelector("meta[property='article:modified_time']");
|
||||||
|
|
||||||
|
if (metaElement == null)
|
||||||
|
{
|
||||||
|
return null; // 要素が見つからない場合
|
||||||
|
}
|
||||||
|
|
||||||
|
// 2. content属性の値を取得
|
||||||
|
string contentValue = metaElement.GetAttribute("content")!;
|
||||||
|
if (string.IsNullOrEmpty(contentValue))
|
||||||
|
{
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 3. DateTimeOffset型としてパース(時差情報を維持するため)
|
||||||
|
if (DateTimeOffset.TryParse(contentValue, out DateTimeOffset parsedOffset))
|
||||||
|
{
|
||||||
|
// 4. 日本時間(UTC+9時間)のオフセットに変換
|
||||||
|
DateTimeOffset jstOffset = parsedOffset.ToOffset(TimeSpan.FromHours(9));
|
||||||
|
|
||||||
|
// 5. DateTime型(KindはUnspecifiedまたはLocal扱い)として戻す
|
||||||
|
return jstOffset.DateTime;
|
||||||
|
}
|
||||||
|
|
||||||
|
return null; // パースに失敗した場合
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
+1
-1
@@ -3,7 +3,7 @@
|
|||||||
# GET {{RSSAPI_HostAddress}}/momonga/fanzine
|
# GET {{RSSAPI_HostAddress}}/momonga/fanzine
|
||||||
# Accept: application/json
|
# Accept: application/json
|
||||||
|
|
||||||
GET {{RSSAPI_HostAddress}}/missav123
|
GET {{RSSAPI_HostAddress}}/kimochiinfo
|
||||||
Accept: application/json
|
Accept: application/json
|
||||||
|
|
||||||
###
|
###
|
||||||
Reference in new issue
Block a user