missav123
出力内容変更
This commit is contained in:
1 parent
f31595ac9f
commit
bdd853a5ab
2 files changed
+196
-63
No files matched your search
@@ -1,92 +1,224 @@
|
|||||||
using AngleSharp.Dom;
|
using AngleSharp.Dom;
|
||||||
|
using AngleSharp.Html.Dom;
|
||||||
|
using AngleSharp.Html.Parser;
|
||||||
using System;
|
using System;
|
||||||
using System.Collections.Generic;
|
using System.Collections.Generic;
|
||||||
|
using System.Linq;
|
||||||
|
using System.Net;
|
||||||
using System.ServiceModel.Syndication;
|
using System.ServiceModel.Syndication;
|
||||||
using System.Text;
|
using System.Text;
|
||||||
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
|
||||||
namespace rss_generator.Class.RSS;
|
namespace rss_generator.Class.RSS;
|
||||||
|
|
||||||
internal class missav123
|
internal class missav123
|
||||||
{
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// 123av.com の新着動画を取得し、FreshRSS等のRSSリーダー内で動画を直接再生できるiframeを埋め込んだRSSを生成します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="client">HttpClient インスタンス</param>
|
||||||
public static async Task CreateRSSAsync(HttpClient client)
|
public static async Task CreateRSSAsync(HttpClient client)
|
||||||
{
|
{
|
||||||
var pageMaster = "https://123av.com";
|
var pageMaster = "https://123av.com";
|
||||||
|
|
||||||
var feed = new SyndicationFeed("123av.com", "", new Uri($"{pageMaster}/ja/recent"));
|
var feed = new SyndicationFeed("123av.com", "123av Recent Videos", new Uri($"{pageMaster}/ja/recent"));
|
||||||
var items = new List<SyndicationItem>();
|
var items = new List<SyndicationItem>();
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
// 複数ページをまとめる場合に先に取得する
|
// FlareSolverr セッションを作成して複数ページおよび詳細ページ取得を高速化
|
||||||
var docList = new List<IDocument>();
|
string? sessionId = await CmnUtil.CreateFlareSolverrSession(client);
|
||||||
for (int pageId = 1; pageId <= 2; pageId++)
|
try
|
||||||
{
|
{
|
||||||
var pageURL = $"{pageMaster}/ja/recent{(pageId > 1 ? $"?page={pageId}" : "")}";
|
var docList = new List<IDocument>();
|
||||||
var document = await CmnUtil.GetDocument(client, pageURL);
|
for (int pageId = 1; pageId <= 2; pageId++)
|
||||||
docList.Add(document);
|
{
|
||||||
|
var pageURL = $"{pageMaster}/ja/recent{(pageId > 1 ? $"?page={pageId}" : "")}";
|
||||||
|
var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId);
|
||||||
|
if (document != null)
|
||||||
|
{
|
||||||
|
docList.Add(document);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
var linkList = new List<string>();
|
||||||
|
foreach (var document in docList)
|
||||||
|
{
|
||||||
|
var elements = document.QuerySelectorAll("div.card");
|
||||||
|
var targetDivs = elements.Where(e => e.ClassList.Length == 1 || e.QuerySelector("a.card__link") != null).ToList();
|
||||||
|
foreach (var div in targetDivs)
|
||||||
|
{
|
||||||
|
var linkElement = div.QuerySelector("a.card__link") ?? div.QuerySelector("a.card__cover");
|
||||||
|
var titleElement = div.QuerySelector(".card__title a") ?? div.QuerySelector("a.card__link");
|
||||||
|
var imgElement = div.QuerySelector("img");
|
||||||
|
|
||||||
|
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
|
||||||
|
var relHref = linkElement?.GetAttribute("href") ?? string.Empty;
|
||||||
|
if (string.IsNullOrWhiteSpace(relHref))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
var linkHref = relHref.StartsWith("http", StringComparison.OrdinalIgnoreCase)
|
||||||
|
? relHref
|
||||||
|
: $"{pageMaster.TrimEnd('/')}/{relHref.TrimStart('/')}";
|
||||||
|
|
||||||
|
var imageSrc = imgElement?.GetAttribute("src");
|
||||||
|
if (!linkList.Contains(linkHref))
|
||||||
|
{
|
||||||
|
linkList.Add(linkHref);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
var itemUri = new Uri(linkHref);
|
||||||
|
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||||
|
|
||||||
|
// 詳細ページから動画プレイヤーURLおよび詳細情報を取得
|
||||||
|
string? playerUrl = null;
|
||||||
|
string? descText = null;
|
||||||
|
var genres = new List<string>();
|
||||||
|
var tags = new List<string>();
|
||||||
|
string? maker = null;
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
var docDetail = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId);
|
||||||
|
if (docDetail != null)
|
||||||
|
{
|
||||||
|
// 1. iframe.player__frame の src から取得
|
||||||
|
playerUrl = docDetail.QuerySelector("iframe.player__frame")?.GetAttribute("src")
|
||||||
|
?? docDetail.QuerySelector(".player iframe")?.GetAttribute("src");
|
||||||
|
|
||||||
|
// 2. HTML内の javplayer.cc URL から正規表現で取得(フォールバック)
|
||||||
|
if (string.IsNullOrEmpty(playerUrl))
|
||||||
|
{
|
||||||
|
var match = Regex.Match(docDetail.Source.Text, @"https?:\\?/\\?/javplayer\.cc[^\s""'\\]+");
|
||||||
|
if (match.Success)
|
||||||
|
{
|
||||||
|
playerUrl = match.Value.Replace(@"\/", "/");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// 詳細情報の抽出
|
||||||
|
descText = docDetail.QuerySelector(".watch__desc-text")?.TextContent?.Trim();
|
||||||
|
maker = docDetail.QuerySelector("a[href*='/makers/']")?.TextContent?.Trim();
|
||||||
|
|
||||||
|
var genreElements = docDetail.QuerySelectorAll("a[href*='/genres/']");
|
||||||
|
foreach (var g in genreElements)
|
||||||
|
{
|
||||||
|
var gName = g.TextContent?.Trim();
|
||||||
|
if (!string.IsNullOrEmpty(gName) && !genres.Contains(gName))
|
||||||
|
{
|
||||||
|
genres.Add(gName);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
var tagElements = docDetail.QuerySelectorAll("a[href*='/tags/']");
|
||||||
|
foreach (var t in tagElements)
|
||||||
|
{
|
||||||
|
var tName = t.TextContent?.Trim();
|
||||||
|
if (!string.IsNullOrEmpty(tName) && !tags.Contains(tName))
|
||||||
|
{
|
||||||
|
tags.Add(tName);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[警告] 123av 詳細ページ取得失敗 ({linkHref}): {ex.Message}");
|
||||||
|
}
|
||||||
|
|
||||||
|
// 本文 HTML(Summary)の生成
|
||||||
|
var body = new StringBuilder();
|
||||||
|
|
||||||
|
// 1. タイトルリンク
|
||||||
|
//body.Append($@"<div><a href=""{itemUri}""><strong>{WebUtility.HtmlEncode(title)}</strong></a></div>");
|
||||||
|
|
||||||
|
// 2. FreshRSS等で直接再生できる動画埋め込み iframe
|
||||||
|
if (!string.IsNullOrEmpty(playerUrl))
|
||||||
|
{
|
||||||
|
body.Append($@"<div style=""position: relative; width: 100%; max-width: 800px; aspect-ratio: 16/9; margin: 12px 0;"">");
|
||||||
|
body.Append($@"<iframe src=""{playerUrl}"" style=""width: 100%; height: 100%; border: 0;"" allow=""autoplay; fullscreen; encrypted-media"" allowfullscreen=""true"" scrolling=""no"" frameborder=""0""></iframe>");
|
||||||
|
body.Append($@"</div>");
|
||||||
|
body.Append($@"<div><p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"">123avで開く</a> | <a href=""{playerUrl}"" target=""_blank"" rel=""noopener noreferrer"">直接動画プレイヤーを開く</a></p></div>");
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
body.Append($@"<div><p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"">123avで動画を再生する</a></p></div>");
|
||||||
|
}
|
||||||
|
|
||||||
|
// 3. サムネイル画像
|
||||||
|
if (imageUri != null)
|
||||||
|
{
|
||||||
|
body.Append($@"<div><img src=""{imageUri}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-top: 8px;"" /></div>");
|
||||||
|
}
|
||||||
|
|
||||||
|
// 4. メタ情報(詳細、メーカー、ジャンル、タグ)
|
||||||
|
if (!string.IsNullOrWhiteSpace(descText))
|
||||||
|
{
|
||||||
|
body.Append($@"<div style=""margin-top: 8px;""><strong>詳細:</strong> {WebUtility.HtmlEncode(descText)}</div>");
|
||||||
|
}
|
||||||
|
if (!string.IsNullOrWhiteSpace(maker))
|
||||||
|
{
|
||||||
|
body.Append($@"<div><strong>メーカー:</strong> {WebUtility.HtmlEncode(maker)}</div>");
|
||||||
|
}
|
||||||
|
if (genres.Count > 0)
|
||||||
|
{
|
||||||
|
body.Append($@"<div><strong>ジャンル:</strong> {WebUtility.HtmlEncode(string.Join(", ", genres))}</div>");
|
||||||
|
}
|
||||||
|
if (tags.Count > 0)
|
||||||
|
{
|
||||||
|
body.Append($@"<div><strong>タグ:</strong> {WebUtility.HtmlEncode(string.Join(", ", tags))}</div>");
|
||||||
|
}
|
||||||
|
|
||||||
|
var item = new SyndicationItem(
|
||||||
|
title,
|
||||||
|
string.Empty,
|
||||||
|
itemUri,
|
||||||
|
CmnUtil.CreateGuid(linkHref),
|
||||||
|
DateTime.Now
|
||||||
|
);
|
||||||
|
|
||||||
|
// カテゴリ登録
|
||||||
|
foreach (var g in genres)
|
||||||
|
{
|
||||||
|
item.Categories.Add(new SyndicationCategory(g));
|
||||||
|
}
|
||||||
|
foreach (var t in tags)
|
||||||
|
{
|
||||||
|
item.Categories.Add(new SyndicationCategory(t));
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!string.IsNullOrEmpty(maker))
|
||||||
|
{
|
||||||
|
item.Authors.Add(new SyndicationPerson { Name = maker });
|
||||||
|
}
|
||||||
|
|
||||||
|
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||||
|
|
||||||
|
items.Add(item);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
feed.Items = items;
|
||||||
|
|
||||||
|
CmnUtil.ExportXMLFile("123av.xml", feed);
|
||||||
}
|
}
|
||||||
|
finally
|
||||||
var linkList = new List<string>();
|
|
||||||
foreach (var document in docList)
|
|
||||||
{
|
{
|
||||||
if (document == null)
|
if (sessionId != null)
|
||||||
{
|
{
|
||||||
continue;
|
await CmnUtil.DestroyFlareSolverrSession(client, sessionId);
|
||||||
}
|
|
||||||
|
|
||||||
var pageTitle = document.QuerySelector("title")?.TextContent;
|
|
||||||
if (pageTitle == null)
|
|
||||||
{
|
|
||||||
continue;
|
|
||||||
}
|
|
||||||
var elements = document.QuerySelectorAll("div.card");
|
|
||||||
var targetDivs = elements.Where(e => e.ClassList.Length == 1).ToList();
|
|
||||||
foreach (var div in targetDivs)
|
|
||||||
{
|
|
||||||
var titleElement = div.QuerySelector("a.card__link");
|
|
||||||
var linkElement = div.QuerySelector("a.card__link");
|
|
||||||
var imgElement = div.QuerySelector("img");
|
|
||||||
|
|
||||||
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
|
|
||||||
var linkHref = $"{pageMaster}{linkElement?.GetAttribute("href")}";
|
|
||||||
var imageSrc = imgElement?.GetAttribute("src");
|
|
||||||
if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
|
||||||
{
|
|
||||||
linkList.Add(linkHref);
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
continue;
|
|
||||||
}
|
|
||||||
|
|
||||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
|
||||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
|
||||||
|
|
||||||
var body = new StringBuilder();
|
|
||||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
|
||||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
|
||||||
|
|
||||||
var item = new SyndicationItem(
|
|
||||||
title,
|
|
||||||
string.Empty,
|
|
||||||
itemUri,
|
|
||||||
CmnUtil.CreateGuid(linkHref),
|
|
||||||
DateTime.Now // 取得できた公開日時があればそれをセット
|
|
||||||
);
|
|
||||||
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
|
||||||
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
|
||||||
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
|
||||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
|
||||||
|
|
||||||
items.Add(item);
|
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
feed.Items = items;
|
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile("123av.xml", feed);
|
|
||||||
}
|
}
|
||||||
catch(Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
LogManager.AddLog($"[エラー] 123av:{ex.Message}");
|
LogManager.AddLog($"[エラー] 123av:{ex.Message}");
|
||||||
|
CmnUtil.PrintCallStackToEvent(ex);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
@@ -77,6 +77,7 @@ while (true)
|
|||||||
}
|
}
|
||||||
#if DEBUG
|
#if DEBUG
|
||||||
//tasks.Add(index_japanese.CreateRSSAsync(client));
|
//tasks.Add(index_japanese.CreateRSSAsync(client));
|
||||||
|
tasks.Add(missav123.CreateRSSAsync(client));
|
||||||
#else
|
#else
|
||||||
tasks.Add(Youtube.CreateRSSAsync(client));
|
tasks.Add(Youtube.CreateRSSAsync(client));
|
||||||
|
|
||||||
|
|||||||
Reference in new issue
Block a user