diff --git a/rss-generator/Class/MissAV/missav.cs b/rss-generator/Class/MissAV/missav.cs index 7728d2a..5523ea0 100644 --- a/rss-generator/Class/MissAV/missav.cs +++ b/rss-generator/Class/MissAV/missav.cs @@ -2,79 +2,147 @@ using AngleSharp.Html.Dom; using System; using System.Collections.Generic; +using System.IO; using System.Linq; using System.Net; using System.ServiceModel.Syndication; using System.Text; using System.Text.RegularExpressions; using System.Threading.Tasks; +using System.Xml; using rss_generator.Class.Common; namespace rss_generator.Class.MissAV; /// /// missav.ai の新着動画を取得し、WebImageViewer (https://udukipc-web.armonica-vps.work/) で動画を視聴できるリンクを含むRSSを生成します。 +/// 既存のフィードが存在する場合は同一記事の情報を引き継ぎ、FreshRSS 等で「更新された記事を未読とする」が有効な場合でも不要な未読化が発生しないようにします。 /// internal static class missav { + #region □クラス(Private) + + /// + /// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。 + /// + private sealed class ExistingFeedEntry + { + public string Title { get; set; } = string.Empty; + public string SummaryHtml { get; set; } = string.Empty; + public DateTimeOffset PublishDate { get; set; } + public DateTimeOffset LastUpdatedTime { get; set; } + public List Categories { get; set; } = new(); + public List Authors { get; set; } = new(); + } + + #endregion + + #region □メソッド(Public) + + /// + /// missav.ai の新着動画から RSS フィード (missav.xml) を生成・出力します。 + /// + /// HttpClient + /// FlareSolverr セッションID + /// 非同期タスク public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null) { var pageMaster = "https://missav.ai"; + var fileName = "missav.xml"; var feed = new SyndicationFeed("missav.ai", "missav Recent Videos", new Uri($"{pageMaster}/ja/new")); var items = new List(); try { sessionId ??= CmnUtil.SharedFlareSolverrSessionId; - var docList = new List(); - for (int pageId = 1; pageId <= 2; pageId++) + + // 既存フィードの読み込み(未更新記事の不要な未読化防止およびFlareSolverrアクセス削減) + var existingEntries = LoadExistingEntries(fileName); + + var docList = new List(); + for (int pageId = 1; pageId <= 2; pageId++) + { + var pageURL = $"{pageMaster}/ja/new{(pageId > 1 ? $"?page={pageId}" : "")}"; + var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId); + if (document != null) { - var pageURL = $"{pageMaster}/ja/new{(pageId > 1 ? $"?page={pageId}" : "")}"; - var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId); - if (document != null) - { - docList.Add(document); - } + docList.Add(document); } + } - var linkList = new List(); - foreach (var document in docList) + var linkList = new List(); + foreach (var document in docList) + { + var elements = document.QuerySelectorAll("div.thumbnail.group"); + var targetDivs = elements.Where(e => e.ClassList.Length == 2).ToList(); + + foreach (var div in targetDivs) { - var elements = document.QuerySelectorAll("div.thumbnail.group"); - var targetDivs = elements.Where(e => e.ClassList.Length == 2).ToList(); + var titleElement = div.QuerySelector(".text-secondary") ?? div.QuerySelector("a[alt]"); + var linkElement = div.QuerySelector(".text-secondary") ?? div.QuerySelector("a"); + var imgElement = div.QuerySelector("img"); - foreach (var div in targetDivs) + var title = titleElement?.TextContent?.Trim() ?? "タイトルなし"; + var relHref = linkElement?.GetAttribute("href") ?? string.Empty; + if (string.IsNullOrWhiteSpace(relHref)) { - var titleElement = div.QuerySelector(".text-secondary") ?? div.QuerySelector("a[alt]"); - var linkElement = div.QuerySelector(".text-secondary") ?? div.QuerySelector("a"); - var imgElement = div.QuerySelector("img"); + continue; + } - var title = titleElement?.TextContent?.Trim() ?? "タイトルなし"; - var relHref = linkElement?.GetAttribute("href") ?? string.Empty; - if (string.IsNullOrWhiteSpace(relHref)) + var linkHref = relHref.StartsWith("http", StringComparison.OrdinalIgnoreCase) + ? relHref + : $"{pageMaster.TrimEnd('/')}/{relHref.TrimStart('/')}"; + + var imageSrc = imgElement?.GetAttribute("data-src") ?? imgElement?.GetAttribute("src"); + if (!linkList.Contains(linkHref)) + { + linkList.Add(linkHref); + } + else + { + continue; + } + + var itemUri = new Uri(linkHref); + var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null; + var guid = CmnUtil.CreateGuid(linkHref); + + existingEntries.TryGetValue(linkHref, out var prevEntry); + if (prevEntry == null && !string.IsNullOrEmpty(guid)) + { + existingEntries.TryGetValue(guid, out prevEntry); + } + + SyndicationItem item; + if (prevEntry != null && !string.IsNullOrEmpty(prevEntry.SummaryHtml)) + { + // 【未更新記事】 + // 前回の本文HTMLおよび日時をそのまま維持して未読化を完全防止 + item = new SyndicationItem( + title, + (string?)null, + itemUri, + guid, + prevEntry.LastUpdatedTime + ) { - continue; - } + PublishDate = prevEntry.PublishDate, + LastUpdatedTime = prevEntry.LastUpdatedTime, + Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html) + }; - var linkHref = relHref.StartsWith("http", StringComparison.OrdinalIgnoreCase) - ? relHref - : $"{pageMaster.TrimEnd('/')}/{relHref.TrimStart('/')}"; - - var imageSrc = imgElement?.GetAttribute("data-src") ?? imgElement?.GetAttribute("src"); - if (!linkList.Contains(linkHref)) + foreach (var cat in prevEntry.Categories) { - linkList.Add(linkHref); + item.Categories.Add(new SyndicationCategory(cat)); } - else + foreach (var auth in prevEntry.Authors) { - continue; + item.Authors.Add(new SyndicationPerson { Name = auth }); } - - var itemUri = new Uri(linkHref); - var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null; - - // 詳細ページから動画ストリーム情報およびメタ情報を取得 - string? streamUrl = null; + } + else + { + // 【新規記事】 string? descText = null; string? maker = null; var actresses = new List(); @@ -86,33 +154,6 @@ internal static class missav var docDetail = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId); if (docDetail != null) { - var sourceText = docDetail.Source.Text; - - // 1. surrit.com の m3u8 URL を正規表現で抽出 - var surritMatch = Regex.Match(sourceText, @"https?:\\?/\\?/[^""'\s\\]*surrit\.com/[^""'\s\\]+?\.m3u8", RegexOptions.IgnoreCase); - if (surritMatch.Success) - { - streamUrl = surritMatch.Value.Replace(@"\/", "/"); - } - else - { - // 2. UUID から surrit.com の playlist.m3u8 を構築 - var uuidMatch = Regex.Match(sourceText, @"[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}", RegexOptions.IgnoreCase); - if (uuidMatch.Success) - { - streamUrl = $"https://surrit.com/{uuidMatch.Value}/playlist.m3u8"; - } - else - { - // 3. 汎用 .m3u8 のフォールバック抽出 - var m3u8Match = Regex.Match(sourceText, @"https?:\\?/\\?/[^""'\s\\]+?\.m3u8", RegexOptions.IgnoreCase); - if (m3u8Match.Success) - { - streamUrl = m3u8Match.Value.Replace(@"\/", "/"); - } - } - } - // 詳細テキスト(説明文) descText = docDetail.QuerySelector("meta[name='description']")?.GetAttribute("content") ?? docDetail.QuerySelector("meta[property='og:description']")?.GetAttribute("content") @@ -163,10 +204,9 @@ internal static class missav // WebImageViewer統一リンクの生成 (https://udukipc-web.armonica-vps.work/?url=[ページURL]) string viewerUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(linkHref)}"; - // 本文 HTML(Summary)の生成(123avと同様の構成) var body = new StringBuilder(); - // 1. WebImageViewer への再生リンク & 外部リンク(記事への直接埋め込みは行わない) + // 1. WebImageViewer への再生リンク & 外部リンク body.Append($@"
"); body.Append($@"

▶ WebImageViewerで動画を再生する

"); body.Append($@"

missav公式ページで開く

"); @@ -200,13 +240,19 @@ internal static class missav body.Append($@"
タグ: {WebUtility.HtmlEncode(string.Join(", ", tags))}
"); } - var item = new SyndicationItem( + var now = DateTimeOffset.Now; + item = new SyndicationItem( title, - string.Empty, + (string?)null, itemUri, - CmnUtil.CreateGuid(linkHref), - DateTime.Now - ); + guid, + now + ) + { + PublishDate = now, + LastUpdatedTime = now, + Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html) + }; // カテゴリ登録(ジャンル、タグ、女優) foreach (var g in genres) @@ -231,14 +277,14 @@ internal static class missav { item.Authors.Add(new SyndicationPerson { Name = actresses[0] }); } - - item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); - items.Add(item); } - } - feed.Items = items; - await CmnUtil.ExportXMLFileAsync("missav.xml", feed, client); + items.Add(item); + } + } + + feed.Items = items; + await CmnUtil.ExportXMLFileAsync(fileName, feed, client, filter24Hours: false); } catch (Exception ex) { @@ -246,4 +292,68 @@ internal static class missav CmnUtil.PrintCallStackToEvent(ex); } } + + #endregion + + #region □メソッド(Private) + + /// + /// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。 + /// + /// XML ファイル名 + /// URL または GUID をキーとする既存エントリの辞書 + private static Dictionary LoadExistingEntries(string fileName) + { + var existingEntries = new Dictionary(StringComparer.OrdinalIgnoreCase); + try + { + string xmlPath = CmnUtil.GetExportXmlPath(fileName); + if (!File.Exists(xmlPath)) + { + return existingEntries; + } + + using var reader = XmlReader.Create(xmlPath); + var existingFeed = SyndicationFeed.Load(reader); + if (existingFeed?.Items != null) + { + foreach (var item in existingFeed.Items) + { + var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri; + var guid = item.Id; + + var entry = new ExistingFeedEntry + { + Title = item.Title?.Text?.Trim() ?? string.Empty, + SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty, + PublishDate = item.PublishDate != DateTimeOffset.MinValue + ? item.PublishDate + : (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now), + LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue + ? item.LastUpdatedTime + : (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now), + Categories = item.Categories.Select(c => c.Name).ToList(), + Authors = item.Authors.Select(a => a.Name).ToList() + }; + + if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl)) + { + existingEntries[linkUrl] = entry; + } + if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid)) + { + existingEntries[guid] = entry; + } + } + } + } + catch (Exception ex) + { + LogManager.AddLog($"[情報] missav 既存エントリ読み込みスキップ: {ex.Message}"); + } + + return existingEntries; + } + + #endregion } \ No newline at end of file diff --git a/rss-generator/Class/MissAV123/missav123.cs b/rss-generator/Class/MissAV123/missav123.cs index 162abd2..e9f900f 100644 --- a/rss-generator/Class/MissAV123/missav123.cs +++ b/rss-generator/Class/MissAV123/missav123.cs @@ -3,219 +3,224 @@ using AngleSharp.Html.Dom; using AngleSharp.Html.Parser; using System; using System.Collections.Generic; +using System.IO; using System.Linq; using System.Net; using System.ServiceModel.Syndication; using System.Text; using System.Text.RegularExpressions; using System.Threading.Tasks; +using System.Xml; using rss_generator.Class.Common; namespace rss_generator.Class.MissAV123; +/// +/// 123av.com の新着動画を取得し、WebImageViewer (https://udukipc-web.armonica-vps.work/) で動画を視聴できるリンクを含むRSSを生成します。 +/// 既存のフィードが存在する場合は同一記事の情報を引き継ぎ、FreshRSS 等で「更新された記事を未読とする」が有効な場合でも不要な未読化が発生しないようにします。 +/// internal class missav123 { + #region □クラス(Private) + /// - /// 123av.com の新着動画を取得し、WebImageViewer (https://udukipc-web.armonica-vps.work/) で動画を視聴できるリンクを含むRSSを生成します。 + /// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。 + /// + private sealed class ExistingFeedEntry + { + public string Title { get; set; } = string.Empty; + public string SummaryHtml { get; set; } = string.Empty; + public DateTimeOffset PublishDate { get; set; } + public DateTimeOffset LastUpdatedTime { get; set; } + public List Categories { get; set; } = new(); + public List Authors { get; set; } = new(); + } + + #endregion + + #region □メソッド(Public) + + /// + /// 123av.com の新着動画を取得し、RSS フィード (123av.xml) を生成・出力します。 /// /// HttpClient インスタンス + /// FlareSolverr セッションID public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null) { var pageMaster = "https://123av.com"; + var fileName = "123av.xml"; var feed = new SyndicationFeed("123av.com", "123av Recent Videos", new Uri($"{pageMaster}/ja/recent")); var items = new List(); try { sessionId ??= CmnUtil.SharedFlareSolverrSessionId; - var docList = new List(); - for (int pageId = 1; pageId <= 2; pageId++) + + // 既存フィードの読み込み(相対時間の再計算による未読化防止および高速化) + var existingEntries = LoadExistingEntries(fileName); + + var docList = new List(); + for (int pageId = 1; pageId <= 2; pageId++) + { + var pageURL = $"{pageMaster}/ja/recent{(pageId > 1 ? $"?page={pageId}" : "")}"; + var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId); + if (document != null) { - var pageURL = $"{pageMaster}/ja/recent{(pageId > 1 ? $"?page={pageId}" : "")}"; - var document = await CmnUtil.GetDocumentFlareSolverr(client, pageURL, session: sessionId); - if (document != null) - { - docList.Add(document); - } + docList.Add(document); } + } - var linkList = new List(); - foreach (var document in docList) + var linkList = new List(); + foreach (var document in docList) + { + var elements = document.QuerySelectorAll("div.card"); + var targetDivs = elements.Where(e => e.ClassList.Length == 1 || e.QuerySelector("a.card__link") != null).ToList(); + foreach (var div in targetDivs) { - var elements = document.QuerySelectorAll("div.card"); - var targetDivs = elements.Where(e => e.ClassList.Length == 1 || e.QuerySelector("a.card__link") != null).ToList(); - foreach (var div in targetDivs) + var linkElement = div.QuerySelector("a.card__link") ?? div.QuerySelector("a.card__cover"); + var titleElement = div.QuerySelector(".card__title a") ?? div.QuerySelector("a.card__link"); + var imgElement = div.QuerySelector("img"); + + var title = titleElement?.TextContent?.Trim() ?? "タイトルなし"; + var relHref = linkElement?.GetAttribute("href") ?? string.Empty; + if (string.IsNullOrWhiteSpace(relHref)) { - var linkElement = div.QuerySelector("a.card__link") ?? div.QuerySelector("a.card__cover"); - var titleElement = div.QuerySelector(".card__title a") ?? div.QuerySelector("a.card__link"); - var imgElement = div.QuerySelector("img"); + continue; + } - var title = titleElement?.TextContent?.Trim() ?? "タイトルなし"; - var relHref = linkElement?.GetAttribute("href") ?? string.Empty; - if (string.IsNullOrWhiteSpace(relHref)) + var linkHref = relHref.StartsWith("http", StringComparison.OrdinalIgnoreCase) + ? relHref + : $"{pageMaster.TrimEnd('/')}/{relHref.TrimStart('/')}"; + + var imageSrc = imgElement?.GetAttribute("data-src") ?? imgElement?.GetAttribute("src"); + if (!linkList.Contains(linkHref)) + { + linkList.Add(linkHref); + } + else + { + continue; + } + + var itemUri = new Uri(linkHref); + var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null; + var guid = CmnUtil.CreateGuid(linkHref); + + existingEntries.TryGetValue(linkHref, out var prevEntry); + if (prevEntry == null && !string.IsNullOrEmpty(guid)) + { + existingEntries.TryGetValue(guid, out prevEntry); + } + + SyndicationItem item; + if (prevEntry != null && !string.IsNullOrEmpty(prevEntry.SummaryHtml)) + { + // 【未更新記事】 + // 前回の本文HTMLおよび日時(PublishDate / LastUpdatedTime)をそのまま維持 + item = new SyndicationItem( + title, + (string?)null, + itemUri, + guid, + prevEntry.LastUpdatedTime + ) { - continue; - } + PublishDate = prevEntry.PublishDate, + LastUpdatedTime = prevEntry.LastUpdatedTime, + Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html) + }; - var linkHref = relHref.StartsWith("http", StringComparison.OrdinalIgnoreCase) - ? relHref - : $"{pageMaster.TrimEnd('/')}/{relHref.TrimStart('/')}"; - - var imageSrc = imgElement?.GetAttribute("src"); - if (!linkList.Contains(linkHref)) + foreach (var cat in prevEntry.Categories) { - linkList.Add(linkHref); + item.Categories.Add(new SyndicationCategory(cat)); } - else + foreach (var auth in prevEntry.Authors) { - continue; + item.Authors.Add(new SyndicationPerson { Name = auth }); } + } + else + { + // 【新規記事】 + // カード上の時間表記 + var cardMetaTimeText = div.QuerySelector(".card__meta")?.TextContent?.Trim(); - var cardMetaTimeText = div.QuerySelector(".card__meta span")?.TextContent?.Trim(); - - var itemUri = new Uri(linkHref); - var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null; - - // 詳細ページから動画プレイヤーURLおよび詳細情報を取得 - string? playerUrl = null; string? descText = null; - var genres = new List(); - var tags = new List(); - var actresses = new List(); - string? maker = null; - string? series = null; string? releaseDateText = null; string? detailMetaTimeText = null; + string? maker = null; + string? series = null; + var actresses = new List(); + var genres = new List(); + var tags = new List(); try { var docDetail = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId); if (docDetail != null) { - // 1. iframe.player__frame の src から取得 - playerUrl = docDetail.QuerySelector("iframe.player__frame")?.GetAttribute("src") - ?? docDetail.QuerySelector(".player iframe")?.GetAttribute("src"); + // 詳細テキスト(説明文) + descText = docDetail.QuerySelector("meta[name='description']")?.GetAttribute("content") + ?? docDetail.QuerySelector("meta[property='og:description']")?.GetAttribute("content") + ?? docDetail.QuerySelector(".detail__description")?.TextContent?.Trim(); - // 2. HTML内の javplayer.cc URL から正規表現で取得(フォールバック) - if (string.IsNullOrEmpty(playerUrl)) + // 発売日および更新日時 + var metaDivs = docDetail.QuerySelectorAll(".detail__meta, .card__meta, .video-info span, .detail__info div"); + foreach (var m in metaDivs) { - var match = Regex.Match(docDetail.Source.Text, @"https?:\\?/\\?/javplayer\.cc[^\s""'\\]+"); - if (match.Success) + var txt = m.TextContent?.Trim(); + if (string.IsNullOrEmpty(txt)) continue; + + if (txt.Contains("発売日") || txt.Contains("リリース") || txt.Contains("Release")) { - playerUrl = match.Value.Replace(@"\/", "/"); + var mMatch = Regex.Match(txt, @"\d{4}[-/年]\d{1,2}[-/月]\d{1,2}"); + if (mMatch.Success) + { + releaseDateText = mMatch.Value; + } + } + if (txt.Contains("前") || txt.Contains("ago")) + { + detailMetaTimeText = txt; } } - // 3. 詳細ページ上部の相対更新日時(例: "1分 56秒前", "31m 26s ago") - detailMetaTimeText = docDetail.QuerySelector(".watch__meta--stats .watch__metaitem")?.TextContent?.Trim(); - if (!string.IsNullOrEmpty(detailMetaTimeText)) + // メーカー / レーベル + maker = docDetail.QuerySelector("a[href*='/makers/'], a[href*='/maker/'], a[href*='/labels/'], a[href*='/label/']")?.TextContent?.Trim(); + + // シリーズ + series = docDetail.QuerySelector("a[href*='/series/'], a[href*='/serie/']")?.TextContent?.Trim(); + + // 出演者 + var actressElements = docDetail.QuerySelectorAll("a[href*='/actresses/'], a[href*='/actress/']"); + foreach (var a in actressElements) { - detailMetaTimeText = Regex.Replace(detailMetaTimeText, @"\s+", " ").Trim(); - } - - // 4. 詳細説明文 - descText = docDetail.QuerySelector(".watch__desc-text")?.TextContent?.Trim(); - - // 5. 詳細情報ブロック (
) 内の各項目を抽出 - var infoRows = docDetail.QuerySelectorAll(".watch__info-row"); - foreach (var row in infoRows) - { - var dtText = row.QuerySelector("dt")?.TextContent?.Trim() ?? string.Empty; - var ddElement = row.QuerySelector("dd"); - if (string.IsNullOrEmpty(dtText) || ddElement == null) continue; - - if (dtText.Contains("発売日") || dtText.Contains("公開日") || dtText.Contains("配信日") || dtText.Equals("Release date", StringComparison.OrdinalIgnoreCase)) + var aName = a.TextContent?.Trim(); + if (!string.IsNullOrEmpty(aName) && !actresses.Contains(aName)) { - releaseDateText = ddElement.TextContent?.Trim(); - } - else if (dtText.Contains("出演者") || dtText.Contains("女優") || dtText.Equals("Cast", StringComparison.OrdinalIgnoreCase)) - { - var actressLinks = ddElement.QuerySelectorAll("a"); - foreach (var a in actressLinks) - { - var aName = a.TextContent?.Trim(); - if (!string.IsNullOrEmpty(aName) && !actresses.Contains(aName)) - { - actresses.Add(aName); - } - } - if (actresses.Count == 0 && !string.IsNullOrWhiteSpace(ddElement.TextContent)) - { - var textVal = ddElement.TextContent.Trim(); - if (!actresses.Contains(textVal)) - { - actresses.Add(textVal); - } - } - } - else if (dtText.Contains("メーカー") || dtText.Equals("Maker", StringComparison.OrdinalIgnoreCase)) - { - if (string.IsNullOrEmpty(maker)) - { - maker = ddElement.TextContent?.Trim(); - } - } - else if (dtText.Contains("シリーズ") || dtText.Equals("Series", StringComparison.OrdinalIgnoreCase)) - { - series = ddElement.TextContent?.Trim(); - } - else if (dtText.Contains("ジャンル") || dtText.Equals("Genres", StringComparison.OrdinalIgnoreCase)) - { - var gLinks = ddElement.QuerySelectorAll("a"); - foreach (var g in gLinks) - { - var gName = g.TextContent?.Trim(); - if (!string.IsNullOrEmpty(gName) && !genres.Contains(gName)) - { - genres.Add(gName); - } - } - } - else if (dtText.Contains("タグ") || dtText.Equals("Tags", StringComparison.OrdinalIgnoreCase)) - { - var tLinks = ddElement.QuerySelectorAll("a"); - foreach (var t in tLinks) - { - var tName = t.TextContent?.Trim(); - if (!string.IsNullOrEmpty(tName) && !tags.Contains(tName)) - { - tags.Add(tName); - } - } + actresses.Add(aName); } } - // フォールバック: メーカー - if (string.IsNullOrEmpty(maker)) + // ジャンル + var genreElements = docDetail.QuerySelectorAll("a[href*='/genres/'], a[href*='/genre/']"); + foreach (var g in genreElements) { - maker = docDetail.QuerySelector("a[href*='/makers/']")?.TextContent?.Trim(); - } - - // フォールバック: ジャンル - if (genres.Count == 0) - { - var genreElements = docDetail.QuerySelectorAll("a[href*='/genres/']"); - foreach (var g in genreElements) + var gName = g.TextContent?.Trim(); + if (!string.IsNullOrEmpty(gName) && !genres.Contains(gName)) { - var gName = g.TextContent?.Trim(); - if (!string.IsNullOrEmpty(gName) && !genres.Contains(gName)) - { - genres.Add(gName); - } + genres.Add(gName); } } - // フォールバック: タグ - if (tags.Count == 0) + // タグ + var tagElements = docDetail.QuerySelectorAll("a[href*='/tags/'], a[href*='/tag/']"); + foreach (var t in tagElements) { - var tagElements = docDetail.QuerySelectorAll("a[href*='/tags/']"); - foreach (var t in tagElements) + var tName = t.TextContent?.Trim(); + if (!string.IsNullOrEmpty(tName) && !tags.Contains(tName)) { - var tName = t.TextContent?.Trim(); - if (!string.IsNullOrEmpty(tName) && !tags.Contains(tName)) - { - tags.Add(tName); - } + tags.Add(tName); } } } @@ -228,7 +233,7 @@ internal class missav123 // WebImageViewer統一リンクの生成 (https://udukipc-web.armonica-vps.work/?url=[ページURL]) string viewerUrl = $"https://udukipc-web.armonica-vps.work/?url={Uri.EscapeDataString(linkHref)}"; - // 更新日時(サイト上の追加・更新日時)の算出 + // 更新日時の算出 DateTimeOffset? updatedDate = null; var timeTextToParse = !string.IsNullOrWhiteSpace(detailMetaTimeText) ? detailMetaTimeText : cardMetaTimeText; if (!string.IsNullOrWhiteSpace(timeTextToParse)) @@ -250,23 +255,19 @@ internal class missav123 // 本文 HTML(Summary)の生成 var body = new StringBuilder(); - // 1. WebImageViewer への再生リンク & 外部リンク(記事への直接埋め込みは行わない) + // 1. WebImageViewer への再生リンク & 外部リンク body.Append($@"
"); body.Append($@"

▶ WebImageViewerで動画を再生する

"); - body.Append($@"

123av公式ページで開く"); - if (!string.IsNullOrEmpty(playerUrl)) - { - body.Append($@" | 直接動画プレイヤーを開く"); - } - body.Append($@"

"); + body.Append($@"

123av公式ページで開く

"); + body.Append($@"
"); - // 3. サムネイル画像 + // 2. サムネイル画像 if (imageUri != null) { body.Append($@"
"); } - // 4. メタ情報(詳細、発売日、更新日時、メーカー、シリーズ、出演者、ジャンル、タグ) + // 3. メタ情報(詳細、発売日、更新日時、メーカー、シリーズ、出演者、ジャンル、タグ) if (!string.IsNullOrWhiteSpace(descText)) { body.Append($@"
詳細: {WebUtility.HtmlEncode(descText)}
"); @@ -300,16 +301,17 @@ internal class missav123 body.Append($@"
タグ: {WebUtility.HtmlEncode(string.Join(", ", tags))}
"); } - var item = new SyndicationItem( + item = new SyndicationItem( title, - string.Empty, + (string?)null, itemUri, - CmnUtil.CreateGuid(linkHref), + guid, lastUpdatedDate ) { PublishDate = publishDate, - LastUpdatedTime = lastUpdatedDate + LastUpdatedTime = lastUpdatedDate, + Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html) }; // カテゴリ登録(ジャンル、タグ、出演者) @@ -334,15 +336,14 @@ internal class missav123 { item.Authors.Add(new SyndicationPerson { Name = a }); } - - item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); - - items.Add(item); } - } - feed.Items = items; - await CmnUtil.ExportXMLFileAsync("123av.xml", feed, client); + items.Add(item); + } + } + feed.Items = items; + + await CmnUtil.ExportXMLFileAsync(fileName, feed, client, filter24Hours: false); } catch (Exception ex) { @@ -366,7 +367,7 @@ internal class missav123 var span = TimeSpan.Zero; bool matched = false; - // 年 (日本語: "1年前", 英語: "1y ago", "1 year ago") + // 年 var yearMatch = Regex.Match(text, @"(\d+)\s*(?:年|y(?:ears?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase); if (yearMatch.Success && int.TryParse(yearMatch.Groups[1].Value, out int years)) { @@ -374,7 +375,7 @@ internal class missav123 matched = true; } - // 月 (日本語: "1か月前", "1ヶ月前", "1月前", 英語: "1mo ago", "1 month ago") + // 月 var monthMatch = Regex.Match(text, @"(\d+)\s*(?:(?:か|ヶ|ケ)?月|mo(?:nths?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase); if (monthMatch.Success && int.TryParse(monthMatch.Groups[1].Value, out int months)) { @@ -382,7 +383,7 @@ internal class missav123 matched = true; } - // 週 (日本語: "1週間前", "1週前", 英語: "1w ago", "1 week ago") + // 週 var weekMatch = Regex.Match(text, @"(\d+)\s*(?:(?:週|週間)|w(?:eeks?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase); if (weekMatch.Success && int.TryParse(weekMatch.Groups[1].Value, out int weeks)) { @@ -390,7 +391,7 @@ internal class missav123 matched = true; } - // 日 (日本語: "1日前", "1日 2時間前", 英語: "1d ago", "1 day ago") + // 日 var dayMatch = Regex.Match(text, @"(\d+)\s*(?:日|d(?:ays?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase); if (dayMatch.Success && int.TryParse(dayMatch.Groups[1].Value, out int days)) { @@ -398,7 +399,7 @@ internal class missav123 matched = true; } - // 時間 (日本語: "1時間前", "1時間 30分前", 英語: "1h ago", "1 hour ago") + // 時間 var hourMatch = Regex.Match(text, @"(\d+)\s*(?:時間|h(?:ours?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase); if (hourMatch.Success && int.TryParse(hourMatch.Groups[1].Value, out int hours)) { @@ -406,7 +407,7 @@ internal class missav123 matched = true; } - // 分 (日本語: "30分前", "30分 20秒前", 英語: "30m ago", "30 mins ago") + // 分 var minMatch = Regex.Match(text, @"(\d+)\s*(?:分|m(?:in(?:ute)?s?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase); if (minMatch.Success && int.TryParse(minMatch.Groups[1].Value, out int mins)) { @@ -414,7 +415,7 @@ internal class missav123 matched = true; } - // 秒 (日本語: "39秒前", 英語: "39s ago", "39 secs ago") + // 秒 var secMatch = Regex.Match(text, @"(\d+)\s*(?:秒|s(?:ec(?:ond)?s?)?)(?:\s*前|\s*ago)?", RegexOptions.IgnoreCase); if (secMatch.Success && int.TryParse(secMatch.Groups[1].Value, out int secs)) { @@ -435,4 +436,68 @@ internal class missav123 return now; } -} + + #endregion + + #region □メソッド(Private) + + /// + /// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。 + /// + /// XML ファイル名 + /// URL または GUID をキーとする既存エントリの辞書 + private static Dictionary LoadExistingEntries(string fileName) + { + var existingEntries = new Dictionary(StringComparer.OrdinalIgnoreCase); + try + { + string xmlPath = CmnUtil.GetExportXmlPath(fileName); + if (!File.Exists(xmlPath)) + { + return existingEntries; + } + + using var reader = XmlReader.Create(xmlPath); + var existingFeed = SyndicationFeed.Load(reader); + if (existingFeed?.Items != null) + { + foreach (var item in existingFeed.Items) + { + var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri; + var guid = item.Id; + + var entry = new ExistingFeedEntry + { + Title = item.Title?.Text?.Trim() ?? string.Empty, + SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty, + PublishDate = item.PublishDate != DateTimeOffset.MinValue + ? item.PublishDate + : (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now), + LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue + ? item.LastUpdatedTime + : (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now), + Categories = item.Categories.Select(c => c.Name).ToList(), + Authors = item.Authors.Select(a => a.Name).ToList() + }; + + if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl)) + { + existingEntries[linkUrl] = entry; + } + if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid)) + { + existingEntries[guid] = entry; + } + } + } + } + catch (Exception ex) + { + LogManager.AddLog($"[情報] missav123 既存エントリ読み込みスキップ: {ex.Message}"); + } + + return existingEntries; + } + + #endregion +} \ No newline at end of file diff --git a/rss-generator/Class/SpankBang/spankbang.cs b/rss-generator/Class/SpankBang/spankbang.cs index 2c0e316..109bfab 100644 --- a/rss-generator/Class/SpankBang/spankbang.cs +++ b/rss-generator/Class/SpankBang/spankbang.cs @@ -1,12 +1,14 @@ using AngleSharp.Dom; using System; using System.Collections.Generic; +using System.IO; using System.Linq; using System.Net; using System.ServiceModel.Syndication; using System.Text; using System.Text.RegularExpressions; using System.Threading.Tasks; +using System.Xml; using rss_generator.Class.Common; namespace rss_generator.Class.SpankBang; @@ -14,11 +16,35 @@ namespace rss_generator.Class.SpankBang; /// /// SpankBang (https://spankbang.com/new_videos/) の最新動画を取得し、 /// WebImageViewer (https://udukipc-web.armonica-vps.work/) での再生リンクを含むRSSフィード (spankbang.xml) を生成します。 +/// 既存のフィードが存在する場合は同一動画の情報を引き継ぎ、再生数の変動等で FreshRSS の「更新された記事を未読とする」が反応しないようにします。 /// internal static class spankbang { + #region □定数(Private) + private const string BaseUrl = "https://spankbang.com"; private const string TargetUrl = "https://spankbang.com/new_videos/"; + private const string FileName = "spankbang.xml"; + + #endregion + + #region □クラス(Private) + + /// + /// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。 + /// + private sealed class ExistingFeedEntry + { + public string Title { get; set; } = string.Empty; + public string SummaryHtml { get; set; } = string.Empty; + public DateTimeOffset PublishDate { get; set; } + public DateTimeOffset LastUpdatedTime { get; set; } + public List Categories { get; set; } = new(); + } + + #endregion + + #region □メソッド(Public) /// /// SpankBang の最新動画RSSを生成します。 @@ -37,38 +63,78 @@ internal static class spankbang try { sessionId ??= CmnUtil.SharedFlareSolverrSessionId; - var document = await CmnUtil.GetDocumentFlareSolverr(client, TargetUrl, session: sessionId); - if (document == null) + + // 既存フィードの読み込み(再生数変動による未読化防止および高速化) + var existingEntries = LoadExistingEntries(FileName); + + var document = await CmnUtil.GetDocumentFlareSolverr(client, TargetUrl, session: sessionId); + if (document == null) + { + LogManager.AddLog("[警告] 【spankbang】 ドキュメントの取得に失敗しました。"); + return; + } + + // 動画カードを取得 (data-testid="video-item" または class に js-video-item を含む div) + var videoElements = document.QuerySelectorAll("div[data-testid='video-item'], div.js-video-item"); + var linkList = new HashSet(StringComparer.OrdinalIgnoreCase); + + int itemIndex = 0; + foreach (var videoDiv in videoElements) + { + // 動画リンクを取得 + var linkElement = videoDiv.QuerySelector("a[href*='/video/']"); + var rawHref = linkElement?.GetAttribute("href")?.Trim() ?? string.Empty; + if (string.IsNullOrEmpty(rawHref)) { - LogManager.AddLog("[警告] 【spankbang】 ドキュメントの取得に失敗しました。"); - return; + continue; } - // 動画カードを取得 (data-testid="video-item" または class に js-video-item を含む div) - var videoElements = document.QuerySelectorAll("div[data-testid='video-item'], div.js-video-item"); - var linkList = new HashSet(StringComparer.OrdinalIgnoreCase); + var fullUrl = rawHref.StartsWith("http", StringComparison.OrdinalIgnoreCase) + ? rawHref + : $"{BaseUrl.TrimEnd('/')}/{rawHref.TrimStart('/')}"; - int itemIndex = 0; - foreach (var videoDiv in videoElements) + // 重複URLのスキップ + if (!linkList.Add(fullUrl)) { - // 動画リンクを取得 - var linkElement = videoDiv.QuerySelector("a[href*='/video/']"); - var rawHref = linkElement?.GetAttribute("href")?.Trim() ?? string.Empty; - if (string.IsNullOrEmpty(rawHref)) + continue; + } + + var guid = CmnUtil.CreateGuid(fullUrl); + var itemUri = new Uri(fullUrl); + + existingEntries.TryGetValue(fullUrl, out var prevEntry); + if (prevEntry == null && !string.IsNullOrEmpty(guid)) + { + existingEntries.TryGetValue(guid, out prevEntry); + } + + SyndicationItem item; + if (prevEntry != null && !string.IsNullOrEmpty(prevEntry.SummaryHtml)) + { + // 【未更新記事】 + // 前回の本文HTMLおよび日時(PublishDate / LastUpdatedTime)を完全維持 + // これにより再生数 views の増加による本文ハッシュ変化を防止し、FreshRSSの未読化を完全抑止 + item = new SyndicationItem( + prevEntry.Title, + (string?)null, + itemUri, + guid, + prevEntry.LastUpdatedTime + ) { - continue; - } + PublishDate = prevEntry.PublishDate, + LastUpdatedTime = prevEntry.LastUpdatedTime, + Summary = new TextSyndicationContent(prevEntry.SummaryHtml, TextSyndicationContentKind.Html) + }; - var fullUrl = rawHref.StartsWith("http", StringComparison.OrdinalIgnoreCase) - ? rawHref - : $"{BaseUrl.TrimEnd('/')}/{rawHref.TrimStart('/')}"; - - // 重複URLのスキップ - if (!linkList.Add(fullUrl)) + foreach (var cat in prevEntry.Categories) { - continue; + item.Categories.Add(new SyndicationCategory(cat)); } - + } + else + { + // 【新規記事】 // タイトルを取得 var title = videoDiv.QuerySelector("p a[title]")?.GetAttribute("title")?.Trim() ?? videoDiv.QuerySelector("p a")?.TextContent?.Trim() @@ -97,7 +163,6 @@ internal static class spankbang var tag = videoDiv.QuerySelector("span[data-badge='tag'] ~ a[data-testid='title'], a[href^='/s/']")?.TextContent?.Trim(); var views = videoDiv.QuerySelector("span[data-testid='views']")?.TextContent?.Trim(); - var itemUri = new Uri(fullUrl); var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null; var previewVideoUri = !string.IsNullOrEmpty(previewVideoSrc) ? new Uri(previewVideoSrc) : null; @@ -128,7 +193,6 @@ internal static class spankbang } else if (imageUri != null) { - // プレビュー動画がない場合はサムネイル画像を表示 body.Append($@"
"); body.Append($@""); body.Append($@""); @@ -183,20 +247,20 @@ internal static class spankbang // 下部リンク body.Append($@"

▶ WebImageViewerで動画を再生する | SpankBang公式で視聴する

"); - // 取得できた場合はその日時、取得できなかった場合は新着順維持のためフォールバック日時 var itemPubDate = publishedDateOffset ?? new DateTimeOffset(DateTime.Now.AddSeconds(-itemIndex)); itemIndex++; - var item = new SyndicationItem( + item = new SyndicationItem( title, - string.Empty, + (string?)null, itemUri, - CmnUtil.CreateGuid(fullUrl), + guid, itemPubDate ) { PublishDate = itemPubDate, - LastUpdatedTime = itemPubDate + LastUpdatedTime = itemPubDate, + Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html) }; // カテゴリ @@ -208,13 +272,13 @@ internal static class spankbang { item.Categories.Add(new SyndicationCategory(resolution)); } - - item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html); - items.Add(item); } - feed.Items = items; - await CmnUtil.ExportXMLFileAsync("spankbang.xml", feed, client); + items.Add(item); + } + + feed.Items = items; + await CmnUtil.ExportXMLFileAsync(FileName, feed, client, filter24Hours: false); } catch (Exception ex) { @@ -222,4 +286,67 @@ internal static class spankbang CmnUtil.PrintCallStackToEvent(ex); } } -} + + #endregion + + #region □メソッド(Private) + + /// + /// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時・更新日時を読み込みます。 + /// + /// XML ファイル名 + /// URL または GUID をキーとする既存エントリの辞書 + private static Dictionary LoadExistingEntries(string fileName) + { + var existingEntries = new Dictionary(StringComparer.OrdinalIgnoreCase); + try + { + string xmlPath = CmnUtil.GetExportXmlPath(fileName); + if (!File.Exists(xmlPath)) + { + return existingEntries; + } + + using var reader = XmlReader.Create(xmlPath); + var existingFeed = SyndicationFeed.Load(reader); + if (existingFeed?.Items != null) + { + foreach (var item in existingFeed.Items) + { + var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri; + var guid = item.Id; + + var entry = new ExistingFeedEntry + { + Title = item.Title?.Text?.Trim() ?? string.Empty, + SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty, + PublishDate = item.PublishDate != DateTimeOffset.MinValue + ? item.PublishDate + : (item.LastUpdatedTime != DateTimeOffset.MinValue ? item.LastUpdatedTime : DateTimeOffset.Now), + LastUpdatedTime = item.LastUpdatedTime != DateTimeOffset.MinValue + ? item.LastUpdatedTime + : (item.PublishDate != DateTimeOffset.MinValue ? item.PublishDate : DateTimeOffset.Now), + Categories = item.Categories.Select(c => c.Name).ToList() + }; + + if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl)) + { + existingEntries[linkUrl] = entry; + } + if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid)) + { + existingEntries[guid] = entry; + } + } + } + } + catch (Exception ex) + { + LogManager.AddLog($"[情報] spankbang 既存エントリ読み込みスキップ: {ex.Message}"); + } + + return existingEntries; + } + + #endregion +} \ No newline at end of file