diff --git a/.gitignore b/.gitignore index b68fc30..64cef0f 100644 --- a/.gitignore +++ b/.gitignore @@ -6,3 +6,4 @@ /rss-generator/bin /rss-generator/obj /app +/publish diff --git a/rss-generator/Class/Jpfiles/jpfiles.cs b/rss-generator/Class/Jpfiles/jpfiles.cs new file mode 100644 index 0000000..8e90521 --- /dev/null +++ b/rss-generator/Class/Jpfiles/jpfiles.cs @@ -0,0 +1,643 @@ +using System; +using System.Collections.Generic; +using System.IO; +using System.Linq; +using System.Net; +using System.Net.Http; +using System.ServiceModel.Syndication; +using System.Text; +using System.Text.Json; +using System.Text.RegularExpressions; +using System.Threading.Tasks; +using System.Xml; +using rss_generator.Class.Common; + +namespace rss_generator.Class.Jpfiles; + +/// +/// jpfiles.net から最新記事を収集し、RSS フィード (jpfiles.xml) を生成・出力するクラスです。 +/// +internal class jpfiles +{ + #region □定数(Private) + + /// + /// プロジェクト固有規則に基づく出力先ドメインディレクトリ名です。 + /// + private const string DomainDir = "jpfiles.net"; + + /// + /// キャッシュ判定用の最新フォーマット識別子です。 + /// + private const string CacheFormatTag = "jpfiles-format-v1"; + + #endregion + + #region □クラス(Private) + + /// + /// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。 + /// + private sealed class ExistingFeedEntry + { + /// 記事のタイトルを取得または設定します。 + public string Title { get; set; } = string.Empty; + + /// 記事の本文 HTML (Summary) を取得または設定します。 + public string SummaryHtml { get; set; } = string.Empty; + + /// 記事の初回公開日時を取得または設定します。 + public DateTimeOffset PublishDate { get; set; } + + /// 記事の最終更新日時を取得または設定します。 + public DateTimeOffset LastUpdatedTime { get; set; } + } + + /// + /// 各種アップローダーのダウンロードリンク情報を保持する内部クラスです。 + /// + private sealed class DownloadItem + { + /// プロバイダー名(Rapidgator, Katfile, Nitroflare 等)を取得または設定します。 + public string ProviderName { get; set; } = string.Empty; + + /// ダウンロード用 URL を取得または設定します。 + public string Url { get; set; } = string.Empty; + + /// パート名またはファイル名表示(例: Part 1, Part 2, Full)を取得または設定します。 + public string PartLabel { get; set; } = string.Empty; + + /// ボタンスタイルの背景色カラーコードを取得または設定します。 + public string BgColor { get; set; } = "#1976d2"; + } + + /// + /// 解析された記事詳細情報を保持する内部クラスです。 + /// + private sealed class ArticleInfo + { + /// 記事 ID を取得または設定します。 + public long Id { get; set; } + + /// 記事の URL を取得または設定します。 + public string Url { get; set; } = string.Empty; + + /// 元記事の生のタイトルを取得または設定します。 + public string RawTitle { get; set; } = string.Empty; + + /// Windows フォルダ名用に整形されたタイトルを取得または設定します。 + public string CleanTitle { get; set; } = string.Empty; + + /// カテゴリ・品番タグ(例: [BDRIP], [DVDRIP], [Onlyfans] 等)を取得または設定します。 + public string CategoryTag { get; set; } = string.Empty; + + /// 記事の公開日時を取得または設定します。 + public DateTimeOffset PublishDate { get; set; } + + /// カバー画像の URL を取得または設定します。 + public string CoverImageUrl { get; set; } = string.Empty; + + /// カバー画像の原寸リンク URL を取得または設定します。 + public string CoverOriginalUrl { get; set; } = string.Empty; + + /// ダウンロードリンク一覧を取得または設定します。 + public List Downloads { get; set; } = new(); + } + + #endregion + + #region □メソッド(Public) + + /// + /// jpfiles.net から記事情報を収集し、RSS フィード (jpfiles.xml) を生成・出力します。 + /// プロジェクト固有規則に基づき、ドメイン別ディレクトリ output/jpfiles.net/ に出力します。 + /// + /// HTTP 通信用 HttpClient + /// 非同期タスク + public static async Task CreateRSSAsync(HttpClient client) + { + var feedUrl = "https://jpfiles.net/wp-json/wp/v2/posts?per_page=50"; + var fileName = "jpfiles.xml"; + + var feed = new SyndicationFeed( + "jpfiles.net 最新ダウンロード", + "jpfiles.net の最新記事およびダイレクトダウンロードリンク一覧", + new Uri("https://jpfiles.net/")); + + var items = new List(); + + try + { + // 既存フィードの読み込み(ドメイン別サブディレクトリ output/jpfiles.net/jpfiles.xml) + var existingEntries = LoadExistingEntries(fileName); + + // WordPress REST API から JSON データを取得 + using var request = new HttpRequestMessage(HttpMethod.Get, feedUrl); + request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"); + + var response = await client.SendAsync(request); + response.EnsureSuccessStatusCode(); + + var jsonString = await response.Content.ReadAsStringAsync(); + using var jsonDoc = JsonDocument.Parse(jsonString); + + if (jsonDoc.RootElement.ValueKind != JsonValueKind.Array) + { + LogManager.AddLog("[情報] 【jpfiles】 記事データが配列形式ではありませんでした。"); + return; + } + + foreach (var postElem in jsonDoc.RootElement.EnumerateArray()) + { + var id = postElem.TryGetProperty("id", out var idElem) ? idElem.GetInt64() : 0; + var articleUrl = postElem.TryGetProperty("link", out var linkElem) ? linkElem.GetString() ?? string.Empty : string.Empty; + + var rawTitle = string.Empty; + if (postElem.TryGetProperty("title", out var titleElem) && + titleElem.TryGetProperty("rendered", out var titleTextElem)) + { + rawTitle = titleTextElem.GetString() ?? string.Empty; + } + + var contentHtml = string.Empty; + if (postElem.TryGetProperty("content", out var contentElem) && + contentElem.TryGetProperty("rendered", out var contentTextElem)) + { + contentHtml = contentTextElem.GetString() ?? string.Empty; + } + + // 公開日時 (date_gmt または date) + var pubDate = DateTimeOffset.UtcNow; + if (postElem.TryGetProperty("date_gmt", out var dateGmtElem) && + DateTimeOffset.TryParse(dateGmtElem.GetString(), out var parsedGmt)) + { + pubDate = parsedGmt; + } + else if (postElem.TryGetProperty("date", out var dateElem) && + DateTimeOffset.TryParse(dateElem.GetString(), out var parsedDate)) + { + pubDate = parsedDate; + } + + if (string.IsNullOrWhiteSpace(articleUrl) || string.IsNullOrWhiteSpace(rawTitle)) + { + continue; + } + + // 既存キャッシュの確認 + if (existingEntries.TryGetValue(articleUrl, out var cached) && + !string.IsNullOrWhiteSpace(cached.SummaryHtml) && + cached.SummaryHtml.Contains(CacheFormatTag)) + { + var item = new SyndicationItem( + cached.Title, + cached.SummaryHtml, + new Uri(articleUrl), + articleUrl, + cached.LastUpdatedTime) + { + PublishDate = cached.PublishDate + }; + items.Add(item); + continue; + } + + // 記事の解析 + var article = ParseArticle(id, rawTitle, contentHtml, articleUrl, pubDate); + + // 本文 HTML の生成 + var summaryHtml = GenerateSummaryHtml(article); + + var newItem = new SyndicationItem( + article.CleanTitle, + summaryHtml, + new Uri(article.Url), + article.Url, + article.PublishDate) + { + PublishDate = article.PublishDate + }; + + items.Add(newItem); + } + + // 既存フィードのうち API に含まれなかった未重複記事をマージ(最大100件まで保持) + foreach (var kvp in existingEntries) + { + if (items.Any(i => i.Id == kvp.Key)) + { + continue; + } + + var oldItem = new SyndicationItem( + kvp.Value.Title, + kvp.Value.SummaryHtml, + new Uri(kvp.Key), + kvp.Key, + kvp.Value.LastUpdatedTime) + { + PublishDate = kvp.Value.PublishDate + }; + items.Add(oldItem); + + if (items.Count >= 100) + { + break; + } + } + + feed.Items = items; + + // ドメイン別ディレクトリ output/jpfiles.net/jpfiles.xml に出力 + await CmnUtil.ExportXMLFileAsync( + fileName, + feed, + client, + addDir: DomainDir, + embedBase64: false, + filter24Hours: false); + + LogManager.AddLog($"[情報] 【jpfiles】 出力完了: {items.Count} 件 (フォルダ: {DomainDir})"); + } + catch (Exception ex) + { + LogManager.AddLog($"[エラー] 【jpfiles】 RSS生成処理中にエラーが発生しました: {ex.Message}"); + CmnUtil.PrintCallStackToEvent(ex); + } + } + + #endregion + + #region □メソッド(Private) + + /// + /// 既存の RSS フィードファイルから記事情報を読み込み、URL をキーとする辞書として取得します。 + /// + /// 読み込む XML ファイル名 + /// 既存記事辞書 + private static Dictionary LoadExistingEntries(string fileName) + { + var result = new Dictionary(StringComparer.OrdinalIgnoreCase); + var filePath = CmnUtil.GetExportXmlPath(fileName, DomainDir); + + if (!File.Exists(filePath)) + { + return result; + } + + try + { + using var reader = XmlReader.Create(filePath); + var feed = SyndicationFeed.Load(reader); + + if (feed?.Items == null) + { + return result; + } + + foreach (var item in feed.Items) + { + var link = item.Links.FirstOrDefault()?.Uri?.ToString() ?? item.Id; + if (string.IsNullOrWhiteSpace(link) || result.ContainsKey(link)) + { + continue; + } + + var title = item.Title?.Text ?? string.Empty; + var summary = item.Summary?.Text ?? string.Empty; + + result[link] = new ExistingFeedEntry + { + Title = title, + SummaryHtml = summary, + PublishDate = item.PublishDate, + LastUpdatedTime = item.LastUpdatedTime + }; + } + } + catch (Exception ex) + { + LogManager.AddLog($"[警告] 【jpfiles】 既存フィード読み込み中にエラーが発生しました: {ex.Message}"); + } + + return result; + } + + /// + /// 生のタイトルおよび本文 HTML から記事詳細情報(タイトル整形、画像、ダウンロードリンク)を解析します。 + /// + /// 記事 ID + /// 生のタイトル文字列 + /// 本文 HTML + /// 記事の URL + /// 公開日時 + /// 解析された記事詳細情報 + private static ArticleInfo ParseArticle(long id, string rawTitle, string contentHtml, string articleUrl, DateTimeOffset pubDate) + { + var decodedTitle = WebUtility.HtmlDecode(rawTitle).Trim(); + + // カテゴリタグの抽出(例: [BDRIP], [DVDRIP], [Onlyfans], [Minisuka] 等) + var categoryTag = string.Empty; + var tagMatch = Regex.Match(decodedTitle, @"^\s*(\[[^\]]+\])"); + if (tagMatch.Success) + { + categoryTag = tagMatch.Groups[1].Value.Trim(); + } + + // Windows フォルダ名禁止文字の全角置換 + var cleanTitle = SanitizeForWindows(decodedTitle); + + var article = new ArticleInfo + { + Id = id, + Url = articleUrl, + RawTitle = decodedTitle, + CleanTitle = cleanTitle, + CategoryTag = categoryTag, + PublishDate = pubDate + }; + + // 画像の抽出(Pixhost または TurboImageHost 等) + ExtractImages(contentHtml, article); + + // ダウンロードリンクの抽出(Rapidgator, Katfile, Nitroflare, Frdl 等) + article.Downloads = ExtractDownloads(contentHtml); + + return article; + } + + /// + /// 本文 HTML からサムネイル画像および原寸表示用 URL を抽出して記事情報に設定します。 + /// + /// 本文 HTML + /// 記事詳細情報オブジェクト + private static void ExtractImages(string contentHtml, ArticleInfo article) + { + if (string.IsNullOrWhiteSpace(contentHtml)) + { + return; + } + + // 1. サムネイル画像 の抽出 + var imgMatches = Regex.Matches(contentHtml, @"]+src=[""']([^""']+)[""']", RegexOptions.IgnoreCase); + foreach (Match match in imgMatches) + { + var src = match.Groups[1].Value.Trim(); + if (string.IsNullOrWhiteSpace(src)) + { + continue; + } + + // Pixhost サムネイル等の画像を採用 + if (src.Contains("pixhost.cc") || src.Contains("turboimagehost.com") || src.Contains(".jpg") || src.Contains(".png") || src.Contains(".webp")) + { + article.CoverImageUrl = src; + break; + } + } + + // 2. 原寸表示リンク の抽出 + var aMatches = Regex.Matches(contentHtml, @"]+href=[""']([^""']+)[""']", RegexOptions.IgnoreCase); + foreach (Match match in aMatches) + { + var href = match.Groups[1].Value.Trim(); + if (href.Contains("pixhost.cc/show/") || href.Contains("turboimagehost.com/p/")) + { + article.CoverOriginalUrl = href; + break; + } + } + + // 原寸リンクが見つからず画像のみある場合は画像URLを代用 + if (string.IsNullOrWhiteSpace(article.CoverOriginalUrl) && !string.IsNullOrWhiteSpace(article.CoverImageUrl)) + { + article.CoverOriginalUrl = article.CoverImageUrl; + } + } + + /// + /// 本文 HTML から主要アップローダーのダウンロードリンクを抽出してリストとして取得します。 + /// + /// 本文 HTML + /// ダウンロードリンク一覧 + private static List ExtractDownloads(string contentHtml) + { + var downloads = new List(); + if (string.IsNullOrWhiteSpace(contentHtml)) + { + return downloads; + } + + // 本文内のすべての タグを探索 + var matches = Regex.Matches(contentHtml, @"]+href=[""']([^""']+)[""'][^>]*>(.*?)", RegexOptions.IgnoreCase | RegexOptions.Singleline); + var seenUrls = new HashSet(StringComparer.OrdinalIgnoreCase); + + foreach (Match match in matches) + { + var url = match.Groups[1].Value.Trim(); + if (string.IsNullOrWhiteSpace(url) || seenUrls.Contains(url)) + { + continue; + } + + if (!Uri.TryCreate(url, UriKind.Absolute, out var uri)) + { + continue; + } + + var host = uri.Host.ToLowerInvariant(); + + // アップローダー判定とメタデータ付与 + string providerName; + string bgColor; + + if (host.Contains("rapidgator.net")) + { + providerName = "Rapidgator"; + bgColor = "#1976d2"; // ブルー + } + else if (host.Contains("katfile.")) + { + providerName = "Katfile"; + bgColor = "#f57c00"; // オレンジ + } + else if (host.Contains("nitroflare.com")) + { + providerName = "Nitroflare"; + bgColor = "#d32f2f"; // レッド + } + else if (host.Contains("frdl.io")) + { + providerName = "Frdl"; + bgColor = "#388e3c"; // グリーン + } + else if (host.Contains("uploady.io")) + { + providerName = "Uploady"; + bgColor = "#7b1fa2"; // パープル + } + else if (host.Contains("mexashare.com") || host.Contains("rosefile.net") || host.Contains("alfafile.net") || host.Contains("ddownload.com")) + { + providerName = host; + bgColor = "#455a64"; // ダークスレート + } + else + { + // Pixhost や jpfiles 内部リンクなどは除外 + continue; + } + + seenUrls.Add(url); + + // パート情報またはファイル名ラベルの判定(URL 末尾から判定) + var partLabel = DeterminePartLabel(url); + + downloads.Add(new DownloadItem + { + ProviderName = providerName, + Url = url, + PartLabel = partLabel, + BgColor = bgColor + }); + } + + return downloads; + } + + /// + /// URL からパート情報(Part 1, Part 2 等)またはファイル名ラベルを判定します。 + /// + /// ダウンロード URL + /// パート表示ラベル + private static string DeterminePartLabel(string url) + { + var fileName = Path.GetFileName(new Uri(url).AbsolutePath); + + // .part1.rar, .part2.rar などのパート表記を検出 + var partMatch = Regex.Match(fileName, @"\.part(\d+)\.", RegexOptions.IgnoreCase); + if (partMatch.Success) + { + return $"Part {partMatch.Groups[1].Value}"; + } + + // part1, part2 等 + var altPartMatch = Regex.Match(fileName, @"part(\d+)", RegexOptions.IgnoreCase); + if (altPartMatch.Success) + { + return $"Part {altPartMatch.Groups[1].Value}"; + } + + // 単一ファイルの場合、拡張子を含めて簡潔に表示 + if (!string.IsNullOrWhiteSpace(fileName)) + { + return fileName.Length > 20 ? fileName.Substring(fileName.Length - 20) : fileName; + } + + return "ダウンロード"; + } + + /// + /// Windows のフォルダ名に使用できない禁止文字(\ / : * ? " < > |)を全角文字に置換します。 + /// + /// 対象文字列 + /// 置換後の安全な文字列 + private static string SanitizeForWindows(string text) + { + if (string.IsNullOrWhiteSpace(text)) + { + return string.Empty; + } + + var sb = new StringBuilder(text); + sb.Replace('\\', '¥'); + sb.Replace('/', '/'); + sb.Replace(':', ':'); + sb.Replace('*', '*'); + sb.Replace('?', '?'); + sb.Replace('"', '”'); + sb.Replace('<', '<'); + sb.Replace('>', '>'); + sb.Replace('|', '|'); + + // 改行コードを除去 + sb.Replace("\r", " ").Replace("\n", " "); + + return Regex.Replace(sb.ToString(), @"\s+", " ").Trim(); + } + + /// + /// 記事詳細情報から、整形された視認性の高い本文 HTML を生成します。 + /// + /// 記事詳細情報オブジェクト + /// 生成された本文 HTML + private static string GenerateSummaryHtml(ArticleInfo article) + { + var sb = new StringBuilder(); + + // コンテナ開始(スタイル定義) + sb.AppendLine($"
"); + + // 1. バッジ・タグ表示 + sb.AppendLine("
"); + sb.AppendLine(" JPFILES.NET"); + + if (!string.IsNullOrWhiteSpace(article.CategoryTag)) + { + sb.AppendLine($" {WebUtility.HtmlEncode(article.CategoryTag)}"); + } + + sb.AppendLine("
"); + + // 2. コピー用フォルダ名枠(クリックで全選択できるワンクリックコピー仕様) + sb.AppendLine("
"); + sb.AppendLine("
📁 フォルダ名用タイトル(クリックで全選択)
"); + sb.AppendLine($" "); + sb.AppendLine("
"); + + // 3. タイトル表示 + sb.AppendLine($"

{WebUtility.HtmlEncode(article.CleanTitle)}

"); + + // 4. ダウンロードリンク群(タイトル直下にグリッド配置) + if (article.Downloads.Count > 0) + { + sb.AppendLine("
"); + sb.AppendLine("
⚡ ダイレクト・ダウンロードリンク(直リンク)
"); + sb.AppendLine("
"); + + foreach (var dl in article.Downloads) + { + var label = $"{dl.ProviderName} {dl.PartLabel}"; + sb.AppendLine($" ⬇ {WebUtility.HtmlEncode(label)}"); + } + + sb.AppendLine("
"); + sb.AppendLine("
"); + } + + // 5. カバー画像表示(サムネイル表示 & クリックで原寸表示) + if (!string.IsNullOrWhiteSpace(article.CoverImageUrl)) + { + var openUrl = !string.IsNullOrWhiteSpace(article.CoverOriginalUrl) ? article.CoverOriginalUrl : article.CoverImageUrl; + sb.AppendLine("
"); + sb.AppendLine($" "); + sb.AppendLine($" \"{WebUtility.HtmlEncode(article.CleanTitle)}\""); + sb.AppendLine(" "); + sb.AppendLine("
※画像クリックで高解像度表示
"); + sb.AppendLine("
"); + } + + // 6. 元記事リンクおよびフォーマット識別タグ + sb.AppendLine("
"); + sb.AppendLine($" 🌐 jpfiles.net の元記事を見る"); + sb.AppendLine("
"); + + // キャッシュ識別用タグ + sb.AppendLine($" "); + + sb.AppendLine("
"); + + return sb.ToString(); + } + + #endregion +} diff --git a/rss-generator/Program.cs b/rss-generator/Program.cs index 3ac173f..f228236 100644 --- a/rss-generator/Program.cs +++ b/rss-generator/Program.cs @@ -10,6 +10,7 @@ using rss_generator.Class.HentaiPaw; using rss_generator.Class.HitomiLa; using rss_generator.Class.JapaneseAvi; using rss_generator.Class.Javtwi; +using rss_generator.Class.Jpfiles; using rss_generator.Class.KimochiInfo; using rss_generator.Class.Mangalear; using rss_generator.Class.MissAV; @@ -101,6 +102,7 @@ while (true) nonFlareActions.Add(("YouTube", client => YouTubeFeedManager.CreateRSSAsync(client))); nonFlareActions.Add(("ryuugames", client => ryuugames.CreateRSSAsync(client))); nonFlareActions.Add(("japaneseavi", client => japaneseavi.CreateRSSAsync(client))); + nonFlareActions.Add(("jpfiles", client => jpfiles.CreateRSSAsync(client))); #else // ※ movie.eroterest.net は取得処理停止のため除外 nonFlareActions.Add(("ryuugames", client => ryuugames.CreateRSSAsync(client))); @@ -108,6 +110,7 @@ while (true) nonFlareActions.Add(("X (Twitter)", client => x_list.CreateRSSAsync(client))); nonFlareActions.Add(("kimochiinfo", client => kimochiinfo.CreateRSSAsync(client))); nonFlareActions.Add(("japaneseavi", client => japaneseavi.CreateRSSAsync(client))); + nonFlareActions.Add(("jpfiles", client => jpfiles.CreateRSSAsync(client))); nonFlareActions.Add(("ci_en", client => ci_en.CreateRSSAsync(client))); nonFlareActions.Add(("javtwi", client => javtwi.CreateRSSAsync(client))); nonFlareActions.Add(("mangalear", client => mangalear.CreateRSSAsync(client)));