Files
rss-generator/rss-generator/Class/Jpfiles/jpfiles.cs
T

644 lines
26 KiB
C#
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Net.Http;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.Json;
using System.Text.RegularExpressions;
using System.Threading.Tasks;
using System.Xml;
using rss_generator.Class.Common;
namespace rss_generator.Class.Jpfiles;
/// <summary>
/// jpfiles.net から最新記事を収集し、RSS フィード (jpfiles.xml) を生成・出力するクラスです。
/// </summary>
internal class jpfiles
{
#region □定数(Private)
/// <summary>
/// プロジェクト固有規則に基づく出力先ドメインディレクトリ名です。
/// </summary>
private const string DomainDir = "jpfiles.net";
/// <summary>
/// キャッシュ判定用の最新フォーマット識別子です。
/// </summary>
private const string CacheFormatTag = "jpfiles-format-v1";
#endregion
#region □クラス(Private)
/// <summary>
/// 既存の RSS フィードから読み込んだ記事情報を保持する内部クラスです。
/// </summary>
private sealed class ExistingFeedEntry
{
/// <summary>記事のタイトルを取得または設定します。</summary>
public string Title { get; set; } = string.Empty;
/// <summary>記事の本文 HTML (Summary) を取得または設定します。</summary>
public string SummaryHtml { get; set; } = string.Empty;
/// <summary>記事の初回公開日時を取得または設定します。</summary>
public DateTimeOffset PublishDate { get; set; }
/// <summary>記事の最終更新日時を取得または設定します。</summary>
public DateTimeOffset LastUpdatedTime { get; set; }
}
/// <summary>
/// 各種アップローダーのダウンロードリンク情報を保持する内部クラスです。
/// </summary>
private sealed class DownloadItem
{
/// <summary>プロバイダー名(Rapidgator, Katfile, Nitroflare 等)を取得または設定します。</summary>
public string ProviderName { get; set; } = string.Empty;
/// <summary>ダウンロード用 URL を取得または設定します。</summary>
public string Url { get; set; } = string.Empty;
/// <summary>パート名またはファイル名表示(例: Part 1, Part 2, Full)を取得または設定します。</summary>
public string PartLabel { get; set; } = string.Empty;
/// <summary>ボタンスタイルの背景色カラーコードを取得または設定します。</summary>
public string BgColor { get; set; } = "#1976d2";
}
/// <summary>
/// 解析された記事詳細情報を保持する内部クラスです。
/// </summary>
private sealed class ArticleInfo
{
/// <summary>記事 ID を取得または設定します。</summary>
public long Id { get; set; }
/// <summary>記事の URL を取得または設定します。</summary>
public string Url { get; set; } = string.Empty;
/// <summary>元記事の生のタイトルを取得または設定します。</summary>
public string RawTitle { get; set; } = string.Empty;
/// <summary>Windows フォルダ名用に整形されたタイトルを取得または設定します。</summary>
public string CleanTitle { get; set; } = string.Empty;
/// <summary>カテゴリ・品番タグ(例: [BDRIP], [DVDRIP], [Onlyfans] 等)を取得または設定します。</summary>
public string CategoryTag { get; set; } = string.Empty;
/// <summary>記事の公開日時を取得または設定します。</summary>
public DateTimeOffset PublishDate { get; set; }
/// <summary>カバー画像の URL を取得または設定します。</summary>
public string CoverImageUrl { get; set; } = string.Empty;
/// <summary>カバー画像の原寸リンク URL を取得または設定します。</summary>
public string CoverOriginalUrl { get; set; } = string.Empty;
/// <summary>ダウンロードリンク一覧を取得または設定します。</summary>
public List<DownloadItem> Downloads { get; set; } = new();
}
#endregion
#region □メソッド(Public)
/// <summary>
/// jpfiles.net から記事情報を収集し、RSS フィード (jpfiles.xml) を生成・出力します。
/// プロジェクト固有規則に基づき、ドメイン別ディレクトリ output/jpfiles.net/ に出力します。
/// </summary>
/// <param name="client">HTTP 通信用 HttpClient</param>
/// <returns>非同期タスク</returns>
public static async Task CreateRSSAsync(HttpClient client)
{
var feedUrl = "https://jpfiles.net/wp-json/wp/v2/posts?per_page=50";
var fileName = "jpfiles.xml";
var feed = new SyndicationFeed(
"jpfiles.net 最新ダウンロード",
"jpfiles.net の最新記事およびダイレクトダウンロードリンク一覧",
new Uri("https://jpfiles.net/"));
var items = new List<SyndicationItem>();
try
{
// 既存フィードの読み込み(ドメイン別サブディレクトリ output/jpfiles.net/jpfiles.xml)
var existingEntries = LoadExistingEntries(fileName);
// WordPress REST API から JSON データを取得
using var request = new HttpRequestMessage(HttpMethod.Get, feedUrl);
request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
var response = await client.SendAsync(request);
response.EnsureSuccessStatusCode();
var jsonString = await response.Content.ReadAsStringAsync();
using var jsonDoc = JsonDocument.Parse(jsonString);
if (jsonDoc.RootElement.ValueKind != JsonValueKind.Array)
{
LogManager.AddLog("[情報] 【jpfiles】 記事データが配列形式ではありませんでした。");
return;
}
foreach (var postElem in jsonDoc.RootElement.EnumerateArray())
{
var id = postElem.TryGetProperty("id", out var idElem) ? idElem.GetInt64() : 0;
var articleUrl = postElem.TryGetProperty("link", out var linkElem) ? linkElem.GetString() ?? string.Empty : string.Empty;
var rawTitle = string.Empty;
if (postElem.TryGetProperty("title", out var titleElem) &&
titleElem.TryGetProperty("rendered", out var titleTextElem))
{
rawTitle = titleTextElem.GetString() ?? string.Empty;
}
var contentHtml = string.Empty;
if (postElem.TryGetProperty("content", out var contentElem) &&
contentElem.TryGetProperty("rendered", out var contentTextElem))
{
contentHtml = contentTextElem.GetString() ?? string.Empty;
}
// 公開日時 (date_gmt または date)
var pubDate = DateTimeOffset.UtcNow;
if (postElem.TryGetProperty("date_gmt", out var dateGmtElem) &&
DateTimeOffset.TryParse(dateGmtElem.GetString(), out var parsedGmt))
{
pubDate = parsedGmt;
}
else if (postElem.TryGetProperty("date", out var dateElem) &&
DateTimeOffset.TryParse(dateElem.GetString(), out var parsedDate))
{
pubDate = parsedDate;
}
if (string.IsNullOrWhiteSpace(articleUrl) || string.IsNullOrWhiteSpace(rawTitle))
{
continue;
}
// 既存キャッシュの確認
if (existingEntries.TryGetValue(articleUrl, out var cached) &&
!string.IsNullOrWhiteSpace(cached.SummaryHtml) &&
cached.SummaryHtml.Contains(CacheFormatTag))
{
var item = new SyndicationItem(
cached.Title,
cached.SummaryHtml,
new Uri(articleUrl),
articleUrl,
cached.LastUpdatedTime)
{
PublishDate = cached.PublishDate
};
items.Add(item);
continue;
}
// 記事の解析
var article = ParseArticle(id, rawTitle, contentHtml, articleUrl, pubDate);
// 本文 HTML の生成
var summaryHtml = GenerateSummaryHtml(article);
var newItem = new SyndicationItem(
article.CleanTitle,
summaryHtml,
new Uri(article.Url),
article.Url,
article.PublishDate)
{
PublishDate = article.PublishDate
};
items.Add(newItem);
}
// 既存フィードのうち API に含まれなかった未重複記事をマージ(最大100件まで保持)
foreach (var kvp in existingEntries)
{
if (items.Any(i => i.Id == kvp.Key))
{
continue;
}
var oldItem = new SyndicationItem(
kvp.Value.Title,
kvp.Value.SummaryHtml,
new Uri(kvp.Key),
kvp.Key,
kvp.Value.LastUpdatedTime)
{
PublishDate = kvp.Value.PublishDate
};
items.Add(oldItem);
if (items.Count >= 100)
{
break;
}
}
feed.Items = items;
// ドメイン別ディレクトリ output/jpfiles.net/jpfiles.xml に出力
await CmnUtil.ExportXMLFileAsync(
fileName,
feed,
client,
addDir: DomainDir,
embedBase64: false,
filter24Hours: false);
LogManager.AddLog($"[情報] 【jpfiles】 出力完了: {items.Count} 件 (フォルダ: {DomainDir})");
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 【jpfiles】 RSS生成処理中にエラーが発生しました: {ex.Message}");
CmnUtil.PrintCallStackToEvent(ex);
}
}
#endregion
#region □メソッド(Private)
/// <summary>
/// 既存の RSS フィードファイルから記事情報を読み込み、URL をキーとする辞書として取得します。
/// </summary>
/// <param name="fileName">読み込む XML ファイル名</param>
/// <returns>既存記事辞書</returns>
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
{
var result = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
var filePath = CmnUtil.GetExportXmlPath(fileName, DomainDir);
if (!File.Exists(filePath))
{
return result;
}
try
{
using var reader = XmlReader.Create(filePath);
var feed = SyndicationFeed.Load(reader);
if (feed?.Items == null)
{
return result;
}
foreach (var item in feed.Items)
{
var link = item.Links.FirstOrDefault()?.Uri?.ToString() ?? item.Id;
if (string.IsNullOrWhiteSpace(link) || result.ContainsKey(link))
{
continue;
}
var title = item.Title?.Text ?? string.Empty;
var summary = item.Summary?.Text ?? string.Empty;
result[link] = new ExistingFeedEntry
{
Title = title,
SummaryHtml = summary,
PublishDate = item.PublishDate,
LastUpdatedTime = item.LastUpdatedTime
};
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] 【jpfiles】 既存フィード読み込み中にエラーが発生しました: {ex.Message}");
}
return result;
}
/// <summary>
/// 生のタイトルおよび本文 HTML から記事詳細情報(タイトル整形、画像、ダウンロードリンク)を解析します。
/// </summary>
/// <param name="id">記事 ID</param>
/// <param name="rawTitle">生のタイトル文字列</param>
/// <param name="contentHtml">本文 HTML</param>
/// <param name="articleUrl">記事の URL</param>
/// <param name="pubDate">公開日時</param>
/// <returns>解析された記事詳細情報</returns>
private static ArticleInfo ParseArticle(long id, string rawTitle, string contentHtml, string articleUrl, DateTimeOffset pubDate)
{
var decodedTitle = WebUtility.HtmlDecode(rawTitle).Trim();
// カテゴリタグの抽出(例: [BDRIP], [DVDRIP], [Onlyfans], [Minisuka] 等)
var categoryTag = string.Empty;
var tagMatch = Regex.Match(decodedTitle, @"^\s*(\[[^\]]+\])");
if (tagMatch.Success)
{
categoryTag = tagMatch.Groups[1].Value.Trim();
}
// Windows フォルダ名禁止文字の全角置換
var cleanTitle = SanitizeForWindows(decodedTitle);
var article = new ArticleInfo
{
Id = id,
Url = articleUrl,
RawTitle = decodedTitle,
CleanTitle = cleanTitle,
CategoryTag = categoryTag,
PublishDate = pubDate
};
// 画像の抽出(Pixhost または TurboImageHost 等)
ExtractImages(contentHtml, article);
// ダウンロードリンクの抽出(Rapidgator, Katfile, Nitroflare, Frdl 等)
article.Downloads = ExtractDownloads(contentHtml);
return article;
}
/// <summary>
/// 本文 HTML からサムネイル画像および原寸表示用 URL を抽出して記事情報に設定します。
/// </summary>
/// <param name="contentHtml">本文 HTML</param>
/// <param name="article">記事詳細情報オブジェクト</param>
private static void ExtractImages(string contentHtml, ArticleInfo article)
{
if (string.IsNullOrWhiteSpace(contentHtml))
{
return;
}
// 1. サムネイル画像 <img src="..."> の抽出
var imgMatches = Regex.Matches(contentHtml, @"<img[^>]+src=[""']([^""']+)[""']", RegexOptions.IgnoreCase);
foreach (Match match in imgMatches)
{
var src = match.Groups[1].Value.Trim();
if (string.IsNullOrWhiteSpace(src))
{
continue;
}
// Pixhost サムネイル等の画像を採用
if (src.Contains("pixhost.cc") || src.Contains("turboimagehost.com") || src.Contains(".jpg") || src.Contains(".png") || src.Contains(".webp"))
{
article.CoverImageUrl = src;
break;
}
}
// 2. 原寸表示リンク <a href="https://pixhost.cc/show/..."> の抽出
var aMatches = Regex.Matches(contentHtml, @"<a[^>]+href=[""']([^""']+)[""']", RegexOptions.IgnoreCase);
foreach (Match match in aMatches)
{
var href = match.Groups[1].Value.Trim();
if (href.Contains("pixhost.cc/show/") || href.Contains("turboimagehost.com/p/"))
{
article.CoverOriginalUrl = href;
break;
}
}
// 原寸リンクが見つからず画像のみある場合は画像URLを代用
if (string.IsNullOrWhiteSpace(article.CoverOriginalUrl) && !string.IsNullOrWhiteSpace(article.CoverImageUrl))
{
article.CoverOriginalUrl = article.CoverImageUrl;
}
}
/// <summary>
/// 本文 HTML から主要アップローダーのダウンロードリンクを抽出してリストとして取得します。
/// </summary>
/// <param name="contentHtml">本文 HTML</param>
/// <returns>ダウンロードリンク一覧</returns>
private static List<DownloadItem> ExtractDownloads(string contentHtml)
{
var downloads = new List<DownloadItem>();
if (string.IsNullOrWhiteSpace(contentHtml))
{
return downloads;
}
// 本文内のすべての <a href="..."> タグを探索
var matches = Regex.Matches(contentHtml, @"<a[^>]+href=[""']([^""']+)[""'][^>]*>(.*?)</a>", RegexOptions.IgnoreCase | RegexOptions.Singleline);
var seenUrls = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
foreach (Match match in matches)
{
var url = match.Groups[1].Value.Trim();
if (string.IsNullOrWhiteSpace(url) || seenUrls.Contains(url))
{
continue;
}
if (!Uri.TryCreate(url, UriKind.Absolute, out var uri))
{
continue;
}
var host = uri.Host.ToLowerInvariant();
// アップローダー判定とメタデータ付与
string providerName;
string bgColor;
if (host.Contains("rapidgator.net"))
{
providerName = "Rapidgator";
bgColor = "#1976d2"; // ブルー
}
else if (host.Contains("katfile."))
{
providerName = "Katfile";
bgColor = "#f57c00"; // オレンジ
}
else if (host.Contains("nitroflare.com"))
{
providerName = "Nitroflare";
bgColor = "#d32f2f"; // レッド
}
else if (host.Contains("frdl.io"))
{
providerName = "Frdl";
bgColor = "#388e3c"; // グリーン
}
else if (host.Contains("uploady.io"))
{
providerName = "Uploady";
bgColor = "#7b1fa2"; // パープル
}
else if (host.Contains("mexashare.com") || host.Contains("rosefile.net") || host.Contains("alfafile.net") || host.Contains("ddownload.com"))
{
providerName = host;
bgColor = "#455a64"; // ダークスレート
}
else
{
// Pixhost や jpfiles 内部リンクなどは除外
continue;
}
seenUrls.Add(url);
// パート情報またはファイル名ラベルの判定(URL 末尾から判定)
var partLabel = DeterminePartLabel(url);
downloads.Add(new DownloadItem
{
ProviderName = providerName,
Url = url,
PartLabel = partLabel,
BgColor = bgColor
});
}
return downloads;
}
/// <summary>
/// URL からパート情報(Part 1, Part 2 等)またはファイル名ラベルを判定します。
/// </summary>
/// <param name="url">ダウンロード URL</param>
/// <returns>パート表示ラベル</returns>
private static string DeterminePartLabel(string url)
{
var fileName = Path.GetFileName(new Uri(url).AbsolutePath);
// .part1.rar, .part2.rar などのパート表記を検出
var partMatch = Regex.Match(fileName, @"\.part(\d+)\.", RegexOptions.IgnoreCase);
if (partMatch.Success)
{
return $"Part {partMatch.Groups[1].Value}";
}
// part1, part2 等
var altPartMatch = Regex.Match(fileName, @"part(\d+)", RegexOptions.IgnoreCase);
if (altPartMatch.Success)
{
return $"Part {altPartMatch.Groups[1].Value}";
}
// 単一ファイルの場合、拡張子を含めて簡潔に表示
if (!string.IsNullOrWhiteSpace(fileName))
{
return fileName.Length > 20 ? fileName.Substring(fileName.Length - 20) : fileName;
}
return "ダウンロード";
}
/// <summary>
/// Windows のフォルダ名に使用できない禁止文字(\ / : * ? " &lt; &gt; |)を全角文字に置換します。
/// </summary>
/// <param name="text">対象文字列</param>
/// <returns>置換後の安全な文字列</returns>
private static string SanitizeForWindows(string text)
{
if (string.IsNullOrWhiteSpace(text))
{
return string.Empty;
}
var sb = new StringBuilder(text);
sb.Replace('\\', '¥');
sb.Replace('/', '/');
sb.Replace(':', ':');
sb.Replace('*', '*');
sb.Replace('?', '?');
sb.Replace('"', '”');
sb.Replace('<', '<');
sb.Replace('>', '>');
sb.Replace('|', '|');
// 改行コードを除去
sb.Replace("\r", " ").Replace("\n", " ");
return Regex.Replace(sb.ToString(), @"\s+", " ").Trim();
}
/// <summary>
/// 記事詳細情報から、整形された視認性の高い本文 HTML を生成します。
/// </summary>
/// <param name="article">記事詳細情報オブジェクト</param>
/// <returns>生成された本文 HTML</returns>
private static string GenerateSummaryHtml(ArticleInfo article)
{
var sb = new StringBuilder();
// コンテナ開始(スタイル定義)
sb.AppendLine($"<div style=\"font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'Helvetica Neue', Arial, sans-serif; line-height: 1.6; color: #212529; max-width: 800px; margin: 0 auto;\">");
// 1. バッジ・タグ表示
sb.AppendLine(" <div style=\"margin-bottom: 12px;\">");
sb.AppendLine(" <span style=\"display: inline-block; background-color: #1a237e; color: #ffffff; padding: 3px 8px; font-size: 11px; font-weight: bold; border-radius: 4px; margin-right: 6px;\">JPFILES.NET</span>");
if (!string.IsNullOrWhiteSpace(article.CategoryTag))
{
sb.AppendLine($" <span style=\"display: inline-block; background-color: #37474f; color: #ffffff; padding: 3px 8px; font-size: 11px; font-weight: bold; border-radius: 4px; margin-right: 6px;\">{WebUtility.HtmlEncode(article.CategoryTag)}</span>");
}
sb.AppendLine(" </div>");
// 2. コピー用フォルダ名枠(クリックで全選択できるワンクリックコピー仕様)
sb.AppendLine(" <div style=\"margin-bottom: 16px; background-color: #f8f9fa; border: 1px solid #ced4da; border-radius: 6px; padding: 10px;\">");
sb.AppendLine(" <div style=\"font-size: 11px; color: #6c757d; font-weight: bold; margin-bottom: 4px;\">📁 フォルダ名用タイトル(クリックで全選択)</div>");
sb.AppendLine($" <input type=\"text\" readonly value=\"{WebUtility.HtmlEncode(article.CleanTitle)}\" onclick=\"this.select();\" style=\"width: 100%; padding: 6px 10px; font-size: 13px; font-family: Consolas, monospace; background-color: #ffffff; border: 1px solid #adb5bd; border-radius: 4px; box-sizing: border-box; cursor: pointer; color: #212529;\" />");
sb.AppendLine(" </div>");
// 3. タイトル表示
sb.AppendLine($" <h2 style=\"font-size: 17px; font-weight: bold; margin: 0 0 16px 0; color: #0d47a1; line-height: 1.4;\">{WebUtility.HtmlEncode(article.CleanTitle)}</h2>");
// 4. ダウンロードリンク群(タイトル直下にグリッド配置)
if (article.Downloads.Count > 0)
{
sb.AppendLine(" <div style=\"margin-bottom: 20px; background-color: #e8eaf6; border: 1px solid #c5cae9; border-radius: 8px; padding: 14px;\">");
sb.AppendLine(" <div style=\"font-size: 13px; font-weight: bold; color: #1a237e; margin-bottom: 10px;\">⚡ ダイレクト・ダウンロードリンク(直リンク)</div>");
sb.AppendLine(" <div style=\"display: flex; flex-wrap: wrap; gap: 8px;\">");
foreach (var dl in article.Downloads)
{
var label = $"{dl.ProviderName} {dl.PartLabel}";
sb.AppendLine($" <a href=\"{WebUtility.HtmlEncode(dl.Url)}\" target=\"_blank\" rel=\"noopener noreferrer\" style=\"display: inline-block; background-color: {dl.BgColor}; color: #ffffff; padding: 8px 14px; font-size: 12px; font-weight: bold; text-decoration: none; border-radius: 6px; box-shadow: 0 1px 3px rgba(0,0,0,0.15); transition: opacity 0.2s;\">⬇ {WebUtility.HtmlEncode(label)}</a>");
}
sb.AppendLine(" </div>");
sb.AppendLine(" </div>");
}
// 5. カバー画像表示(サムネイル表示 & クリックで原寸表示)
if (!string.IsNullOrWhiteSpace(article.CoverImageUrl))
{
var openUrl = !string.IsNullOrWhiteSpace(article.CoverOriginalUrl) ? article.CoverOriginalUrl : article.CoverImageUrl;
sb.AppendLine(" <div style=\"text-align: center; margin: 20px 0;\">");
sb.AppendLine($" <a href=\"{WebUtility.HtmlEncode(openUrl)}\" target=\"_blank\" rel=\"noopener noreferrer\">");
sb.AppendLine($" <img src=\"{WebUtility.HtmlEncode(article.CoverImageUrl)}\" alt=\"{WebUtility.HtmlEncode(article.CleanTitle)}\" style=\"max-width: 100%; height: auto; border-radius: 6px; box-shadow: 0 2px 8px rgba(0,0,0,0.15); border: 1px solid #e0e0e0;\" />");
sb.AppendLine(" </a>");
sb.AppendLine(" <div style=\"font-size: 11px; color: #757575; margin-top: 6px;\">※画像クリックで高解像度表示</div>");
sb.AppendLine(" </div>");
}
// 6. 元記事リンクおよびフォーマット識別タグ
sb.AppendLine(" <div style=\"margin-top: 20px; padding-top: 10px; border-top: 1px dashed #cccccc; font-size: 12px;\">");
sb.AppendLine($" <a href=\"{WebUtility.HtmlEncode(article.Url)}\" target=\"_blank\" rel=\"noopener noreferrer\" style=\"color: #1565c0; text-decoration: underline;\">🌐 jpfiles.net の元記事を見る</a>");
sb.AppendLine(" </div>");
// キャッシュ識別用タグ
sb.AppendLine($" <!-- {CacheFormatTag} -->");
sb.AppendLine("</div>");
return sb.ToString();
}
#endregion
}