Compare commits

..
10 Commits
28 changed files with 1084 additions and 306 deletions

No files matched your search

+19
View File
@@ -0,0 +1,19 @@
# .NET 10.0 ランタイムベースイメージ
FROM mcr.microsoft.com/dotnet/runtime:10.0 AS runtime
WORKDIR /app
# タイムゾーン設定 (JST) および必要なツールのインストール
RUN apt-get update && apt-get install -y --no-install-recommends \
tzdata \
ca-certificates \
curl \
&& rm -rf /var/lib/apt/lists/*
# 日本時間に設定
ENV TZ=Asia/Tokyo
# 発行済みバイナリをコンテナ内へ配置
COPY ./app .
# アプリケーション実行
ENTRYPOINT ["dotnet", "rss-generator.dll"]
+26
View File
@@ -0,0 +1,26 @@
services:
rss-generator:
build: .
image: local-rss-generator:latest
container_name: rss-generator
restart: always
mem_limit: 512m
memswap_limit: 512m
deploy:
resources:
limits:
memory: 512M
environment:
- TZ=Asia/Tokyo
# .NET GC設定: Workstation GC強制、ヒープ制限70%
- DOTNET_gcServer=0
- DOTNET_GCHeapHardLimitPercent=70
volumes:
# 生成されたXMLフィードをホストの C:\feeds に出力
- C:\feeds:/app/output
networks:
- common-network
networks:
common-network:
external: true
+312 -1
View File
@@ -8,12 +8,15 @@ using System.Diagnostics;
using System.Net;
using System.Net.Http.Headers;
using System.Net.Http.Json;
using System.Collections.Concurrent;
using System.Security.Cryptography;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.Json;
using System.Text.Json.Serialization;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
using System.Xml;
namespace rss_generator.Class;
@@ -120,12 +123,320 @@ public class CmnUtil
}
/// <summary>
/// Feedをファイルとして出力
/// 記事が指定の日時以降(カットオフ以降)の取得対象であるかを判定します。
/// 公開日時がカットオフ前であっても、更新日時がカットオフ以降であれば取得対象となります。
/// </summary>
/// <param name="item">判定対象のフィードアイテム</param>
/// <param name="cutoff">カットオフ日時</param>
/// <returns>取得対象であれば true、24時間以上前で対象外であれば false</returns>
public static bool IsItemWithinCutoff(SyndicationItem item, DateTimeOffset cutoff)
{
bool hasUpdated = item.LastUpdatedTime > DateTimeOffset.MinValue;
bool hasPublished = item.PublishDate > DateTimeOffset.MinValue;
// 1. 更新日時が有効で、カットオフ以降であれば対象(公開日時が24時間以上前でも救済)
if (hasUpdated && item.LastUpdatedTime >= cutoff)
{
return true;
}
// 2. 公開日時が有効で、カットオフ以降であれば対象
if (hasPublished && item.PublishDate >= cutoff)
{
return true;
}
// 3. 公開日時または更新日時のいずれかが設定されているが、どちらもカットオフ未満(古い)場合は除外
if (hasUpdated || hasPublished)
{
return false;
}
// 4. 日時情報が一切存在しないアイテム(MinValue)は念のため残す
return true;
}
/// <summary>
/// フィードアイテム一覧から、指定時間以内(デフォルト24時間)の対象アイテムのみを抽出します。
/// 公開日時が指定時間以上前であっても、更新日時が指定時間以内であれば抽出対象となります。
/// </summary>
/// <param name="items">アイテム一覧</param>
/// <param name="hours">許容時間(時間単位、デフォルト: 24時間)</param>
/// <returns>条件を満たすアイテムのリスト</returns>
public static List<SyndicationItem> FilterItemsWithinHours(IEnumerable<SyndicationItem> items, double hours = 24)
{
var cutoff = DateTimeOffset.Now.AddHours(-hours);
return items.Where(item => IsItemWithinCutoff(item, cutoff)).ToList();
}
/// <summary>
/// 全ての RSS 出力処理において、記事内の画像(img src / video poster)を自動で Base64 形式(Data URI)に変換して埋め込むかどうか。
/// 環境変数 EMBED_ALL_IMAGES_BASE64 (true/false) での上書きも可能です。
/// </summary>
public static bool EmbedAllImagesBase64
{
get
{
var envVal = Environment.GetEnvironmentVariable("EMBED_ALL_IMAGES_BASE64");
if (!string.IsNullOrWhiteSpace(envVal) && bool.TryParse(envVal, out var parsed))
{
return parsed;
}
return _embedAllImagesBase64;
}
set => _embedAllImagesBase64 = value;
}
private static bool _embedAllImagesBase64 = true;
/// <summary>
/// 画像URLから画像データを取得し、Base64 (Data URI: data:{mime};base64,{data}) 形式の文字列として返します。
/// サイト固有の Referer ヘッダーの自動付与やタイムアウト(6秒)制御を行います。
/// </summary>
public static async Task<string?> FetchImageAsBase64Async(HttpClient client, string imageUrl, int timeoutSeconds = 6)
{
if (string.IsNullOrWhiteSpace(imageUrl)) return null;
if (imageUrl.StartsWith("data:", StringComparison.OrdinalIgnoreCase)) return imageUrl;
var targetUrl = imageUrl.Trim();
// // で始まるスキーム相対URLを https: に補完
if (targetUrl.StartsWith("//"))
{
targetUrl = "https:" + targetUrl;
}
// HTML エンティティの多重エンコード(&amp; や &amp;amp; など)を完全に解決
while (targetUrl.Contains("&amp;", StringComparison.OrdinalIgnoreCase))
{
targetUrl = WebUtility.HtmlDecode(targetUrl);
}
if (!targetUrl.StartsWith("http://", StringComparison.OrdinalIgnoreCase) && !targetUrl.StartsWith("https://", StringComparison.OrdinalIgnoreCase)) return null;
try
{
using var cts = new CancellationTokenSource(TimeSpan.FromSeconds(timeoutSeconds));
using var request = new HttpRequestMessage(HttpMethod.Get, targetUrl);
// User-Agent の設定
request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36");
// ドメインに応じた適切な Referer の自動判定と付与
if (Uri.TryCreate(targetUrl, UriKind.Absolute, out var uri))
{
var host = uri.Host.ToLowerInvariant();
if (host.Contains("pximg.net") || host.Contains("pixiv"))
{
request.Headers.Referrer = new Uri("https://www.pixiv.net/");
}
else if (host.Contains("hitomi.la") || host.Contains("gold-usergeneratedcontent.net"))
{
request.Headers.Referrer = new Uri("https://hitomi.la/");
}
else if (host.Contains("ci-en.dlsite.com"))
{
request.Headers.Referrer = new Uri("https://ci-en.dlsite.com/");
}
else if (host.Contains("momon-ga.com"))
{
request.Headers.Referrer = new Uri("https://momon-ga.com/");
}
else
{
request.Headers.Referrer = new Uri($"{uri.Scheme}://{uri.Authority}/");
}
}
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, cts.Token);
if (!response.IsSuccessStatusCode)
{
return null;
}
// 2MB 以上の画像はメモリ保護のためスキップ(元のURLを参照させる)
if (response.Content.Headers.ContentLength.HasValue && response.Content.Headers.ContentLength.Value > 2 * 1024 * 1024)
{
return null;
}
var contentType = response.Content.Headers.ContentType?.MediaType;
if (string.IsNullOrWhiteSpace(contentType) || !contentType.StartsWith("image/", StringComparison.OrdinalIgnoreCase))
{
contentType = "image/jpeg";
}
var bytes = await response.Content.ReadAsByteArrayAsync(cts.Token);
if (bytes == null || bytes.Length == 0) return null;
var base64 = Convert.ToBase64String(bytes);
return $"data:{contentType};base64,{base64}";
}
catch
{
// タイムアウトや取得失敗時は元のURLのままフォールバックするため静かにnull返却
return null;
}
}
/// <summary>
/// SyndicationFeed に含まれる全記事(24時間フィルタ適用後)の HTML 本文から画像 URL を抽出し、
/// 並列ダウンロードして Base64 形式(Data URI)に置換します。
/// </summary>
public static async Task EmbedImagesAsBase64InFeedAsync(SyndicationFeed feed, HttpClient client, int maxParallel = 2)
{
if (feed.Items == null) return;
var itemsList = feed.Items.ToList();
if (itemsList.Count == 0) return;
// 1. 全アイテムの HTML から画像 URL を抽出(重複排除)
var urlPattern = new Regex(@"(?:<img\b[^>]*?\bsrc=[""'](?<url>[^""'\s>]+)[""']|<video\b[^>]*?\bposter=[""'](?<url>[^""'\s>]+)[""'])", RegexOptions.IgnoreCase | RegexOptions.Compiled);
// rawUrl -> decodedUrl のマッピング
var targetUrls = new Dictionary<string, string>(StringComparer.OrdinalIgnoreCase);
foreach (var item in itemsList)
{
var html = item.Summary?.Text ?? (item.Content as TextSyndicationContent)?.Text;
if (string.IsNullOrWhiteSpace(html)) continue;
var matches = urlPattern.Matches(html);
foreach (Match match in matches)
{
var rawUrl = match.Groups["url"].Value;
if (!string.IsNullOrWhiteSpace(rawUrl) && !rawUrl.StartsWith("data:", StringComparison.OrdinalIgnoreCase))
{
var decoded = rawUrl;
while (decoded.Contains("&amp;", StringComparison.OrdinalIgnoreCase))
{
decoded = WebUtility.HtmlDecode(decoded);
}
if (decoded.StartsWith("//"))
{
decoded = "https:" + decoded;
}
targetUrls[rawUrl] = decoded;
}
}
}
if (targetUrls.Count == 0) return;
// 2. 並列ダウンロードして Base64 辞書を構築(メモリ節約のため同時並行数は2に制御)
var cacheMap = new ConcurrentDictionary<string, string>(StringComparer.OrdinalIgnoreCase);
using var semaphore = new SemaphoreSlim(maxParallel);
var downloadTasks = targetUrls.Select(async kvp =>
{
var rawUrl = kvp.Key;
var fetchUrl = kvp.Value;
await semaphore.WaitAsync();
try
{
var dataUri = await FetchImageAsBase64Async(client, fetchUrl);
if (!string.IsNullOrWhiteSpace(dataUri))
{
cacheMap[rawUrl] = dataUri;
cacheMap[fetchUrl] = dataUri;
}
}
finally
{
semaphore.Release();
}
});
await Task.WhenAll(downloadTasks);
// 3. 各アイテムの HTML 内の画像 URL を Base64 文字列に置換
if (cacheMap.Count > 0)
{
foreach (var item in itemsList)
{
if (item.Summary != null && !string.IsNullOrWhiteSpace(item.Summary.Text))
{
var newHtml = item.Summary.Text;
bool modified = false;
foreach (var kvp in cacheMap)
{
if (newHtml.Contains(kvp.Key, StringComparison.OrdinalIgnoreCase))
{
newHtml = newHtml.Replace(kvp.Key, kvp.Value, StringComparison.OrdinalIgnoreCase);
modified = true;
}
}
if (modified)
{
item.Summary = new TextSyndicationContent(newHtml, TextSyndicationContentKind.Html);
}
}
}
}
int distinctSuccess = targetUrls.Keys.Count(k => cacheMap.ContainsKey(k));
LogManager.AddLog($"[情報] [CmnUtil] 画像の Base64 変換完了: {distinctSuccess}/{targetUrls.Count} 件成功 (記事数: {itemsList.Count})");
// 使用済みメモリの即時解放
cacheMap.Clear();
targetUrls.Clear();
}
/// <summary>
/// Feed を非同期でファイルに出力します。画像 Base64 変換が有効な場合は自動で変換を行います。
/// </summary>
public static async Task ExportXMLFileAsync(string fileName, SyndicationFeed feed, HttpClient? client = null, string addDir = "")
{
// 24時間以上前の古い記事を除外
if (feed.Items != null)
{
feed.Items = FilterItemsWithinHours(feed.Items, 24);
}
// 画像の Base64 埋め込み処理
if (EmbedAllImagesBase64 && client != null)
{
try
{
await EmbedImagesAsBase64InFeedAsync(feed, client);
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] [CmnUtil] 画像 Base64 変換中に例外発生 ({fileName}): {ex.Message}");
}
}
var filePath = GetExportXmlPath(fileName, addDir);
var settings = new XmlWriterSettings
{
Encoding = new UTF8Encoding(false), // BOMなしUTF-8
Indent = true,
Async = true
};
using var xmlWriter = XmlWriter.Create(filePath, settings);
var formatter = new Rss20FeedFormatter(feed);
formatter.WriteTo(xmlWriter);
int count = feed.Items?.Count() ?? 0;
string displayFileName = System.IO.Path.GetFileName(filePath);
LogManager.AddLog($"[情報] {displayFileName} を正常に出力しました (記事数: {count})");
}
/// <summary>
/// Feedをファイルとして出力(同期版・後方互換用)
/// </summary>
/// <param name="fileName"></param>
/// <param name="feed"></param>
public static void ExportXMLFile(string fileName, SyndicationFeed feed, string addDir = "")
{
// 24時間以上前の古い記事を除外(公開日時が24時間以上前でも、更新日時が24時間以内なら取得対象)
if (feed.Items != null)
{
feed.Items = FilterItemsWithinHours(feed.Items, 24);
}
var filePath = GetExportXmlPath(fileName, addDir);
// 文字コードをUTF-8に指定
var settings = new XmlWriterSettings
+10 -3
View File
@@ -35,8 +35,15 @@ internal class rank
var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId);
var simplifiedItems = new List<SyndicationItem>();
var cutoff = DateTimeOffset.Now.AddHours(-24);
foreach (var item in items)
{
// 24時間以上前の記事は詳細スクレイピングをスキップ
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
{
continue;
}
var simplified = await Simplified(client, item, sessionId);
if (simplified != null)
{
@@ -52,7 +59,7 @@ internal class rank
simplifiedItems
);
CmnUtil.ExportXMLFile("rank.xml", mergedFeed, "danbooru");
await CmnUtil.ExportXMLFileAsync("rank.xml", mergedFeed, client, "danbooru");
}
finally
{
@@ -272,7 +279,7 @@ internal class rank
// 画像の配置
if (!string.IsNullOrEmpty(imageUrl))
{
body.Append($@"<div><a href=""{link}""><img src=""{imageUrl}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
body.Append($@"<div><a href=""{link}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{imageUrl}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
}
// 画像のすぐ下に作者コメントを追加
@@ -300,7 +307,7 @@ internal class rank
if (!string.IsNullOrEmpty(sourceUrl))
{
body.Append($@"<div><strong>元ソース:</strong> <a href=""{sourceUrl}"" target=""_blank"">{WebUtility.HtmlEncode(sourceUrl)}</a></div>");
body.Append($@"<div><strong>元ソース:</strong> <a href=""{sourceUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{WebUtility.HtmlEncode(sourceUrl)}</a></div>");
}
if (generalTags.Count > 0)
+160 -6
View File
@@ -33,7 +33,27 @@ internal static class pixiv_common
public static string UserAgent { get; set; } = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36";
/// <summary>
/// RSSリーダー等で画像直リンク時の403エラーを回避するため、画像プロキシ(i.pixiv.re)を利用するかどうか
/// サムネイル画像を直接取得して Base64 形式(Data URI: data:image/jpeg;base64,...)で RSS に埋め込むかどうか。
/// 有効にすると RSS リーダー側での画像読み込み遅延(約9秒)および 403 エラーが完全に解消されます。
/// 環境変数 PIXIV_EMBED_BASE64 (true/false) での上書きも可能です。
/// </summary>
public static bool EmbedThumbnailBase64
{
get
{
var envVal = Environment.GetEnvironmentVariable("PIXIV_EMBED_BASE64");
if (!string.IsNullOrWhiteSpace(envVal) && bool.TryParse(envVal, out var parsed))
{
return parsed;
}
return _embedThumbnailBase64;
}
set => _embedThumbnailBase64 = value;
}
private static bool _embedThumbnailBase64 = true;
/// <summary>
/// RSSリーダー等で画像直リンク時の403エラーを回避するため、画像プロキシ(i.pixiv.re)を利用するかどうか(Base64埋め込みが無効または失敗時のフォールバック先)
/// </summary>
public static bool UseImageProxy { get; set; } = true;
@@ -298,11 +318,122 @@ internal static class pixiv_common
}
/// <summary>
/// Pixiv の作品アイテムリストを SyndicationItem のリストに変換します。
/// Pixiv の画像 URL (i.pximg.net) から直接画像データをダウンロードし、Base64 (Data URI) 形式の文字列として取得します。
/// Referer (https://www.pixiv.net/) や User-Agent、Cookie などのヘッダーを付加して取得します。
/// </summary>
/// <param name="client">HttpClient インスタンス</param>
/// <param name="imageUrl">Pixiv 画像 URL (例: https://i.pximg.net/c/250x250_80_a2/...)</param>
/// <returns>Base64 Data URI 文字列(例: "data:image/jpeg;base64,...")、失敗時は null</returns>
public static async Task<string?> FetchImageAsBase64Async(HttpClient client, string imageUrl)
{
if (string.IsNullOrWhiteSpace(imageUrl)) return null;
try
{
// プロキシドメインに置換されていた場合は i.pximg.net に戻して Pixiv 公式 CDN から直接高速取得
var targetUrl = imageUrl;
if (targetUrl.Contains(ImageProxyHost) && ImageProxyHost != "i.pximg.net")
{
targetUrl = targetUrl.Replace(ImageProxyHost, "i.pximg.net");
}
using var request = new HttpRequestMessage(HttpMethod.Get, targetUrl);
request.Headers.Referrer = new Uri(REFERER_URL);
request.Headers.Add("User-Agent", UserAgent);
var effectiveCookie = GetEffectiveCookie();
if (!string.IsNullOrWhiteSpace(effectiveCookie))
{
request.Headers.Add("Cookie", effectiveCookie);
}
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead);
if (!response.IsSuccessStatusCode)
{
AddLog($"[警告] [pixiv_common] サムネイル画像取得失敗 (Status={(int)response.StatusCode}, URL={targetUrl})");
return null;
}
var contentType = response.Content.Headers.ContentType?.MediaType ?? "image/jpeg";
var bytes = await response.Content.ReadAsByteArrayAsync();
if (bytes == null || bytes.Length == 0) return null;
var base64 = Convert.ToBase64String(bytes);
return $"data:{contentType};base64,{base64}";
}
catch (Exception ex)
{
AddLog($"[エラー] [pixiv_common] サムネイル Base64 取得例外 (URL={imageUrl}): {ex.Message}");
return null;
}
}
/// <summary>
/// Pixiv の作品アイテムリストを非同期で SyndicationItem のリストに変換します。
/// EmbedThumbnailBase64 が有効な場合、サムネイル画像を最大並列数で直接ダウンロードして Base64 埋め込みを行います。
/// </summary>
/// <param name="client">HttpClient インスタンス</param>
/// <param name="illusts">Pixiv 作品アイテム列挙</param>
/// <param name="maxParallelDownloads">画像ダウンロードの最大並列数(デフォルト: 6)</param>
/// <returns>SyndicationItem リスト</returns>
public static async Task<List<SyndicationItem>> ConvertToSyndicationItemsAsync(
HttpClient client,
IEnumerable<PixivIllustItem> illusts,
int maxParallelDownloads = 6)
{
var illustList = illusts.ToList();
var base64ImageMap = new Dictionary<string, string>(StringComparer.OrdinalIgnoreCase);
// Base64 埋め込みが有効な場合、画像を並列ダウンロードしてマップに保持
if (EmbedThumbnailBase64)
{
using var semaphore = new SemaphoreSlim(maxParallelDownloads);
var tasks = illustList
.Where(i => !string.IsNullOrWhiteSpace(i.Url))
.Select(async illust =>
{
await semaphore.WaitAsync();
try
{
var dataUri = await FetchImageAsBase64Async(client, illust.Url);
if (!string.IsNullOrWhiteSpace(dataUri))
{
lock (base64ImageMap)
{
base64ImageMap[illust.Id] = dataUri;
}
}
}
finally
{
semaphore.Release();
}
});
await Task.WhenAll(tasks);
AddLog($"[情報] [pixiv_common] サムネイル画像の Base64 取得完了: {base64ImageMap.Count}/{illustList.Count} 件成功");
}
// アイテムの組み立て(各アイテムに Base64 またはフォールバック URL を設定)
return ConvertToSyndicationItemsInternal(illustList, base64ImageMap);
}
/// <summary>
/// Pixiv の作品アイテムリストを SyndicationItem のリストに変換します(同期版・後方互換用)。
/// </summary>
/// <param name="illusts">Pixiv 作品アイテム列挙</param>
/// <returns>SyndicationItem リスト</returns>
public static List<SyndicationItem> ConvertToSyndicationItems(IEnumerable<PixivIllustItem> illusts)
{
return ConvertToSyndicationItemsInternal(illusts, null);
}
/// <summary>
/// Pixiv の作品アイテムリストを SyndicationItem のリストに変換する共通内部処理です。
/// </summary>
private static List<SyndicationItem> ConvertToSyndicationItemsInternal(
IEnumerable<PixivIllustItem> illusts,
Dictionary<string, string>? base64ImageMap)
{
var items = new List<SyndicationItem>();
@@ -375,17 +506,25 @@ internal static class pixiv_common
// 本文 HTML の生成
var body = new StringBuilder();
// 画像 URL の決定(プロキシ適用)
var displayImageUrl = illust.Url;
// 画像 URL の決定(Base64 埋め込み優先、なければプロキシまたは元URL適用)
string? displayImageUrl = null;
if (base64ImageMap != null && base64ImageMap.TryGetValue(illust.Id, out var base64Uri))
{
displayImageUrl = base64Uri;
}
else
{
displayImageUrl = illust.Url;
if (UseImageProxy && !string.IsNullOrWhiteSpace(displayImageUrl))
{
displayImageUrl = displayImageUrl.Replace("i.pximg.net", ImageProxyHost);
}
}
if (!string.IsNullOrWhiteSpace(displayImageUrl))
{
body.Append($"<div>");
body.Append($"<a href=\"{itemUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">");
body.Append($"<a href=\"{itemUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">");
body.Append($"<img src=\"{displayImageUrl}\" referrerpolicy=\"no-referrer\" alt=\"{WebUtility.HtmlEncode(illust.Title)}\" style=\"max-width: 100%; height: auto; display: block; margin-bottom: 10px;\" />");
body.Append($"</a>");
body.Append($"</div>");
@@ -393,7 +532,7 @@ internal static class pixiv_common
// 作者・作品メタ情報
body.Append($"<p>");
body.Append($"作者: <a href=\"{authorUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">{WebUtility.HtmlEncode(illust.UserName)}</a>");
body.Append($"作者: <a href=\"{authorUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">{WebUtility.HtmlEncode(illust.UserName)}</a>");
if (illust.PageCount > 1)
{
body.Append($" | ページ数: {illust.PageCount}P");
@@ -436,6 +575,21 @@ internal static class pixiv_common
return items;
}
/// <summary>
/// SyndicationFeed を作成し、指定されたファイル名の XML として非同期で出力します。
/// </summary>
public static async Task CreateAndExportFeedAsync(string feedTitle, string feedDescription, string feedLink, string fileName, List<SyndicationItem> items, HttpClient? client = null)
{
var feed = new SyndicationFeed(
feedTitle,
feedDescription,
new Uri(feedLink),
items
);
await CmnUtil.ExportXMLFileAsync(fileName, feed, client);
}
/// <summary>
/// SyndicationFeed を作成し、指定されたファイル名の XML として出力します。
/// </summary>
@@ -32,16 +32,17 @@ internal class pixiv_non_r18_ai
minCount: 30
);
// SyndicationItem のリストに変換
var items = pixiv_common.ConvertToSyndicationItems(illusts);
// SyndicationItem のリストに変換(Base64 サムネイル埋め込み対応)
var items = await pixiv_common.ConvertToSyndicationItemsAsync(client, illusts);
// フィード作成と XML 出力
pixiv_common.CreateAndExportFeed(
await pixiv_common.CreateAndExportFeedAsync(
FEED_TITLE,
FEED_DESCRIPTION,
FEED_LINK,
XML_FILE_NAME,
items
items,
client
);
}
catch (Exception ex)
@@ -32,16 +32,17 @@ internal class pixiv_non_r18_non_ai
minCount: 30
);
// SyndicationItem のリストに変換
var items = pixiv_common.ConvertToSyndicationItems(illusts);
// SyndicationItem のリストに変換(Base64 サムネイル埋め込み対応)
var items = await pixiv_common.ConvertToSyndicationItemsAsync(client, illusts);
// フィード作成と XML 出力
pixiv_common.CreateAndExportFeed(
await pixiv_common.CreateAndExportFeedAsync(
FEED_TITLE,
FEED_DESCRIPTION,
FEED_LINK,
XML_FILE_NAME,
items
items,
client
);
}
catch (Exception ex)
@@ -32,16 +32,17 @@ internal class pixiv_r18_ai
minCount: 30
);
// SyndicationItem のリストに変換
var items = pixiv_common.ConvertToSyndicationItems(illusts);
// SyndicationItem のリストに変換(Base64 サムネイル埋め込み対応)
var items = await pixiv_common.ConvertToSyndicationItemsAsync(client, illusts);
// フィード作成と XML 出力
pixiv_common.CreateAndExportFeed(
await pixiv_common.CreateAndExportFeedAsync(
FEED_TITLE,
FEED_DESCRIPTION,
FEED_LINK,
XML_FILE_NAME,
items
items,
client
);
}
catch (Exception ex)
@@ -32,16 +32,17 @@ internal class pixiv_r18_non_ai
minCount: 30
);
// SyndicationItem のリストに変換
var items = pixiv_common.ConvertToSyndicationItems(illusts);
// SyndicationItem のリストに変換(Base64 サムネイル埋め込み対応)
var items = await pixiv_common.ConvertToSyndicationItemsAsync(client, illusts);
// フィード作成と XML 出力
pixiv_common.CreateAndExportFeed(
await pixiv_common.CreateAndExportFeedAsync(
FEED_TITLE,
FEED_DESCRIPTION,
FEED_LINK,
XML_FILE_NAME,
items
items,
client
);
}
catch (Exception ex)
+23 -12
View File
@@ -1,4 +1,4 @@
using System.ServiceModel.Syndication;
using System.ServiceModel.Syndication;
namespace rss_generator.Class.RSS.X;
@@ -9,19 +9,30 @@ internal class x_list
private const string QUERY2 = "showEmojiForRetweetAndReply=1?filter_title=%5E%28🔁%7CRT%29";
public static async Task CreateRSSAsync(HttpClient client)
{
var tasks = new List<Task>()
// メモリ消費を最小化するため、各リストを1つずつ順次処理
var targets = new (string ListId, string FileName)[]
{
CreateSub1(client, "2076742238231818243", "granbluefantasy")
, CreateSub1(client, "1695011723005280535", "AI")
, CreateSub1(client, "1573473287333560321", "R18")
, CreateSub1(client, "2070669317667217577", "VR")
, CreateSub1(client, "1573916143969976320", "VTuber")
, CreateSub1(client, "2070673943057539507", "AnimeReal")
, CreateSub1(client, "1599409403743961088", "AnimeOther")
, CreateSub1(client, "2070670309846655252", "NormalIllust")
("2076742238231818243", "granbluefantasy"),
("1695011723005280535", "AI"),
("1573473287333560321", "R18"),
("2070669317667217577", "VR"),
("1573916143969976320", "VTuber"),
("2070673943057539507", "AnimeReal"),
("1599409403743961088", "AnimeOther"),
("2070670309846655252", "NormalIllust")
};
Task.WaitAll(tasks);
foreach (var (listId, fileName) in targets)
{
try
{
await CreateSub1(client, listId, fileName);
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] Xリスト生成失敗 ({fileName}): {ex.Message}");
}
}
}
public static async Task CreateSub1(HttpClient client, string listId, string fileName)
@@ -79,7 +90,7 @@ internal class x_list
simplifiedItems
);
CmnUtil.ExportXMLFile($"{fileName}.xml", mergedFeed);
await CmnUtil.ExportXMLFileAsync($"{fileName}.xml", mergedFeed, client);
}
catch (Exception ex)
{
@@ -29,8 +29,8 @@ public static class YouTubeFeedManager
var allVideoItems = new List<YouTubeVideoItem>();
var allShortsItems = new List<YouTubeVideoItem>();
// YouTubeからのレート制限を防ぐため、同時並行数を安全な値(6)に制御
using var semaphore = new System.Threading.SemaphoreSlim(6);
// メモリ消費とレート制限を抑えるため、同時並行数を2に制御
using var semaphore = new System.Threading.SemaphoreSlim(2);
var channelTasks = YouTubeConfig.Channels.Select(async channel =>
{
@@ -72,9 +72,9 @@ public static class YouTubeFeedManager
string catTitleSuffix = $" - {category}";
ExportMergedFeed(catLive, YouTubeFeedType.Live, liveFile, $"YouTube Live{catTitleSuffix}");
ExportMergedFeed(catVideo, YouTubeFeedType.Video, videoFile, $"YouTube Videos{catTitleSuffix}");
ExportMergedFeed(catShorts, YouTubeFeedType.Shorts, shortsFile, $"YouTube Shorts{catTitleSuffix}");
await ExportMergedFeedAsync(client, catLive, YouTubeFeedType.Live, liveFile, $"YouTube Live{catTitleSuffix}");
await ExportMergedFeedAsync(client, catVideo, YouTubeFeedType.Video, videoFile, $"YouTube Videos{catTitleSuffix}");
await ExportMergedFeedAsync(client, catShorts, YouTubeFeedType.Shorts, shortsFile, $"YouTube Shorts{catTitleSuffix}");
}
catch (Exception ex)
{
@@ -323,7 +323,8 @@ public static class YouTubeFeedManager
/// <summary>
/// 全チャンネル統合フィードを出力します。
/// </summary>
private static void ExportMergedFeed(
private static async Task ExportMergedFeedAsync(
HttpClient client,
List<YouTubeVideoItem> items,
YouTubeFeedType feedType,
string fileName,
@@ -353,7 +354,7 @@ public static class YouTubeFeedManager
distinctItems
);
CmnUtil.ExportXMLFile(fileName, feed, YouTubeConfig.OutputSubDir);
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, YouTubeConfig.OutputSubDir);
}
/// <summary>
@@ -395,10 +396,10 @@ public static class YouTubeFeedManager
if (!string.IsNullOrWhiteSpace(video.ThumbnailUrl))
{
body.Append($@"<div><a href=""{video.Url}""><img src=""{video.ThumbnailUrl}"" alt=""{WebUtility.HtmlEncode(video.Title)}"" style=""max-width: 100%; height: auto; margin-bottom: 8px; border-radius: 6px;"" /></a></div>");
body.Append($@"<div><a href=""{video.Url}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{video.ThumbnailUrl}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(video.Title)}"" style=""max-width: 100%; height: auto; margin-bottom: 8px; border-radius: 6px;"" /></a></div>");
}
body.Append($@"<div style=""margin-bottom: 4px;""><strong>タイトル:</strong> <a href=""{video.Url}"">{WebUtility.HtmlEncode(video.Title)}</a></div>");
body.Append($@"<div style=""margin-bottom: 4px;""><strong>タイトル:</strong> <a href=""{video.Url}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{WebUtility.HtmlEncode(video.Title)}</a></div>");
body.Append($@"<div style=""margin-bottom: 4px;""><strong>チャンネル:</strong> {WebUtility.HtmlEncode(video.ChannelTitle)}</div>");
if (!string.IsNullOrWhiteSpace(video.PublishedText))
+2 -2
View File
@@ -1,4 +1,4 @@
using AngleSharp.Html.Dom;
using AngleSharp.Html.Dom;
using System;
using System.Collections.Generic;
using System.ServiceModel.Syndication;
@@ -50,7 +50,7 @@ internal class Youtube
items
);
CmnUtil.ExportXMLFile($"{fileName}.xml", mergedFeed, "youtube");
await CmnUtil.ExportXMLFileAsync($"{fileName}.xml", mergedFeed, client, "youtube");
}
}
catch (Exception ex)
+243 -23
View File
@@ -2,23 +2,38 @@ using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net.Http;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.Json;
using System.Text.RegularExpressions;
using System.Threading.Tasks;
using System.Xml;
namespace rss_generator.Class.RSS;
internal class aurahentai
{
/// <summary>
/// 既存フィード記事の比較用データ保持クラス
/// </summary>
private class ExistingFeedEntry
{
public string Title { get; set; } = string.Empty;
public string SummaryHtml { get; set; } = string.Empty;
public DateTimeOffset PublishDate { get; set; }
}
/// <summary>
/// aurahentai.com の日本語作品一覧から RSS フィード (aurahentai.xml) を生成します。
/// 一覧ページから作品情報を直接パースすることで、FlareSolverr へのリクエスト数を最小化(全150件をたった5回のリクエストで取得)し、
/// 500 Internal Server Error や過負荷を根本防止しています。
/// 一覧ページから作品情報を直接パースすることで FlareSolverr へのリクエスト数を大幅に削減し、
/// 新規記事や更新記事のみコンテンツページの DOM (JSON-LD) から正確な datePublished を取得します。
/// 既存記事はキャッシュを活用することで過負荷と重複登録を完全に防止します。
/// </summary>
/// <param name="client">HttpClient インスタンス</param>
/// <param name="sessionId">FlareSolverr セッションID(省略時は自前で作成・破棄)</param>
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
{
var baseURL = "https://aurahentai.com/language/japanese";
@@ -27,6 +42,9 @@ internal class aurahentai
try
{
// 既存の aurahentai.xml から過去に出力した各記事の内容(タイトル・本文・日時)を読み込む
var existingEntries = LoadExistingEntries("aurahentai.xml");
// 外部からセッションが渡されなかった場合は自前で作成
bool ownSession = sessionId == null;
if (ownSession)
@@ -44,7 +62,7 @@ internal class aurahentai
continue;
}
var newItems = CreateFeedItemsFromListPage(document, pageId);
var newItems = await CreateFeedItemsFromListPageAsync(client, sessionId, document, pageId, existingEntries);
items.AddRange(newItems);
}
}
@@ -64,7 +82,7 @@ internal class aurahentai
feed.Items = uniqueItems;
CmnUtil.ExportXMLFile("aurahentai.xml", feed);
await CmnUtil.ExportXMLFileAsync("aurahentai.xml", feed, client);
}
catch (Exception ex)
{
@@ -73,13 +91,71 @@ internal class aurahentai
}
/// <summary>
/// 一覧ページの IDocument から個別作品の SyndicationItem を生成します。
/// タイトル、リンク、カバー画像、ページ数、カテゴリは一覧ページの DOM からすべて取得可能です。
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時を読み込みます。
/// URL および GUID の両方をキーとして辞書に格納します。
/// </summary>
/// <param name="docListPage">AngleSharp の一覧ページ IDocument</param>
/// <param name="pageIndex">ページ番号</param>
/// <returns>SyndicationItem のリスト</returns>
private static List<SyndicationItem> CreateFeedItemsFromListPage(IDocument docListPage, int pageIndex)
/// <param name="fileName">XML ファイル名</param>
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
{
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
try
{
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
if (!File.Exists(xmlPath))
{
return existingEntries;
}
using var reader = XmlReader.Create(xmlPath);
var existingFeed = SyndicationFeed.Load(reader);
if (existingFeed?.Items != null)
{
foreach (var item in existingFeed.Items)
{
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
var guid = item.Id;
var date = item.PublishDate != DateTimeOffset.MinValue
? item.PublishDate
: item.LastUpdatedTime;
var entry = new ExistingFeedEntry
{
Title = item.Title?.Text?.Trim() ?? string.Empty,
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
PublishDate = date
};
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
{
existingEntries[linkUrl] = entry;
}
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
{
existingEntries[guid] = entry;
}
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[情報] aurahentai 既存エントリの読み込みスキップ: {ex.Message}");
}
return existingEntries;
}
/// <summary>
/// 一覧ページの IDocument から個別作品の SyndicationItem を生成します。
/// 新規記事または内容変更記事のみコンテンツページ (JSON-LD) から datePublished を取得します。
/// 変更のない既存記事は前回の PublishDate をそのまま引き継ぎ、FlareSolverr の過負荷を防ぎます。
/// </summary>
private static async Task<List<SyndicationItem>> CreateFeedItemsFromListPageAsync(
HttpClient client,
string? sessionId,
IDocument docListPage,
int pageIndex,
Dictionary<string, ExistingFeedEntry> existingEntries)
{
var items = new List<SyndicationItem>();
var articleElements = docListPage.QuerySelectorAll("main article");
@@ -117,11 +193,7 @@ internal class aurahentai
var pageSpan = article.QuerySelectorAll("span").FirstOrDefault(s => s.TextContent.Trim().EndsWith("p", StringComparison.OrdinalIgnoreCase));
var pageCount = pageSpan?.TextContent?.Trim() ?? string.Empty;
// 5. 日時 (一覧の掲載順序を維持するために少しずつオフセット)
var pubDate = DateTime.Now.AddMinutes(-((pageIndex - 1) * 30 + itemIndex));
itemIndex++;
// 6. 本文 HTML の生成
// 5. 本文 HTML の生成
var body = new StringBuilder();
// ギャラリー表示リンク
@@ -131,13 +203,13 @@ internal class aurahentai
string galleryId = match.Groups[1].Value;
string galleryUrl = $"https://udukipc-web.armonica-vps.work/aurahentai/{galleryId}/";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
}
// 1枚目画像
body.Append($"<div>");
body.Append($"<img src=\"{imgUrl}\" />");
body.Append($"<img src=\"{imgUrl}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
body.Append($"</div>");
if (!string.IsNullOrWhiteSpace(pageCount) || !string.IsNullOrWhiteSpace(category))
@@ -148,17 +220,66 @@ internal class aurahentai
body.Append($"</p>");
}
var item = new SyndicationItem
string currentSummaryHtml = body.ToString();
// 6. GUID の生成: 記事URLを渡して一意な文字列を生成
string guid = CmnUtil.CreateGuid(linkHref);
// 7. 内容比較および公開日時の決定
ExistingFeedEntry? prevEntry = null;
if (existingEntries.TryGetValue(linkHref, out var byUrl))
{
prevEntry = byUrl;
}
else if (existingEntries.TryGetValue(guid, out var byGuid))
{
prevEntry = byGuid;
}
DateTimeOffset pubDate;
if (prevEntry != null)
{
// 同じ記事が存在する場合、内部(タイトル・本文HTML)を比較
bool isModified = !string.Equals(prevEntry.Title, title, StringComparison.Ordinal)
|| !string.Equals(prevEntry.SummaryHtml, currentSummaryHtml, StringComparison.Ordinal);
if (isModified)
{
// 内容が更新されている場合はコンテンツページの DOM から正確な投稿日時を取得
var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId);
pubDate = datePublished ?? DateTimeOffset.Now;
}
else
{
// 内容が変わっていない場合は前回の公開日時をそのまま維持(コンテンツページへの不要なリクエストは 0 回)
pubDate = prevEntry.PublishDate != DateTimeOffset.MinValue
? prevEntry.PublishDate
: DateTimeOffset.Now;
}
}
else
{
// 新規記事: コンテンツページの DOM (JSON-LD) から正確な datePublished を取得
var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId);
pubDate = datePublished ?? DateTimeOffset.Now.AddSeconds(-((pageIndex - 1) * 30 + itemIndex));
}
itemIndex++;
// 8. SyndicationItem の生成
var itemUri = new Uri(linkHref);
var item = new SyndicationItem(
title,
(string?)null,
itemUri,
guid,
pubDate
)
{
Title = new TextSyndicationContent(title),
Id = CmnUtil.CreateGuid(linkHref),
PublishDate = pubDate,
LastUpdatedTime = pubDate,
Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html)
Summary = new TextSyndicationContent(currentSummaryHtml, TextSyndicationContentKind.Html)
};
item.Links.Add(new SyndicationLink(new Uri(linkHref)));
if (!string.IsNullOrWhiteSpace(category))
{
item.Categories.Add(new SyndicationCategory(category));
@@ -169,4 +290,103 @@ internal class aurahentai
return items;
}
/// <summary>
/// 個別作品のコンテンツページを FlareSolverr で取得し、DOM 内の JSON-LD から datePublished を抽出します。
/// </summary>
/// <param name="client">HttpClient</param>
/// <param name="linkHref">作品詳細ページの URL</param>
/// <param name="sessionId">FlareSolverr セッションID</param>
/// <returns>日本時間の DateTimeOffset(取得失敗時は null)</returns>
private static async Task<DateTimeOffset?> FetchDatePublishedAsync(HttpClient client, string linkHref, string? sessionId)
{
try
{
var docContents = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId);
if (docContents != null)
{
var pubDateStr = GetDatePublished(docContents);
if (!string.IsNullOrEmpty(pubDateStr) && DateTimeOffset.TryParse(pubDateStr, out DateTimeOffset parsedOffset))
{
// 日本時間(UTC+9)のオフセットに変換
return parsedOffset.ToOffset(TimeSpan.FromHours(9));
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] aurahentai コンテンツページ日時取得失敗 ({linkHref}): {ex.Message}");
}
return null;
}
/// <summary>
/// IDocument 内の複数ある JSON-LD から、@type が "ImageGallery" の datePublished を取得します。
/// </summary>
/// <param name="document">AngleSharp の IDocument</param>
/// <returns>取得した datePublished 文字列(見つからない場合は null)</returns>
private static string? GetDatePublished(IDocument document)
{
var scriptElements = document.QuerySelectorAll("script[type='application/ld+json']");
foreach (var script in scriptElements)
{
string jsonText = script.TextContent?.Trim() ?? string.Empty;
if (string.IsNullOrEmpty(jsonText))
{
continue;
}
try
{
using var jsonDoc = JsonDocument.Parse(jsonText);
var root = jsonDoc.RootElement;
if (root.ValueKind == JsonValueKind.Object)
{
if (TryExtractDate(root, out var date))
{
return date;
}
}
else if (root.ValueKind == JsonValueKind.Array)
{
foreach (var item in root.EnumerateArray())
{
if (item.ValueKind == JsonValueKind.Object && TryExtractDate(item, out var date))
{
return date;
}
}
}
}
catch (JsonException)
{
continue;
}
}
return null;
}
/// <summary>
/// @type が ImageGallery か判定し、datePublished の値を取り出します。
/// </summary>
private static bool TryExtractDate(JsonElement element, out string? datePublished)
{
datePublished = null;
if (element.TryGetProperty("@type", out var typeProp) &&
string.Equals(typeProp.GetString(), "ImageGallery", StringComparison.OrdinalIgnoreCase))
{
if (element.TryGetProperty("datePublished", out var dateProp))
{
datePublished = dateProp.GetString();
return true;
}
}
return false;
}
}
+20 -3
View File
@@ -33,6 +33,7 @@ internal class ci_en
var document = await CmnUtil.GetDocument(client, rssUrl);
var elemArticles = document.QuerySelectorAll(".c-card-article");
var parser = new HtmlParser();
var cutoff = DateTimeOffset.Now.AddHours(-24);
foreach (var elemArticle in elemArticles)
{
@@ -75,6 +76,12 @@ internal class ci_en
}
}
// 24時間判定(カットオフより古い記事は本文取得を行わずスキップ)
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
{
continue;
}
var body = new StringBuilder();
if (!string.IsNullOrEmpty(href))
{
@@ -96,7 +103,7 @@ internal class ci_en
if (!string.IsNullOrEmpty(targetImgSrc))
{
var linkUrl = !string.IsNullOrEmpty(rawSrc) ? rawSrc : targetImgSrc;
var imgTagHtml = $@"<a href=""{linkUrl}"" target=""_blank"" rel=""noopener noreferrer""><img src=""{targetImgSrc}"" alt=""{WebUtility.HtmlEncode(alt)}"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a>";
var imgTagHtml = $@"<a href=""{linkUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{targetImgSrc}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(alt)}"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a>";
var fragment = parser.ParseDocument(imgTagHtml);
var newElement = fragment.Body?.FirstElementChild;
@@ -131,9 +138,19 @@ internal class ci_en
img.SetAttribute("src", dataSrc);
}
img.SetAttribute("referrerpolicy", "no-referrer");
img.SetAttribute("style", "max-width: 100%; height: auto;");
}
// 本文内リンクへのリファラー設定
var regularAnchors = divDetail.QuerySelectorAll("a").ToList();
foreach (var a in regularAnchors)
{
a.SetAttribute("target", "_blank");
a.SetAttribute("rel", "noopener noreferrer");
a.SetAttribute("referrerpolicy", "no-referrer");
}
// 4. カバー画像/アイキャッチ画像の配置
string? coverImageUrl = null;
if (elemArticle.QuerySelector("img.image, img") is IHtmlImageElement coverElem && !string.IsNullOrEmpty(coverElem.Source) && !coverElem.Source.Contains("no_image") && !coverElem.Source.Contains("logo_"))
@@ -151,7 +168,7 @@ internal class ci_en
if (!string.IsNullOrEmpty(coverImageUrl))
{
body.Append($@"<div><a href=""{href}""><img src=""{coverImageUrl}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-bottom: 12px;"" /></a></div>");
body.Append($@"<div><a href=""{href}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{coverImageUrl}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-bottom: 12px;"" /></a></div>");
}
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
@@ -166,7 +183,7 @@ internal class ci_en
}
feed.Items = items;
CmnUtil.ExportXMLFile("ci_en.xml", feed);
await CmnUtil.ExportXMLFileAsync("ci_en.xml", feed, client);
}
catch (Exception ex)
{
@@ -34,7 +34,7 @@ internal class e_hentai_ai
);
// XML ファイルとして出力
CmnUtil.ExportXMLFile("e_hentai_ai.xml", feed);
await CmnUtil.ExportXMLFileAsync("e_hentai_ai.xml", feed, client);
}
catch (Exception ex)
{
@@ -205,36 +205,30 @@ internal static class e_hentai_common
public const int MaxImagesPerGallery = 1;
/// <summary>
/// 対象ギャラリーの詳細ページ・ビューアページを巡回し、日本語タイトルおよび画像の直接URLを取得します。
/// 対象ギャラリーの詳細ページ(p=0)を取得し、日本語タイトルを取得します。
/// (画像は一覧ページの静的サムネイルを使用するため、H@H ビューアページへのアクセスは行いません)
/// </summary>
/// <param name="client">HttpClient インスタンス</param>
/// <param name="gallery">ギャラリー情報オブジェクト</param>
/// <param name="maxImages">取得する最大画像数(デフォルト: MaxImagesPerGallery)</param>
/// <returns>画像URLリスト(順序保持)</returns>
/// <param name="maxImages">取得する最大画像数(互換性のための引数)</param>
/// <returns>空の画像リスト(ThumbnailUrl を使用するため)</returns>
public static async Task<List<string>> FetchAllGalleryImagesAsync(HttpClient client, GalleryItem gallery, int maxImages = MaxImagesPerGallery)
{
var parser = new HtmlParser();
var viewerLinks = new List<string>();
try
{
// 1. ギャラリー詳細ページから必要な枚数分のビューアリンク(/s/...)を収集
int p = 0;
while (viewerLinks.Count < maxImages)
{
var pageUrl = $"{gallery.Url}?p={p}";
// ギャラリー詳細ページ(p == 0)で日本語タイトル (#gj) が存在すればタイトルを更新
var pageUrl = $"{gallery.Url}?p=0";
using var req = new HttpRequestMessage(HttpMethod.Get, pageUrl);
req.Headers.Add("Cookie", "nw=1");
using var res = await client.SendAsync(req);
if (!res.IsSuccessStatusCode) break;
if (res.IsSuccessStatusCode)
{
var html = await res.Content.ReadAsStringAsync();
var doc = await parser.ParseDocumentAsync(html);
// 最初の詳細ページ(p == 0)で日本語タイトル (#gj) が存在すればタイトルを更新
if (p == 0)
{
var japaneseTitle = doc.QuerySelector("#gd2 #gj, #gj")?.TextContent.Trim();
if (!string.IsNullOrEmpty(japaneseTitle))
{
@@ -249,84 +243,14 @@ internal static class e_hentai_common
}
}
}
var links = doc.QuerySelectorAll("#gdt a")
.Select(a => a.GetAttribute("href"))
.Where(href => !string.IsNullOrEmpty(href) && href.Contains("/s/"))
.ToList();
if (links.Count == 0) break;
if (viewerLinks.Contains(links[0]!)) break;
viewerLinks.AddRange(links!);
// 最大枚数に達した場合はこれ以上のページ取得をスキップ
if (viewerLinks.Count >= maxImages)
{
break;
}
// ページネーション末尾の確認
var ptb = doc.QuerySelector("table.ptb");
var nextPtb = ptb?.QuerySelector("td:last-child a");
if (nextPtb == null)
{
break;
}
p++;
}
if (viewerLinks.Count == 0)
{
return new List<string>();
}
// 必要枚数(maxImages)までに絞り込む
var targetViewerLinks = viewerLinks.Take(maxImages).ToList();
// 2. 各ビューアページから画像URL(#img src)を並行取得
var imageUrls = new string[targetViewerLinks.Count];
var semaphore = new System.Threading.SemaphoreSlim(8); // 最大同時8接続
var tasks = targetViewerLinks.Select(async (vLink, index) =>
{
await semaphore.WaitAsync();
try
{
using var vReq = new HttpRequestMessage(HttpMethod.Get, vLink);
vReq.Headers.Add("Cookie", "nw=1");
using var vRes = await client.SendAsync(vReq);
if (vRes.IsSuccessStatusCode)
{
var vHtml = await vRes.Content.ReadAsStringAsync();
var vDoc = await parser.ParseDocumentAsync(vHtml);
var imgSrc = vDoc.QuerySelector("#img")?.GetAttribute("src");
if (!string.IsNullOrEmpty(imgSrc))
{
imageUrls[index] = imgSrc;
}
}
}
catch (Exception ex)
{
LogManager.AddLog($"[警告] ビューア画像取得エラー ({vLink}): {ex.Message}");
LogManager.AddLog($"[警告] ギャラリー詳細取得エラー ({gallery.Url}): {ex.Message}");
}
finally
{
semaphore.Release();
}
});
await Task.WhenAll(tasks);
return imageUrls.Where(url => !string.IsNullOrEmpty(url)).ToList();
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] ギャラリー画像取得エラー ({gallery.Url}): {ex.Message}");
return new List<string>();
}
}
/// <summary>
/// GalleryItem リストに対して全画像を取得し、SyndicationItem のリストを生成します。
@@ -335,14 +259,14 @@ internal static class e_hentai_common
{
var galleryList = galleries.ToList();
// 各ギャラリーの画像取得を並行して実行(最大8ギャラリー同時)
// 各ギャラリーの詳細ページ取得を並行して実行(最大8ギャラリー同時)
var gallerySemaphore = new System.Threading.SemaphoreSlim(8);
var fetchImageTasks = galleryList.Select(async gallery =>
{
await gallerySemaphore.WaitAsync();
try
{
gallery.ImageUrls = await FetchAllGalleryImagesAsync(client, gallery, MaxImagesPerGallery);
await FetchAllGalleryImagesAsync(client, gallery);
}
finally
{
@@ -356,39 +280,37 @@ internal static class e_hentai_common
foreach (var gallery in galleryList)
{
var item = new SyndicationItem
var itemUri = new Uri(gallery.Url);
var item = new SyndicationItem(
gallery.Title,
string.Empty,
itemUri,
CmnUtil.CreateGuid(gallery.Url),
gallery.PublishedDate
)
{
Title = new TextSyndicationContent(gallery.Title),
PublishDate = gallery.PublishedDate,
LastUpdatedTime = gallery.PublishedDate,
Id = CmnUtil.CreateGuid(gallery.Url)
LastUpdatedTime = gallery.PublishedDate
};
// ギャラリーへのリンク
if (Uri.TryCreate(gallery.Url, UriKind.Absolute, out var uri))
{
item.Links.Add(new SyndicationLink(uri));
}
// カテゴリ(作品ジャンル)の追加
if (!string.IsNullOrWhiteSpace(gallery.Category))
// カテゴリ
if (!string.IsNullOrEmpty(gallery.Category))
{
item.Categories.Add(new SyndicationCategory(gallery.Category));
}
// 各タグをカテゴリに追加
// タグ
foreach (var tag in gallery.Tags)
{
item.Categories.Add(new SyndicationCategory(tag));
}
// アップローダーを著者に追加
if (!string.IsNullOrWhiteSpace(gallery.Uploader))
// アップローダー
if (!string.IsNullOrEmpty(gallery.Uploader))
{
item.Authors.Add(new SyndicationPerson { Name = gallery.Uploader });
}
// 本文 HTML の整形
var body = new StringBuilder();
// ギャラリー表示リンク
@@ -399,21 +321,19 @@ internal static class e_hentai_common
string token = match.Groups[2].Value;
string galleryUrl = $"https://udukipc-web.armonica-vps.work/ehentai/{galleryId}/{token}";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
}
// ギャラリーの1枚目画像
string? firstImg = gallery.ImageUrls.FirstOrDefault();
if (string.IsNullOrEmpty(firstImg))
{
firstImg = gallery.ThumbnailUrl;
}
// 静的一覧サムネイル URL を最優先で使用(H@H 一時 URL の 403 回避)
string? firstImg = !string.IsNullOrEmpty(gallery.ThumbnailUrl)
? gallery.ThumbnailUrl
: gallery.ImageUrls.FirstOrDefault();
if (!string.IsNullOrEmpty(firstImg))
{
body.Append($"<div>");
body.Append($"<img src=\"{firstImg}\" />");
body.Append($"<img src=\"{firstImg}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
body.Append($"</div>");
}
@@ -34,7 +34,7 @@ internal class e_hentai_non_ai
);
// XML ファイルとして出力
CmnUtil.ExportXMLFile("e_hentai_non_ai.xml", feed);
await CmnUtil.ExportXMLFileAsync("e_hentai_non_ai.xml", feed, client);
}
catch (Exception ex)
{
@@ -31,6 +31,7 @@ internal class index_japanese
}
try
{
var cutoff = DateTimeOffset.Now.AddHours(-24);
for (int pageId = 1; pageId <= 5; pageId++)
{
var pageURL = pageId == 1 ? baseURL : $"{baseURL}?page={pageId}";
@@ -40,8 +41,15 @@ internal class index_japanese
continue;
}
var newItems = ParseGalleryItems(document);
var newItems = ParseGalleryItems(document, cutoff, out int totalCards);
items.AddRange(newItems);
// ページ内に記事カードが存在したにもかかわらず24時間以内の記事が0件だった場合、
// 新着順のためこれ以降のページもすべて24時間以上前と判断して取得を終了
if (totalCards > 0 && newItems.Count == 0)
{
break;
}
}
}
finally
@@ -60,7 +68,7 @@ internal class index_japanese
feed.Items = uniqueItems;
CmnUtil.ExportXMLFile("hitomi-japanese.xml", feed);
await CmnUtil.ExportXMLFileAsync("hitomi-japanese.xml", feed, client);
}
catch (Exception ex)
{
@@ -69,10 +77,11 @@ internal class index_japanese
}
}
private static List<SyndicationItem> ParseGalleryItems(IDocument document)
private static List<SyndicationItem> ParseGalleryItems(IDocument document, DateTimeOffset cutoff, out int totalCards)
{
var result = new List<SyndicationItem>();
var cards = document.QuerySelectorAll(".gallery-content > div");
totalCards = cards.Length;
foreach (var card in cards)
{
@@ -128,6 +137,12 @@ internal class index_japanese
item.LastUpdatedTime = DateTime.Now;
}
// 24時間判定(カットオフより古い記事は取得対象外とする)
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
{
continue;
}
// 作家の取得
var artistElems = card.QuerySelectorAll(".artist-list li a");
foreach (var artistElem in artistElems)
@@ -192,13 +207,17 @@ internal class index_japanese
{
string galleryUrl = $"https://udukipc-web.armonica-vps.work/hitomi/{galleryId}";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
}
if (!string.IsNullOrEmpty(imgSrc))
{
// hitomi.laの画像サーバー(gold-usergeneratedcontent.net等)はRefererヘッダーが必須のため、
// 自前の画像プロキシ(udukipc-web)を経由してReferer: https://hitomi.la/ を付与して取得させる
string proxiedImgSrc = $"https://udukipc-web.armonica-vps.work/api/proxy-image?url={Uri.EscapeDataString(imgSrc)}&referer={Uri.EscapeDataString("https://hitomi.la/")}";
body.Append($"<div>");
body.Append($"<img src=\"{imgSrc}\" />");
body.Append($"<img src=\"{proxiedImgSrc}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
body.Append($"</div>");
}
+36 -8
View File
@@ -1,9 +1,10 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using System;
using System.Collections.Generic;
using System.ServiceModel.Syndication;
using System.Text;
using System.Text.RegularExpressions;
namespace rss_generator.Class.RSS;
@@ -62,12 +63,35 @@ internal class javtwi
var title = CmnUtil.GetLastPathPart(linkHref);
var body = new StringBuilder();
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
// Twitter Snowflake ID から正確な投稿日時(JST)を逆算
DateTime publishedDate = DateTime.Now;
var match = Regex.Match(linkHref, @"/(\d{17,20})/");
if (!match.Success && !string.IsNullOrEmpty(imageSrc))
{
match = Regex.Match(imageSrc, @"/(\d{17,20})/");
}
body.Append($@"<video controls poster=""{imageUri}"" preload=""metadata"" style=""max-width: 100%; height: auto;"">");
if (match.Success && long.TryParse(match.Groups[1].Value, out long snowflakeId))
{
try
{
// Twitter Snowflake ID (エポック: 1288834974657 ms = 2010-11-04 01:42:54.657 UTC)
long unixMs = (snowflakeId >> 22) + 1288834974657L;
var offset = DateTimeOffset.FromUnixTimeMilliseconds(unixMs).ToOffset(TimeSpan.FromHours(9));
publishedDate = offset.DateTime;
}
catch
{
publishedDate = DateTime.Now;
}
}
var body = new StringBuilder();
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
body.Append($@"<video controls poster=""{imageUri}"" preload=""metadata"" referrerpolicy=""no-referrer"" style=""max-width: 100%; height: auto;"">");
body.Append($@"<source src=""{itemUri}"" type=""video/mp4"">");
body.Append($@"<p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"">動画を開く (.mp4)</a></p>");
body.Append($@"<p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">動画を開く (.mp4)</a></p>");
body.Append($@"</video>");
var item = new SyndicationItem(
@@ -75,8 +99,12 @@ internal class javtwi
string.Empty,
itemUri,
CmnUtil.CreateGuid(linkHref),
DateTime.Now // 取得できた公開日時があればそれをセット
);
publishedDate
)
{
PublishDate = publishedDate,
LastUpdatedTime = publishedDate
};
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
@@ -87,7 +115,7 @@ internal class javtwi
feed.Items = items;
CmnUtil.ExportXMLFile("javtwi.xml", feed);
await CmnUtil.ExportXMLFileAsync("javtwi.xml", feed, client);
}
catch (Exception ex)
{
+11 -4
View File
@@ -1,4 +1,4 @@
using AngleSharp.Dom;
using AngleSharp.Dom;
using AngleSharp.Html.Dom;
using System;
using System.Collections.Generic;
@@ -94,8 +94,15 @@ internal class kimochiinfo
var body = new StringBuilder();
body.Append($@"<div>バージョン:{versionText}</div>");
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
foreach (var a in divDetail.QuerySelectorAll("a"))
{
a.SetAttribute("target", "_blank");
a.SetAttribute("rel", "noopener noreferrer");
a.SetAttribute("referrerpolicy", "no-referrer");
}
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
var item = new SyndicationItem(
@@ -115,7 +122,7 @@ internal class kimochiinfo
}
feed.Items = items;
CmnUtil.ExportXMLFile("kimochiinfo.xml", feed);
await CmnUtil.ExportXMLFileAsync("kimochiinfo.xml", feed, client);
}
catch (Exception ex)
{
+29 -48
View File
@@ -14,8 +14,8 @@ namespace rss_generator.Class.RSS;
internal class mangalear
{
/// <summary>
/// 同人まんがりあ (mangalear.blog) の Atom フィードから記事および本文内画像を全件取得し、
/// 新しい RSS (XML) フィードを生成して出力します。
/// 同人まんがりあ (mangalear.blog) の Atom フィードから記事を取得し、
/// 各記事につき代表画像1枚を含む新しい RSS (XML) フィードを生成して出力します。
/// </summary>
/// <param name="client">HttpClient インスタンス</param>
public static async Task CreateRSSAsync(HttpClient client)
@@ -43,8 +43,11 @@ internal class mangalear
.Select(g => g.First())
.ToList();
// 24時間以内の記事のみに絞り込んでから詳細ページの画像抽出を実施(通信量と処理時間の削減)
var validItems = CmnUtil.FilterItemsWithinHours(uniqueItems, 24);
// 3. 各記事の詳細ページから本文画像を全て抽出し、新しいフィードアイテムに整形
var itemTasks = uniqueItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
{
var link = originalItem.Links.FirstOrDefault()?.Uri;
var title = originalItem.Title?.Text ?? "No Title";
@@ -95,80 +98,59 @@ internal class mangalear
{
var entryContent = docContents.QuerySelector(".entry-content") ?? docContents.QuerySelector("article");
// アイキャッチ画像の取得(存在する場合)
string? eyeCatchUrl = null;
// 記事ごとに代表画像1枚のみを取得(アイキャッチ画像または本文の最初の1枚)
string? singleImageUrl = null;
// 1. アイキャッチ画像の取得(存在する場合)
if (docContents.QuerySelector(".eye-catch img, figure.eye-catch img") is IHtmlImageElement eyeCatchImg && !string.IsNullOrEmpty(eyeCatchImg.Source))
{
eyeCatchUrl = eyeCatchImg.Source;
singleImageUrl = eyeCatchImg.Source;
}
else
{
var metaOgImage = docContents.QuerySelector("meta[property='og:image']")?.GetAttribute("content");
if (!string.IsNullOrEmpty(metaOgImage))
{
eyeCatchUrl = metaOgImage;
singleImageUrl = metaOgImage;
}
}
// アイキャッチ画像を先頭に配置(設定されている場合)
if (!string.IsNullOrEmpty(eyeCatchUrl))
// 2. アイキャッチ画像が取得できない場合、本文から最初の1枚を取得
if (string.IsNullOrEmpty(singleImageUrl) && entryContent != null)
{
if (Uri.TryCreate(link, eyeCatchUrl, out var absoluteEyeCatchUri))
{
body.Append($@"<div style=""margin-bottom: 12px;""><a href=""{link}""><img src=""{absoluteEyeCatchUri}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
}
}
// 本文から画像を全件抽出
if (entryContent != null)
{
var imgElements = entryContent.QuerySelectorAll("img").ToList();
var addedImages = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
// アイキャッチ画像を追加済みの場合は重複を避けるため登録
if (!string.IsNullOrEmpty(eyeCatchUrl))
{
addedImages.Add(eyeCatchUrl);
}
foreach (var img in imgElements)
var firstImg = entryContent.QuerySelector("img");
if (firstImg != null)
{
// 親要素の <a> タグから高解像度オリジナル画像 URL の取得を試みる
string? targetSrc = null;
if (img.ParentElement is IHtmlAnchorElement parentAnchor && !string.IsNullOrEmpty(parentAnchor.Href))
if (firstImg.ParentElement is IHtmlAnchorElement parentAnchor && !string.IsNullOrEmpty(parentAnchor.Href))
{
var href = parentAnchor.Href;
// リンク先が画像ファイルか確認
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".jpeg", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".webp", StringComparison.OrdinalIgnoreCase) ||
href.EndsWith(".gif", StringComparison.OrdinalIgnoreCase))
{
targetSrc = href;
singleImageUrl = href;
}
}
// リンクから取得できない場合は img の src / data-src を利用
if (string.IsNullOrEmpty(targetSrc))
if (string.IsNullOrEmpty(singleImageUrl))
{
var src = img.GetAttribute("src");
var dataSrc = img.GetAttribute("data-src");
targetSrc = !string.IsNullOrEmpty(dataSrc) ? dataSrc : src;
var src = firstImg.GetAttribute("src");
var dataSrc = firstImg.GetAttribute("data-src");
singleImageUrl = !string.IsNullOrEmpty(dataSrc) ? dataSrc : src;
}
}
}
if (!string.IsNullOrEmpty(targetSrc))
// 3. 取得した1枚の画像のみを配置
if (!string.IsNullOrEmpty(singleImageUrl))
{
// 相対パスの場合は絶対 URL に解決
if (Uri.TryCreate(link, targetSrc, out var absoluteImgUri))
if (Uri.TryCreate(link, singleImageUrl, out var absoluteImgUri))
{
var finalUrl = absoluteImgUri.ToString();
if (addedImages.Add(finalUrl))
{
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{finalUrl}"" target=""_blank"" rel=""noopener noreferrer""><img src=""{finalUrl}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a></div>");
}
}
}
body.Append($@"<div style=""margin-bottom: 12px;""><a href=""{link}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{absoluteImgUri}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
}
}
}
@@ -188,8 +170,7 @@ internal class mangalear
simplifiedItems
);
// 5. XML ファイルとして出力
CmnUtil.ExportXMLFile("mangalear.xml", mergedFeed);
await CmnUtil.ExportXMLFileAsync("mangalear.xml", mergedFeed, client);
}
catch (Exception ex)
{
+3 -3
View File
@@ -74,8 +74,8 @@ internal static class missav
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
var body = new StringBuilder();
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
var item = new SyndicationItem(
title,
@@ -94,7 +94,7 @@ internal static class missav
}
feed.Items = items;
CmnUtil.ExportXMLFile("missav.xml", feed);
await CmnUtil.ExportXMLFileAsync("missav.xml", feed, client);
}
catch (Exception ex)
{
+4 -4
View File
@@ -148,17 +148,17 @@ internal class missav123
body.Append($@"<div style=""position: relative; width: 100%; max-width: 800px; aspect-ratio: 16/9; margin: 12px 0;"">");
body.Append($@"<iframe src=""about:blank"" data-src=""{playerUrl}"" style=""width: 100%; height: 100%; border: 0;"" allow=""autoplay; fullscreen; encrypted-media"" allowfullscreen=""true"" scrolling=""no"" frameborder=""0""></iframe>");
body.Append($@"</div>");
body.Append($@"<div><p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"">123avで開く</a> | <a href=""{playerUrl}"" target=""_blank"" rel=""noopener noreferrer"">直接動画プレイヤーを開く</a></p></div>");
body.Append($@"<div><p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">123avで開く</a> | <a href=""{playerUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">直接動画プレイヤーを開く</a></p></div>");
}
else
{
body.Append($@"<div><p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"">123avで動画を再生する</a></p></div>");
body.Append($@"<div><p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">123avで動画を再生する</a></p></div>");
}
// 3. サムネイル画像
if (imageUri != null)
{
body.Append($@"<div><img src=""{imageUri}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-top: 8px;"" /></div>");
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-top: 8px;"" /></div>");
}
// 4. メタ情報(詳細、メーカー、ジャンル、タグ)
@@ -209,7 +209,7 @@ internal class missav123
}
feed.Items = items;
CmnUtil.ExportXMLFile("123av.xml", feed);
await CmnUtil.ExportXMLFileAsync("123av.xml", feed, client);
}
finally
{
+8 -5
View File
@@ -24,8 +24,11 @@ internal class momonga_fanzine
var results = await Task.WhenAll(tasks);
var allItems = results.SelectMany(items => items).ToList();
// 24時間以内の記事のみに絞り込んでから整形タスクを実施
var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
// 簡潔なRSSに非同期で整形
var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
{
List<SyndicationCategory> getAddCategory()
{
@@ -118,7 +121,7 @@ internal class momonga_fanzine
string moId = match.Groups[1].Value;
string galleryUrl = $"https://udukipc-web.armonica-vps.work/momonga/{moId}/";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
}
@@ -126,7 +129,7 @@ internal class momonga_fanzine
string encoded = ToBase64Url(link.AbsoluteUri);
string downloadUrl = $"https://apicien.armonica-vps.work/fanzine/{encoded}";
body.Append($"<div>");
body.Append($"<a href=\"{downloadUrl}\">[Download]</a>");
body.Append($"<a href=\"{downloadUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Download]</a>");
body.Append($"</div>");
// ギャラリーの1枚目画像
@@ -143,7 +146,7 @@ internal class momonga_fanzine
if (Uri.TryCreate(link, src, out var absoluteUri))
{
body.Append($"<div>");
body.Append($"<img src=\"{absoluteUri}\" />");
body.Append($"<img src=\"{absoluteUri}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
body.Append($"</div>");
break;
}
@@ -166,7 +169,7 @@ internal class momonga_fanzine
simplifiedItems
);
CmnUtil.ExportXMLFile("momonga-fanzine.xml", mergedFeed);
await CmnUtil.ExportXMLFileAsync("momonga-fanzine.xml", mergedFeed, client);
}
catch (Exception ex)
{
+8 -5
View File
@@ -24,8 +24,11 @@ internal class momonga_magazine
var results = await Task.WhenAll(tasks);
var allItems = results.SelectMany(items => items).ToList();
// 24時間以内の記事のみに絞り込んでから整形タスクを実施
var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
// 簡潔なRSSに非同期で整形
var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
{
List<SyndicationCategory> getAddCategory()
{
@@ -118,7 +121,7 @@ internal class momonga_magazine
string moId = match.Groups[1].Value;
string galleryUrl = $"https://udukipc-web.armonica-vps.work/momonga/{moId}/";
body.Append($"<div>");
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
body.Append($"</div>");
}
@@ -126,7 +129,7 @@ internal class momonga_magazine
string encoded = ToBase64Url(link.AbsoluteUri);
string downloadUrl = $"https://apicien.armonica-vps.work/fanzine/{encoded}";
body.Append($"<div>");
body.Append($"<a href=\"{downloadUrl}\">[Download]</a>");
body.Append($"<a href=\"{downloadUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Download]</a>");
body.Append($"</div>");
// ギャラリーの1枚目画像
@@ -143,7 +146,7 @@ internal class momonga_magazine
if (Uri.TryCreate(link, src, out var absoluteUri))
{
body.Append($"<div>");
body.Append($"<img src=\"{absoluteUri}\" />");
body.Append($"<img src=\"{absoluteUri}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
body.Append($"</div>");
break;
}
@@ -166,7 +169,7 @@ internal class momonga_magazine
simplifiedItems
);
CmnUtil.ExportXMLFile("momonga-magazine.xml", mergedFeed);
await CmnUtil.ExportXMLFileAsync("momonga-magazine.xml", mergedFeed, client);
}
catch (Exception ex)
{
+3 -3
View File
@@ -58,8 +58,8 @@ internal class npb_6
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
var body = new StringBuilder();
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
var updateTime = DateTime.Now;
if (DateTime.TryParse(elemTime?.TextContent?.Trim(), out DateTime itemTime))
@@ -81,7 +81,7 @@ internal class npb_6
}
feed.Items = items;
CmnUtil.ExportXMLFile("npb_6.xml", feed);
await CmnUtil.ExportXMLFileAsync("npb_6.xml", feed, client);
}
catch (Exception ex)
{
+63 -27
View File
@@ -37,6 +37,7 @@ var serviceProvider = services.BuildServiceProvider();
var httpClientFactory = serviceProvider.GetRequiredService<IHttpClientFactory>();
LogManager.AddLog($"[情報] rss-generatorの起動");
var isFirst = true;
// 実行したい指定の「分」を配列で設定(例:毎時 0分 と 30分)
int[] targetMinutes = new int[] { 0, 30 };
@@ -45,6 +46,12 @@ while (true)
{
var nowDate = DateTime.Now;
if (isFirst)
{
isFirst = false;
}
else
{
#if DEBUG
#else
// 次に実行すべき指定時刻を取得
@@ -57,6 +64,7 @@ while (true)
// 指定時刻まで完全に処理を停止(非同期スリープ)
await Task.Delay(delay);
#endif
}
// 指定時刻になったら処理を実行
Stopwatch totalSw = Stopwatch.StartNew();
@@ -71,42 +79,75 @@ while (true)
// サイトによってはAcceptヘッダーがないと弾く場合もあるため、念のため追加
client.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
List<Task> tasks = new List<Task>();
// メモリ消費を最小化(512MB制限内)するため、各フィードを並行ではなく順次実行し、タスクごとにGCを実行
var feedActions = new List<(string Name, Func<Task> Action)>();
DateTime from = new DateTime(nowDate.Year, nowDate.Month, nowDate.Day, 5, 0, 0);
DateTime to = new DateTime(nowDate.Year, nowDate.Month, nowDate.Day, 7, 15, 0);
if (from < nowDate && nowDate < to)
{
tasks.Add(momonga_fanzine.CreateRSSAsync(client));
tasks.Add(momonga_magazine.CreateRSSAsync(client));
feedActions.Add(("momonga_fanzine", () => momonga_fanzine.CreateRSSAsync(client)));
feedActions.Add(("momonga_magazine", () => momonga_magazine.CreateRSSAsync(client)));
}
#if DEBUG
feedActions.Add(("momonga_fanzine", () => momonga_fanzine.CreateRSSAsync(client)));
feedActions.Add(("momonga_magazine", () => momonga_magazine.CreateRSSAsync(client)));
feedActions.Add(("YouTube", () => YouTubeFeedManager.CreateRSSAsync(client)));
feedActions.Add(("X (Twitter)", () => rss_generator.Class.RSS.X.x_list.CreateRSSAsync(client)));
feedActions.Add(("kimochiinfo", () => kimochiinfo.CreateRSSAsync(client)));
feedActions.Add(("ci_en", () => ci_en.CreateRSSAsync(client)));
feedActions.Add(("javtwi", () => javtwi.CreateRSSAsync(client)));
feedActions.Add(("mangalear", () => mangalear.CreateRSSAsync(client)));
feedActions.Add(("e_hentai_ai", () => e_hentai_ai.CreateRSSAsync(client)));
feedActions.Add(("e_hentai_non_ai", () => e_hentai_non_ai.CreateRSSAsync(client)));
feedActions.Add(("pixiv_non_r18_non_ai", () => pixiv_non_r18_non_ai.CreateRSSAsync(client)));
feedActions.Add(("pixiv_non_r18_ai", () => pixiv_non_r18_ai.CreateRSSAsync(client)));
feedActions.Add(("pixiv_r18_non_ai", () => pixiv_r18_non_ai.CreateRSSAsync(client)));
feedActions.Add(("pixiv_r18_ai", () => pixiv_r18_ai.CreateRSSAsync(client)));
feedActions.Add(("FlareSolverr", () => FlareSolverrFeedManager.CreateAllRSSAsync(client)));
#else
#endif
tasks.Add(YouTubeFeedManager.CreateRSSAsync(client));
tasks.Add(rss_generator.Class.RSS.X.x_list.CreateRSSAsync(client));
tasks.Add(kimochiinfo.CreateRSSAsync(client));
tasks.Add(ci_en.CreateRSSAsync(client));
tasks.Add(javtwi.CreateRSSAsync(client));
tasks.Add(mangalear.CreateRSSAsync(client));
tasks.Add(e_hentai_ai.CreateRSSAsync(client));
tasks.Add(e_hentai_non_ai.CreateRSSAsync(client));
tasks.Add(pixiv_non_r18_non_ai.CreateRSSAsync(client));
tasks.Add(pixiv_non_r18_ai.CreateRSSAsync(client));
tasks.Add(pixiv_r18_non_ai.CreateRSSAsync(client));
tasks.Add(pixiv_r18_ai.CreateRSSAsync(client));
feedActions.Add(("YouTube", () => YouTubeFeedManager.CreateRSSAsync(client)));
feedActions.Add(("X (Twitter)", () => rss_generator.Class.RSS.X.x_list.CreateRSSAsync(client)));
feedActions.Add(("kimochiinfo", () => kimochiinfo.CreateRSSAsync(client)));
feedActions.Add(("ci_en", () => ci_en.CreateRSSAsync(client)));
feedActions.Add(("javtwi", () => javtwi.CreateRSSAsync(client)));
feedActions.Add(("mangalear", () => mangalear.CreateRSSAsync(client)));
feedActions.Add(("e_hentai_ai", () => e_hentai_ai.CreateRSSAsync(client)));
feedActions.Add(("e_hentai_non_ai", () => e_hentai_non_ai.CreateRSSAsync(client)));
feedActions.Add(("pixiv_non_r18_non_ai", () => pixiv_non_r18_non_ai.CreateRSSAsync(client)));
feedActions.Add(("pixiv_non_r18_ai", () => pixiv_non_r18_ai.CreateRSSAsync(client)));
feedActions.Add(("pixiv_r18_non_ai", () => pixiv_r18_non_ai.CreateRSSAsync(client)));
feedActions.Add(("pixiv_r18_ai", () => pixiv_r18_ai.CreateRSSAsync(client)));
// FlareSolverr 利用タスク群(単一セッションで順次実行し、完了後に破棄してメモリ最小化)
tasks.Add(FlareSolverrFeedManager.CreateAllRSSAsync(client));
feedActions.Add(("FlareSolverr", () => FlareSolverrFeedManager.CreateAllRSSAsync(client)));
#endif
await Task.WhenAll(tasks);
foreach (var (name, action) in feedActions)
{
try
{
var taskSw = Stopwatch.StartNew();
LogManager.AddLog($"[情報] 【{name}】 取得開始");
await action();
taskSw.Stop();
LogManager.AddLog($"[情報] 【{name}】 完了 ({taskSw.Elapsed.TotalSeconds:0.##}秒)");
}
catch (Exception ex)
{
LogManager.AddLog($"[エラー] 【{name}】 実行時エラー: {ex.Message}");
}
finally
{
// 各タスク完了後にメモリを積極回収してOSに返却
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
GC.WaitForPendingFinalizers();
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
}
}
sw.Stop();
LogManager.AddLog($"[情報] RSS生成完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
sw.Restart();
// /bin/bash /usr/local/bin/update_rss.sh
#if DEBUG
sw.Stop();
totalSw.Stop();
@@ -116,12 +157,7 @@ while (true)
await LogManager.FlushAndCloseAsync();
break;
#else
LogManager.AddLog($"[情報] FreshRSS 更新開始");
await CmnUtil.RunCommandAsync("/bin/bash", "/usr/local/bin/update_rss.sh", "");
sw.Stop();
LogManager.AddLog($"[情報] FreshRSS 更新完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
totalSw.Stop();
LogManager.AddLog($"[情報] 全処理完了 トータル実行時間:{totalSw.Elapsed.TotalSeconds:0.##}秒");
#endif
+17 -6
View File
@@ -1,4 +1,4 @@
<Project Sdk="Microsoft.NET.Sdk">
<Project Sdk="Microsoft.NET.Sdk">
<PropertyGroup>
<OutputType>Exe</OutputType>
@@ -6,6 +6,11 @@
<RootNamespace>rss_generator</RootNamespace>
<ImplicitUsings>enable</ImplicitUsings>
<Nullable>enable</Nullable>
<!-- サーバーGCを無効化し、省メモリなワークステーションGCを使用 -->
<ServerGarbageCollection>false</ServerGarbageCollection>
<ConcurrentGarbageCollection>true</ConcurrentGarbageCollection>
<!-- 使用済み仮想メモリをOSに速やかに返却 -->
<RetainVMGarbageCollection>false</RetainVMGarbageCollection>
</PropertyGroup>
<ItemGroup>
@@ -24,11 +29,17 @@
<Folder Include="Class\RSS\Pixiv\" />
</ItemGroup>
<!-- 発行後にローカルPCのDocker Desktopへ自動デプロイ -->
<Target Name="PostPublishDeploy" AfterTargets="Publish">
<Message Text="=== [VPS Deploy] Starting Deploy via MSBuild ===" Importance="high" />
<Exec Command="ssh -p 22321 armonica@162.43.79.113 &quot;mkdir -p /home/armonica/docker/rss-generator/app&quot;" />
<Exec Command="scp -P 22321 -r &quot;$(ProjectDir)bin\publish\*&quot; armonica@162.43.79.113:/home/armonica/docker/rss-generator/app/" />
<Exec Command="ssh -p 22321 armonica@162.43.79.113 &quot;cd /home/armonica/docker/rss-generator &amp;&amp; docker compose up -d --build rss-generator&quot;" />
<Message Text="=== [VPS Deploy] All processes completed successfully! ===" Importance="high" />
<Message Text="=== [Local Docker Deploy] Starting Deploy via MSBuild ===" Importance="high" />
<!-- 配置先ディレクトリ C:\docker\rss-generator\app の存在確認と作成 -->
<Exec Command="powershell -Command &quot;if (!(Test-Path 'C:\docker\rss-generator\app')) { New-Item -ItemType Directory -Force -Path 'C:\docker\rss-generator\app' }&quot;" />
<!-- 発行済みファイルを C:\docker\rss-generator\app に同期(Visual Studio発行プロファイル・CLI共通対応) -->
<Exec Command="robocopy &quot;$(PublishDir).&quot; &quot;C:\docker\rss-generator\app&quot; /MIR /NP /NFL /NDL" IgnoreExitCode="true" />
<!-- Dockerfile と compose.yaml を最新同期 -->
<Exec Command="powershell -Command &quot;Copy-Item -Path '$(SolutionDir)Dockerfile', '$(SolutionDir)compose.yaml' -Destination 'C:\docker\rss-generator\' -Force&quot;" />
<!-- ローカルDocker Desktopでコンテナをビルド・起動(常駐) -->
<Exec Command="docker compose -f C:\docker\rss-generator\compose.yaml up -d --build" />
<Message Text="=== [Local Docker Deploy] All processes completed successfully! ===" Importance="high" />
</Target>
</Project>