Compare commits
10
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
020c11103e | ||
|
|
ef730787dd | ||
|
|
63188d87f4 | ||
|
|
f5230cb0ab | ||
|
|
233ef518c3 | ||
|
|
ded000f0a3 | ||
|
|
6b3c67f361 | ||
|
|
1b6051f2e1 | ||
|
|
5c5752d4a2 | ||
|
|
e14b273174 |
No files matched your search
+19
@@ -0,0 +1,19 @@
|
|||||||
|
# .NET 10.0 ランタイムベースイメージ
|
||||||
|
FROM mcr.microsoft.com/dotnet/runtime:10.0 AS runtime
|
||||||
|
WORKDIR /app
|
||||||
|
|
||||||
|
# タイムゾーン設定 (JST) および必要なツールのインストール
|
||||||
|
RUN apt-get update && apt-get install -y --no-install-recommends \
|
||||||
|
tzdata \
|
||||||
|
ca-certificates \
|
||||||
|
curl \
|
||||||
|
&& rm -rf /var/lib/apt/lists/*
|
||||||
|
|
||||||
|
# 日本時間に設定
|
||||||
|
ENV TZ=Asia/Tokyo
|
||||||
|
|
||||||
|
# 発行済みバイナリをコンテナ内へ配置
|
||||||
|
COPY ./app .
|
||||||
|
|
||||||
|
# アプリケーション実行
|
||||||
|
ENTRYPOINT ["dotnet", "rss-generator.dll"]
|
||||||
@@ -0,0 +1,26 @@
|
|||||||
|
services:
|
||||||
|
rss-generator:
|
||||||
|
build: .
|
||||||
|
image: local-rss-generator:latest
|
||||||
|
container_name: rss-generator
|
||||||
|
restart: always
|
||||||
|
mem_limit: 512m
|
||||||
|
memswap_limit: 512m
|
||||||
|
deploy:
|
||||||
|
resources:
|
||||||
|
limits:
|
||||||
|
memory: 512M
|
||||||
|
environment:
|
||||||
|
- TZ=Asia/Tokyo
|
||||||
|
# .NET GC設定: Workstation GC強制、ヒープ制限70%
|
||||||
|
- DOTNET_gcServer=0
|
||||||
|
- DOTNET_GCHeapHardLimitPercent=70
|
||||||
|
volumes:
|
||||||
|
# 生成されたXMLフィードをホストの C:\feeds に出力
|
||||||
|
- C:\feeds:/app/output
|
||||||
|
networks:
|
||||||
|
- common-network
|
||||||
|
|
||||||
|
networks:
|
||||||
|
common-network:
|
||||||
|
external: true
|
||||||
@@ -8,12 +8,15 @@ using System.Diagnostics;
|
|||||||
using System.Net;
|
using System.Net;
|
||||||
using System.Net.Http.Headers;
|
using System.Net.Http.Headers;
|
||||||
using System.Net.Http.Json;
|
using System.Net.Http.Json;
|
||||||
|
using System.Collections.Concurrent;
|
||||||
using System.Security.Cryptography;
|
using System.Security.Cryptography;
|
||||||
using System.ServiceModel.Syndication;
|
using System.ServiceModel.Syndication;
|
||||||
using System.Text;
|
using System.Text;
|
||||||
using System.Text.Json;
|
using System.Text.Json;
|
||||||
using System.Text.Json.Serialization;
|
using System.Text.Json.Serialization;
|
||||||
using System.Text.RegularExpressions;
|
using System.Text.RegularExpressions;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
using System.Xml;
|
using System.Xml;
|
||||||
|
|
||||||
namespace rss_generator.Class;
|
namespace rss_generator.Class;
|
||||||
@@ -120,12 +123,320 @@ public class CmnUtil
|
|||||||
}
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// Feedをファイルとして出力
|
/// 記事が指定の日時以降(カットオフ以降)の取得対象であるかを判定します。
|
||||||
|
/// 公開日時がカットオフ前であっても、更新日時がカットオフ以降であれば取得対象となります。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="item">判定対象のフィードアイテム</param>
|
||||||
|
/// <param name="cutoff">カットオフ日時</param>
|
||||||
|
/// <returns>取得対象であれば true、24時間以上前で対象外であれば false</returns>
|
||||||
|
public static bool IsItemWithinCutoff(SyndicationItem item, DateTimeOffset cutoff)
|
||||||
|
{
|
||||||
|
bool hasUpdated = item.LastUpdatedTime > DateTimeOffset.MinValue;
|
||||||
|
bool hasPublished = item.PublishDate > DateTimeOffset.MinValue;
|
||||||
|
|
||||||
|
// 1. 更新日時が有効で、カットオフ以降であれば対象(公開日時が24時間以上前でも救済)
|
||||||
|
if (hasUpdated && item.LastUpdatedTime >= cutoff)
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 2. 公開日時が有効で、カットオフ以降であれば対象
|
||||||
|
if (hasPublished && item.PublishDate >= cutoff)
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 3. 公開日時または更新日時のいずれかが設定されているが、どちらもカットオフ未満(古い)場合は除外
|
||||||
|
if (hasUpdated || hasPublished)
|
||||||
|
{
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 4. 日時情報が一切存在しないアイテム(MinValue)は念のため残す
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// フィードアイテム一覧から、指定時間以内(デフォルト24時間)の対象アイテムのみを抽出します。
|
||||||
|
/// 公開日時が指定時間以上前であっても、更新日時が指定時間以内であれば抽出対象となります。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="items">アイテム一覧</param>
|
||||||
|
/// <param name="hours">許容時間(時間単位、デフォルト: 24時間)</param>
|
||||||
|
/// <returns>条件を満たすアイテムのリスト</returns>
|
||||||
|
public static List<SyndicationItem> FilterItemsWithinHours(IEnumerable<SyndicationItem> items, double hours = 24)
|
||||||
|
{
|
||||||
|
var cutoff = DateTimeOffset.Now.AddHours(-hours);
|
||||||
|
return items.Where(item => IsItemWithinCutoff(item, cutoff)).ToList();
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 全ての RSS 出力処理において、記事内の画像(img src / video poster)を自動で Base64 形式(Data URI)に変換して埋め込むかどうか。
|
||||||
|
/// 環境変数 EMBED_ALL_IMAGES_BASE64 (true/false) での上書きも可能です。
|
||||||
|
/// </summary>
|
||||||
|
public static bool EmbedAllImagesBase64
|
||||||
|
{
|
||||||
|
get
|
||||||
|
{
|
||||||
|
var envVal = Environment.GetEnvironmentVariable("EMBED_ALL_IMAGES_BASE64");
|
||||||
|
if (!string.IsNullOrWhiteSpace(envVal) && bool.TryParse(envVal, out var parsed))
|
||||||
|
{
|
||||||
|
return parsed;
|
||||||
|
}
|
||||||
|
return _embedAllImagesBase64;
|
||||||
|
}
|
||||||
|
set => _embedAllImagesBase64 = value;
|
||||||
|
}
|
||||||
|
private static bool _embedAllImagesBase64 = true;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 画像URLから画像データを取得し、Base64 (Data URI: data:{mime};base64,{data}) 形式の文字列として返します。
|
||||||
|
/// サイト固有の Referer ヘッダーの自動付与やタイムアウト(6秒)制御を行います。
|
||||||
|
/// </summary>
|
||||||
|
public static async Task<string?> FetchImageAsBase64Async(HttpClient client, string imageUrl, int timeoutSeconds = 6)
|
||||||
|
{
|
||||||
|
if (string.IsNullOrWhiteSpace(imageUrl)) return null;
|
||||||
|
if (imageUrl.StartsWith("data:", StringComparison.OrdinalIgnoreCase)) return imageUrl;
|
||||||
|
|
||||||
|
var targetUrl = imageUrl.Trim();
|
||||||
|
// // で始まるスキーム相対URLを https: に補完
|
||||||
|
if (targetUrl.StartsWith("//"))
|
||||||
|
{
|
||||||
|
targetUrl = "https:" + targetUrl;
|
||||||
|
}
|
||||||
|
|
||||||
|
// HTML エンティティの多重エンコード(& や &amp; など)を完全に解決
|
||||||
|
while (targetUrl.Contains("&", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
targetUrl = WebUtility.HtmlDecode(targetUrl);
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!targetUrl.StartsWith("http://", StringComparison.OrdinalIgnoreCase) && !targetUrl.StartsWith("https://", StringComparison.OrdinalIgnoreCase)) return null;
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
using var cts = new CancellationTokenSource(TimeSpan.FromSeconds(timeoutSeconds));
|
||||||
|
using var request = new HttpRequestMessage(HttpMethod.Get, targetUrl);
|
||||||
|
|
||||||
|
// User-Agent の設定
|
||||||
|
request.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36");
|
||||||
|
|
||||||
|
// ドメインに応じた適切な Referer の自動判定と付与
|
||||||
|
if (Uri.TryCreate(targetUrl, UriKind.Absolute, out var uri))
|
||||||
|
{
|
||||||
|
var host = uri.Host.ToLowerInvariant();
|
||||||
|
if (host.Contains("pximg.net") || host.Contains("pixiv"))
|
||||||
|
{
|
||||||
|
request.Headers.Referrer = new Uri("https://www.pixiv.net/");
|
||||||
|
}
|
||||||
|
else if (host.Contains("hitomi.la") || host.Contains("gold-usergeneratedcontent.net"))
|
||||||
|
{
|
||||||
|
request.Headers.Referrer = new Uri("https://hitomi.la/");
|
||||||
|
}
|
||||||
|
else if (host.Contains("ci-en.dlsite.com"))
|
||||||
|
{
|
||||||
|
request.Headers.Referrer = new Uri("https://ci-en.dlsite.com/");
|
||||||
|
}
|
||||||
|
else if (host.Contains("momon-ga.com"))
|
||||||
|
{
|
||||||
|
request.Headers.Referrer = new Uri("https://momon-ga.com/");
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
request.Headers.Referrer = new Uri($"{uri.Scheme}://{uri.Authority}/");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead, cts.Token);
|
||||||
|
if (!response.IsSuccessStatusCode)
|
||||||
|
{
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 2MB 以上の画像はメモリ保護のためスキップ(元のURLを参照させる)
|
||||||
|
if (response.Content.Headers.ContentLength.HasValue && response.Content.Headers.ContentLength.Value > 2 * 1024 * 1024)
|
||||||
|
{
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
var contentType = response.Content.Headers.ContentType?.MediaType;
|
||||||
|
if (string.IsNullOrWhiteSpace(contentType) || !contentType.StartsWith("image/", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
contentType = "image/jpeg";
|
||||||
|
}
|
||||||
|
|
||||||
|
var bytes = await response.Content.ReadAsByteArrayAsync(cts.Token);
|
||||||
|
if (bytes == null || bytes.Length == 0) return null;
|
||||||
|
|
||||||
|
var base64 = Convert.ToBase64String(bytes);
|
||||||
|
return $"data:{contentType};base64,{base64}";
|
||||||
|
}
|
||||||
|
catch
|
||||||
|
{
|
||||||
|
// タイムアウトや取得失敗時は元のURLのままフォールバックするため静かにnull返却
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// SyndicationFeed に含まれる全記事(24時間フィルタ適用後)の HTML 本文から画像 URL を抽出し、
|
||||||
|
/// 並列ダウンロードして Base64 形式(Data URI)に置換します。
|
||||||
|
/// </summary>
|
||||||
|
public static async Task EmbedImagesAsBase64InFeedAsync(SyndicationFeed feed, HttpClient client, int maxParallel = 2)
|
||||||
|
{
|
||||||
|
if (feed.Items == null) return;
|
||||||
|
|
||||||
|
var itemsList = feed.Items.ToList();
|
||||||
|
if (itemsList.Count == 0) return;
|
||||||
|
|
||||||
|
// 1. 全アイテムの HTML から画像 URL を抽出(重複排除)
|
||||||
|
var urlPattern = new Regex(@"(?:<img\b[^>]*?\bsrc=[""'](?<url>[^""'\s>]+)[""']|<video\b[^>]*?\bposter=[""'](?<url>[^""'\s>]+)[""'])", RegexOptions.IgnoreCase | RegexOptions.Compiled);
|
||||||
|
|
||||||
|
// rawUrl -> decodedUrl のマッピング
|
||||||
|
var targetUrls = new Dictionary<string, string>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
|
||||||
|
foreach (var item in itemsList)
|
||||||
|
{
|
||||||
|
var html = item.Summary?.Text ?? (item.Content as TextSyndicationContent)?.Text;
|
||||||
|
if (string.IsNullOrWhiteSpace(html)) continue;
|
||||||
|
|
||||||
|
var matches = urlPattern.Matches(html);
|
||||||
|
foreach (Match match in matches)
|
||||||
|
{
|
||||||
|
var rawUrl = match.Groups["url"].Value;
|
||||||
|
if (!string.IsNullOrWhiteSpace(rawUrl) && !rawUrl.StartsWith("data:", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
var decoded = rawUrl;
|
||||||
|
while (decoded.Contains("&", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
decoded = WebUtility.HtmlDecode(decoded);
|
||||||
|
}
|
||||||
|
if (decoded.StartsWith("//"))
|
||||||
|
{
|
||||||
|
decoded = "https:" + decoded;
|
||||||
|
}
|
||||||
|
targetUrls[rawUrl] = decoded;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (targetUrls.Count == 0) return;
|
||||||
|
|
||||||
|
// 2. 並列ダウンロードして Base64 辞書を構築(メモリ節約のため同時並行数は2に制御)
|
||||||
|
var cacheMap = new ConcurrentDictionary<string, string>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
using var semaphore = new SemaphoreSlim(maxParallel);
|
||||||
|
|
||||||
|
var downloadTasks = targetUrls.Select(async kvp =>
|
||||||
|
{
|
||||||
|
var rawUrl = kvp.Key;
|
||||||
|
var fetchUrl = kvp.Value;
|
||||||
|
|
||||||
|
await semaphore.WaitAsync();
|
||||||
|
try
|
||||||
|
{
|
||||||
|
var dataUri = await FetchImageAsBase64Async(client, fetchUrl);
|
||||||
|
if (!string.IsNullOrWhiteSpace(dataUri))
|
||||||
|
{
|
||||||
|
cacheMap[rawUrl] = dataUri;
|
||||||
|
cacheMap[fetchUrl] = dataUri;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
finally
|
||||||
|
{
|
||||||
|
semaphore.Release();
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
|
await Task.WhenAll(downloadTasks);
|
||||||
|
|
||||||
|
// 3. 各アイテムの HTML 内の画像 URL を Base64 文字列に置換
|
||||||
|
if (cacheMap.Count > 0)
|
||||||
|
{
|
||||||
|
foreach (var item in itemsList)
|
||||||
|
{
|
||||||
|
if (item.Summary != null && !string.IsNullOrWhiteSpace(item.Summary.Text))
|
||||||
|
{
|
||||||
|
var newHtml = item.Summary.Text;
|
||||||
|
bool modified = false;
|
||||||
|
|
||||||
|
foreach (var kvp in cacheMap)
|
||||||
|
{
|
||||||
|
if (newHtml.Contains(kvp.Key, StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
newHtml = newHtml.Replace(kvp.Key, kvp.Value, StringComparison.OrdinalIgnoreCase);
|
||||||
|
modified = true;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (modified)
|
||||||
|
{
|
||||||
|
item.Summary = new TextSyndicationContent(newHtml, TextSyndicationContentKind.Html);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
int distinctSuccess = targetUrls.Keys.Count(k => cacheMap.ContainsKey(k));
|
||||||
|
LogManager.AddLog($"[情報] [CmnUtil] 画像の Base64 変換完了: {distinctSuccess}/{targetUrls.Count} 件成功 (記事数: {itemsList.Count})");
|
||||||
|
|
||||||
|
// 使用済みメモリの即時解放
|
||||||
|
cacheMap.Clear();
|
||||||
|
targetUrls.Clear();
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Feed を非同期でファイルに出力します。画像 Base64 変換が有効な場合は自動で変換を行います。
|
||||||
|
/// </summary>
|
||||||
|
public static async Task ExportXMLFileAsync(string fileName, SyndicationFeed feed, HttpClient? client = null, string addDir = "")
|
||||||
|
{
|
||||||
|
// 24時間以上前の古い記事を除外
|
||||||
|
if (feed.Items != null)
|
||||||
|
{
|
||||||
|
feed.Items = FilterItemsWithinHours(feed.Items, 24);
|
||||||
|
}
|
||||||
|
|
||||||
|
// 画像の Base64 埋め込み処理
|
||||||
|
if (EmbedAllImagesBase64 && client != null)
|
||||||
|
{
|
||||||
|
try
|
||||||
|
{
|
||||||
|
await EmbedImagesAsBase64InFeedAsync(feed, client);
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[警告] [CmnUtil] 画像 Base64 変換中に例外発生 ({fileName}): {ex.Message}");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
var filePath = GetExportXmlPath(fileName, addDir);
|
||||||
|
var settings = new XmlWriterSettings
|
||||||
|
{
|
||||||
|
Encoding = new UTF8Encoding(false), // BOMなしUTF-8
|
||||||
|
Indent = true,
|
||||||
|
Async = true
|
||||||
|
};
|
||||||
|
|
||||||
|
using var xmlWriter = XmlWriter.Create(filePath, settings);
|
||||||
|
var formatter = new Rss20FeedFormatter(feed);
|
||||||
|
formatter.WriteTo(xmlWriter);
|
||||||
|
|
||||||
|
int count = feed.Items?.Count() ?? 0;
|
||||||
|
string displayFileName = System.IO.Path.GetFileName(filePath);
|
||||||
|
LogManager.AddLog($"[情報] {displayFileName} を正常に出力しました (記事数: {count})");
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Feedをファイルとして出力(同期版・後方互換用)
|
||||||
/// </summary>
|
/// </summary>
|
||||||
/// <param name="fileName"></param>
|
/// <param name="fileName"></param>
|
||||||
/// <param name="feed"></param>
|
/// <param name="feed"></param>
|
||||||
public static void ExportXMLFile(string fileName, SyndicationFeed feed, string addDir = "")
|
public static void ExportXMLFile(string fileName, SyndicationFeed feed, string addDir = "")
|
||||||
{
|
{
|
||||||
|
// 24時間以上前の古い記事を除外(公開日時が24時間以上前でも、更新日時が24時間以内なら取得対象)
|
||||||
|
if (feed.Items != null)
|
||||||
|
{
|
||||||
|
feed.Items = FilterItemsWithinHours(feed.Items, 24);
|
||||||
|
}
|
||||||
|
|
||||||
var filePath = GetExportXmlPath(fileName, addDir);
|
var filePath = GetExportXmlPath(fileName, addDir);
|
||||||
// 文字コードをUTF-8に指定
|
// 文字コードをUTF-8に指定
|
||||||
var settings = new XmlWriterSettings
|
var settings = new XmlWriterSettings
|
||||||
|
|||||||
@@ -35,8 +35,15 @@ internal class rank
|
|||||||
var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId);
|
var items = await CmnUtil.GetFeedItemsFlareSolverr(client, pageMaster, session: sessionId);
|
||||||
var simplifiedItems = new List<SyndicationItem>();
|
var simplifiedItems = new List<SyndicationItem>();
|
||||||
|
|
||||||
|
var cutoff = DateTimeOffset.Now.AddHours(-24);
|
||||||
foreach (var item in items)
|
foreach (var item in items)
|
||||||
{
|
{
|
||||||
|
// 24時間以上前の記事は詳細スクレイピングをスキップ
|
||||||
|
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
var simplified = await Simplified(client, item, sessionId);
|
var simplified = await Simplified(client, item, sessionId);
|
||||||
if (simplified != null)
|
if (simplified != null)
|
||||||
{
|
{
|
||||||
@@ -52,7 +59,7 @@ internal class rank
|
|||||||
simplifiedItems
|
simplifiedItems
|
||||||
);
|
);
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile("rank.xml", mergedFeed, "danbooru");
|
await CmnUtil.ExportXMLFileAsync("rank.xml", mergedFeed, client, "danbooru");
|
||||||
}
|
}
|
||||||
finally
|
finally
|
||||||
{
|
{
|
||||||
@@ -272,7 +279,7 @@ internal class rank
|
|||||||
// 画像の配置
|
// 画像の配置
|
||||||
if (!string.IsNullOrEmpty(imageUrl))
|
if (!string.IsNullOrEmpty(imageUrl))
|
||||||
{
|
{
|
||||||
body.Append($@"<div><a href=""{link}""><img src=""{imageUrl}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
|
body.Append($@"<div><a href=""{link}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{imageUrl}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
|
||||||
}
|
}
|
||||||
|
|
||||||
// 画像のすぐ下に作者コメントを追加
|
// 画像のすぐ下に作者コメントを追加
|
||||||
@@ -300,7 +307,7 @@ internal class rank
|
|||||||
|
|
||||||
if (!string.IsNullOrEmpty(sourceUrl))
|
if (!string.IsNullOrEmpty(sourceUrl))
|
||||||
{
|
{
|
||||||
body.Append($@"<div><strong>元ソース:</strong> <a href=""{sourceUrl}"" target=""_blank"">{WebUtility.HtmlEncode(sourceUrl)}</a></div>");
|
body.Append($@"<div><strong>元ソース:</strong> <a href=""{sourceUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{WebUtility.HtmlEncode(sourceUrl)}</a></div>");
|
||||||
}
|
}
|
||||||
|
|
||||||
if (generalTags.Count > 0)
|
if (generalTags.Count > 0)
|
||||||
|
|||||||
@@ -33,7 +33,27 @@ internal static class pixiv_common
|
|||||||
public static string UserAgent { get; set; } = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36";
|
public static string UserAgent { get; set; } = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36";
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// RSSリーダー等で画像直リンク時の403エラーを回避するため、画像プロキシ(i.pixiv.re)を利用するかどうか
|
/// サムネイル画像を直接取得して Base64 形式(Data URI: data:image/jpeg;base64,...)で RSS に埋め込むかどうか。
|
||||||
|
/// 有効にすると RSS リーダー側での画像読み込み遅延(約9秒)および 403 エラーが完全に解消されます。
|
||||||
|
/// 環境変数 PIXIV_EMBED_BASE64 (true/false) での上書きも可能です。
|
||||||
|
/// </summary>
|
||||||
|
public static bool EmbedThumbnailBase64
|
||||||
|
{
|
||||||
|
get
|
||||||
|
{
|
||||||
|
var envVal = Environment.GetEnvironmentVariable("PIXIV_EMBED_BASE64");
|
||||||
|
if (!string.IsNullOrWhiteSpace(envVal) && bool.TryParse(envVal, out var parsed))
|
||||||
|
{
|
||||||
|
return parsed;
|
||||||
|
}
|
||||||
|
return _embedThumbnailBase64;
|
||||||
|
}
|
||||||
|
set => _embedThumbnailBase64 = value;
|
||||||
|
}
|
||||||
|
private static bool _embedThumbnailBase64 = true;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// RSSリーダー等で画像直リンク時の403エラーを回避するため、画像プロキシ(i.pixiv.re)を利用するかどうか(Base64埋め込みが無効または失敗時のフォールバック先)
|
||||||
/// </summary>
|
/// </summary>
|
||||||
public static bool UseImageProxy { get; set; } = true;
|
public static bool UseImageProxy { get; set; } = true;
|
||||||
|
|
||||||
@@ -298,11 +318,122 @@ internal static class pixiv_common
|
|||||||
}
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// Pixiv の作品アイテムリストを SyndicationItem のリストに変換します。
|
/// Pixiv の画像 URL (i.pximg.net) から直接画像データをダウンロードし、Base64 (Data URI) 形式の文字列として取得します。
|
||||||
|
/// Referer (https://www.pixiv.net/) や User-Agent、Cookie などのヘッダーを付加して取得します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="client">HttpClient インスタンス</param>
|
||||||
|
/// <param name="imageUrl">Pixiv 画像 URL (例: https://i.pximg.net/c/250x250_80_a2/...)</param>
|
||||||
|
/// <returns>Base64 Data URI 文字列(例: "data:image/jpeg;base64,...")、失敗時は null</returns>
|
||||||
|
public static async Task<string?> FetchImageAsBase64Async(HttpClient client, string imageUrl)
|
||||||
|
{
|
||||||
|
if (string.IsNullOrWhiteSpace(imageUrl)) return null;
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
// プロキシドメインに置換されていた場合は i.pximg.net に戻して Pixiv 公式 CDN から直接高速取得
|
||||||
|
var targetUrl = imageUrl;
|
||||||
|
if (targetUrl.Contains(ImageProxyHost) && ImageProxyHost != "i.pximg.net")
|
||||||
|
{
|
||||||
|
targetUrl = targetUrl.Replace(ImageProxyHost, "i.pximg.net");
|
||||||
|
}
|
||||||
|
|
||||||
|
using var request = new HttpRequestMessage(HttpMethod.Get, targetUrl);
|
||||||
|
request.Headers.Referrer = new Uri(REFERER_URL);
|
||||||
|
request.Headers.Add("User-Agent", UserAgent);
|
||||||
|
|
||||||
|
var effectiveCookie = GetEffectiveCookie();
|
||||||
|
if (!string.IsNullOrWhiteSpace(effectiveCookie))
|
||||||
|
{
|
||||||
|
request.Headers.Add("Cookie", effectiveCookie);
|
||||||
|
}
|
||||||
|
|
||||||
|
using var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead);
|
||||||
|
if (!response.IsSuccessStatusCode)
|
||||||
|
{
|
||||||
|
AddLog($"[警告] [pixiv_common] サムネイル画像取得失敗 (Status={(int)response.StatusCode}, URL={targetUrl})");
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
var contentType = response.Content.Headers.ContentType?.MediaType ?? "image/jpeg";
|
||||||
|
var bytes = await response.Content.ReadAsByteArrayAsync();
|
||||||
|
if (bytes == null || bytes.Length == 0) return null;
|
||||||
|
|
||||||
|
var base64 = Convert.ToBase64String(bytes);
|
||||||
|
return $"data:{contentType};base64,{base64}";
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
AddLog($"[エラー] [pixiv_common] サムネイル Base64 取得例外 (URL={imageUrl}): {ex.Message}");
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Pixiv の作品アイテムリストを非同期で SyndicationItem のリストに変換します。
|
||||||
|
/// EmbedThumbnailBase64 が有効な場合、サムネイル画像を最大並列数で直接ダウンロードして Base64 埋め込みを行います。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="client">HttpClient インスタンス</param>
|
||||||
|
/// <param name="illusts">Pixiv 作品アイテム列挙</param>
|
||||||
|
/// <param name="maxParallelDownloads">画像ダウンロードの最大並列数(デフォルト: 6)</param>
|
||||||
|
/// <returns>SyndicationItem リスト</returns>
|
||||||
|
public static async Task<List<SyndicationItem>> ConvertToSyndicationItemsAsync(
|
||||||
|
HttpClient client,
|
||||||
|
IEnumerable<PixivIllustItem> illusts,
|
||||||
|
int maxParallelDownloads = 6)
|
||||||
|
{
|
||||||
|
var illustList = illusts.ToList();
|
||||||
|
var base64ImageMap = new Dictionary<string, string>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
|
||||||
|
// Base64 埋め込みが有効な場合、画像を並列ダウンロードしてマップに保持
|
||||||
|
if (EmbedThumbnailBase64)
|
||||||
|
{
|
||||||
|
using var semaphore = new SemaphoreSlim(maxParallelDownloads);
|
||||||
|
var tasks = illustList
|
||||||
|
.Where(i => !string.IsNullOrWhiteSpace(i.Url))
|
||||||
|
.Select(async illust =>
|
||||||
|
{
|
||||||
|
await semaphore.WaitAsync();
|
||||||
|
try
|
||||||
|
{
|
||||||
|
var dataUri = await FetchImageAsBase64Async(client, illust.Url);
|
||||||
|
if (!string.IsNullOrWhiteSpace(dataUri))
|
||||||
|
{
|
||||||
|
lock (base64ImageMap)
|
||||||
|
{
|
||||||
|
base64ImageMap[illust.Id] = dataUri;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
finally
|
||||||
|
{
|
||||||
|
semaphore.Release();
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
|
await Task.WhenAll(tasks);
|
||||||
|
AddLog($"[情報] [pixiv_common] サムネイル画像の Base64 取得完了: {base64ImageMap.Count}/{illustList.Count} 件成功");
|
||||||
|
}
|
||||||
|
|
||||||
|
// アイテムの組み立て(各アイテムに Base64 またはフォールバック URL を設定)
|
||||||
|
return ConvertToSyndicationItemsInternal(illustList, base64ImageMap);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Pixiv の作品アイテムリストを SyndicationItem のリストに変換します(同期版・後方互換用)。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
/// <param name="illusts">Pixiv 作品アイテム列挙</param>
|
/// <param name="illusts">Pixiv 作品アイテム列挙</param>
|
||||||
/// <returns>SyndicationItem リスト</returns>
|
/// <returns>SyndicationItem リスト</returns>
|
||||||
public static List<SyndicationItem> ConvertToSyndicationItems(IEnumerable<PixivIllustItem> illusts)
|
public static List<SyndicationItem> ConvertToSyndicationItems(IEnumerable<PixivIllustItem> illusts)
|
||||||
|
{
|
||||||
|
return ConvertToSyndicationItemsInternal(illusts, null);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Pixiv の作品アイテムリストを SyndicationItem のリストに変換する共通内部処理です。
|
||||||
|
/// </summary>
|
||||||
|
private static List<SyndicationItem> ConvertToSyndicationItemsInternal(
|
||||||
|
IEnumerable<PixivIllustItem> illusts,
|
||||||
|
Dictionary<string, string>? base64ImageMap)
|
||||||
{
|
{
|
||||||
var items = new List<SyndicationItem>();
|
var items = new List<SyndicationItem>();
|
||||||
|
|
||||||
@@ -375,17 +506,25 @@ internal static class pixiv_common
|
|||||||
// 本文 HTML の生成
|
// 本文 HTML の生成
|
||||||
var body = new StringBuilder();
|
var body = new StringBuilder();
|
||||||
|
|
||||||
// 画像 URL の決定(プロキシ適用)
|
// 画像 URL の決定(Base64 埋め込み優先、なければプロキシまたは元URL適用)
|
||||||
var displayImageUrl = illust.Url;
|
string? displayImageUrl = null;
|
||||||
|
if (base64ImageMap != null && base64ImageMap.TryGetValue(illust.Id, out var base64Uri))
|
||||||
|
{
|
||||||
|
displayImageUrl = base64Uri;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
displayImageUrl = illust.Url;
|
||||||
if (UseImageProxy && !string.IsNullOrWhiteSpace(displayImageUrl))
|
if (UseImageProxy && !string.IsNullOrWhiteSpace(displayImageUrl))
|
||||||
{
|
{
|
||||||
displayImageUrl = displayImageUrl.Replace("i.pximg.net", ImageProxyHost);
|
displayImageUrl = displayImageUrl.Replace("i.pximg.net", ImageProxyHost);
|
||||||
}
|
}
|
||||||
|
}
|
||||||
|
|
||||||
if (!string.IsNullOrWhiteSpace(displayImageUrl))
|
if (!string.IsNullOrWhiteSpace(displayImageUrl))
|
||||||
{
|
{
|
||||||
body.Append($"<div>");
|
body.Append($"<div>");
|
||||||
body.Append($"<a href=\"{itemUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">");
|
body.Append($"<a href=\"{itemUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">");
|
||||||
body.Append($"<img src=\"{displayImageUrl}\" referrerpolicy=\"no-referrer\" alt=\"{WebUtility.HtmlEncode(illust.Title)}\" style=\"max-width: 100%; height: auto; display: block; margin-bottom: 10px;\" />");
|
body.Append($"<img src=\"{displayImageUrl}\" referrerpolicy=\"no-referrer\" alt=\"{WebUtility.HtmlEncode(illust.Title)}\" style=\"max-width: 100%; height: auto; display: block; margin-bottom: 10px;\" />");
|
||||||
body.Append($"</a>");
|
body.Append($"</a>");
|
||||||
body.Append($"</div>");
|
body.Append($"</div>");
|
||||||
@@ -393,7 +532,7 @@ internal static class pixiv_common
|
|||||||
|
|
||||||
// 作者・作品メタ情報
|
// 作者・作品メタ情報
|
||||||
body.Append($"<p>");
|
body.Append($"<p>");
|
||||||
body.Append($"作者: <a href=\"{authorUrl}\" target=\"_blank\" rel=\"noopener noreferrer\">{WebUtility.HtmlEncode(illust.UserName)}</a>");
|
body.Append($"作者: <a href=\"{authorUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">{WebUtility.HtmlEncode(illust.UserName)}</a>");
|
||||||
if (illust.PageCount > 1)
|
if (illust.PageCount > 1)
|
||||||
{
|
{
|
||||||
body.Append($" | ページ数: {illust.PageCount}P");
|
body.Append($" | ページ数: {illust.PageCount}P");
|
||||||
@@ -436,6 +575,21 @@ internal static class pixiv_common
|
|||||||
return items;
|
return items;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// SyndicationFeed を作成し、指定されたファイル名の XML として非同期で出力します。
|
||||||
|
/// </summary>
|
||||||
|
public static async Task CreateAndExportFeedAsync(string feedTitle, string feedDescription, string feedLink, string fileName, List<SyndicationItem> items, HttpClient? client = null)
|
||||||
|
{
|
||||||
|
var feed = new SyndicationFeed(
|
||||||
|
feedTitle,
|
||||||
|
feedDescription,
|
||||||
|
new Uri(feedLink),
|
||||||
|
items
|
||||||
|
);
|
||||||
|
|
||||||
|
await CmnUtil.ExportXMLFileAsync(fileName, feed, client);
|
||||||
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// SyndicationFeed を作成し、指定されたファイル名の XML として出力します。
|
/// SyndicationFeed を作成し、指定されたファイル名の XML として出力します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
|
|||||||
@@ -32,16 +32,17 @@ internal class pixiv_non_r18_ai
|
|||||||
minCount: 30
|
minCount: 30
|
||||||
);
|
);
|
||||||
|
|
||||||
// SyndicationItem のリストに変換
|
// SyndicationItem のリストに変換(Base64 サムネイル埋め込み対応)
|
||||||
var items = pixiv_common.ConvertToSyndicationItems(illusts);
|
var items = await pixiv_common.ConvertToSyndicationItemsAsync(client, illusts);
|
||||||
|
|
||||||
// フィード作成と XML 出力
|
// フィード作成と XML 出力
|
||||||
pixiv_common.CreateAndExportFeed(
|
await pixiv_common.CreateAndExportFeedAsync(
|
||||||
FEED_TITLE,
|
FEED_TITLE,
|
||||||
FEED_DESCRIPTION,
|
FEED_DESCRIPTION,
|
||||||
FEED_LINK,
|
FEED_LINK,
|
||||||
XML_FILE_NAME,
|
XML_FILE_NAME,
|
||||||
items
|
items,
|
||||||
|
client
|
||||||
);
|
);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
|
|||||||
@@ -32,16 +32,17 @@ internal class pixiv_non_r18_non_ai
|
|||||||
minCount: 30
|
minCount: 30
|
||||||
);
|
);
|
||||||
|
|
||||||
// SyndicationItem のリストに変換
|
// SyndicationItem のリストに変換(Base64 サムネイル埋め込み対応)
|
||||||
var items = pixiv_common.ConvertToSyndicationItems(illusts);
|
var items = await pixiv_common.ConvertToSyndicationItemsAsync(client, illusts);
|
||||||
|
|
||||||
// フィード作成と XML 出力
|
// フィード作成と XML 出力
|
||||||
pixiv_common.CreateAndExportFeed(
|
await pixiv_common.CreateAndExportFeedAsync(
|
||||||
FEED_TITLE,
|
FEED_TITLE,
|
||||||
FEED_DESCRIPTION,
|
FEED_DESCRIPTION,
|
||||||
FEED_LINK,
|
FEED_LINK,
|
||||||
XML_FILE_NAME,
|
XML_FILE_NAME,
|
||||||
items
|
items,
|
||||||
|
client
|
||||||
);
|
);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
|
|||||||
@@ -32,16 +32,17 @@ internal class pixiv_r18_ai
|
|||||||
minCount: 30
|
minCount: 30
|
||||||
);
|
);
|
||||||
|
|
||||||
// SyndicationItem のリストに変換
|
// SyndicationItem のリストに変換(Base64 サムネイル埋め込み対応)
|
||||||
var items = pixiv_common.ConvertToSyndicationItems(illusts);
|
var items = await pixiv_common.ConvertToSyndicationItemsAsync(client, illusts);
|
||||||
|
|
||||||
// フィード作成と XML 出力
|
// フィード作成と XML 出力
|
||||||
pixiv_common.CreateAndExportFeed(
|
await pixiv_common.CreateAndExportFeedAsync(
|
||||||
FEED_TITLE,
|
FEED_TITLE,
|
||||||
FEED_DESCRIPTION,
|
FEED_DESCRIPTION,
|
||||||
FEED_LINK,
|
FEED_LINK,
|
||||||
XML_FILE_NAME,
|
XML_FILE_NAME,
|
||||||
items
|
items,
|
||||||
|
client
|
||||||
);
|
);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
|
|||||||
@@ -32,16 +32,17 @@ internal class pixiv_r18_non_ai
|
|||||||
minCount: 30
|
minCount: 30
|
||||||
);
|
);
|
||||||
|
|
||||||
// SyndicationItem のリストに変換
|
// SyndicationItem のリストに変換(Base64 サムネイル埋め込み対応)
|
||||||
var items = pixiv_common.ConvertToSyndicationItems(illusts);
|
var items = await pixiv_common.ConvertToSyndicationItemsAsync(client, illusts);
|
||||||
|
|
||||||
// フィード作成と XML 出力
|
// フィード作成と XML 出力
|
||||||
pixiv_common.CreateAndExportFeed(
|
await pixiv_common.CreateAndExportFeedAsync(
|
||||||
FEED_TITLE,
|
FEED_TITLE,
|
||||||
FEED_DESCRIPTION,
|
FEED_DESCRIPTION,
|
||||||
FEED_LINK,
|
FEED_LINK,
|
||||||
XML_FILE_NAME,
|
XML_FILE_NAME,
|
||||||
items
|
items,
|
||||||
|
client
|
||||||
);
|
);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
|
|||||||
@@ -1,4 +1,4 @@
|
|||||||
using System.ServiceModel.Syndication;
|
using System.ServiceModel.Syndication;
|
||||||
|
|
||||||
namespace rss_generator.Class.RSS.X;
|
namespace rss_generator.Class.RSS.X;
|
||||||
|
|
||||||
@@ -9,19 +9,30 @@ internal class x_list
|
|||||||
private const string QUERY2 = "showEmojiForRetweetAndReply=1?filter_title=%5E%28🔁%7CRT%29";
|
private const string QUERY2 = "showEmojiForRetweetAndReply=1?filter_title=%5E%28🔁%7CRT%29";
|
||||||
public static async Task CreateRSSAsync(HttpClient client)
|
public static async Task CreateRSSAsync(HttpClient client)
|
||||||
{
|
{
|
||||||
var tasks = new List<Task>()
|
// メモリ消費を最小化するため、各リストを1つずつ順次処理
|
||||||
|
var targets = new (string ListId, string FileName)[]
|
||||||
{
|
{
|
||||||
CreateSub1(client, "2076742238231818243", "granbluefantasy")
|
("2076742238231818243", "granbluefantasy"),
|
||||||
, CreateSub1(client, "1695011723005280535", "AI")
|
("1695011723005280535", "AI"),
|
||||||
, CreateSub1(client, "1573473287333560321", "R18")
|
("1573473287333560321", "R18"),
|
||||||
, CreateSub1(client, "2070669317667217577", "VR")
|
("2070669317667217577", "VR"),
|
||||||
, CreateSub1(client, "1573916143969976320", "VTuber")
|
("1573916143969976320", "VTuber"),
|
||||||
, CreateSub1(client, "2070673943057539507", "AnimeReal")
|
("2070673943057539507", "AnimeReal"),
|
||||||
, CreateSub1(client, "1599409403743961088", "AnimeOther")
|
("1599409403743961088", "AnimeOther"),
|
||||||
, CreateSub1(client, "2070670309846655252", "NormalIllust")
|
("2070670309846655252", "NormalIllust")
|
||||||
};
|
};
|
||||||
|
|
||||||
Task.WaitAll(tasks);
|
foreach (var (listId, fileName) in targets)
|
||||||
|
{
|
||||||
|
try
|
||||||
|
{
|
||||||
|
await CreateSub1(client, listId, fileName);
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[エラー] Xリスト生成失敗 ({fileName}): {ex.Message}");
|
||||||
|
}
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
public static async Task CreateSub1(HttpClient client, string listId, string fileName)
|
public static async Task CreateSub1(HttpClient client, string listId, string fileName)
|
||||||
@@ -79,7 +90,7 @@ internal class x_list
|
|||||||
simplifiedItems
|
simplifiedItems
|
||||||
);
|
);
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile($"{fileName}.xml", mergedFeed);
|
await CmnUtil.ExportXMLFileAsync($"{fileName}.xml", mergedFeed, client);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -29,8 +29,8 @@ public static class YouTubeFeedManager
|
|||||||
var allVideoItems = new List<YouTubeVideoItem>();
|
var allVideoItems = new List<YouTubeVideoItem>();
|
||||||
var allShortsItems = new List<YouTubeVideoItem>();
|
var allShortsItems = new List<YouTubeVideoItem>();
|
||||||
|
|
||||||
// YouTubeからのレート制限を防ぐため、同時並行数を安全な値(6)に制御
|
// メモリ消費とレート制限を抑えるため、同時並行数を2に制御
|
||||||
using var semaphore = new System.Threading.SemaphoreSlim(6);
|
using var semaphore = new System.Threading.SemaphoreSlim(2);
|
||||||
|
|
||||||
var channelTasks = YouTubeConfig.Channels.Select(async channel =>
|
var channelTasks = YouTubeConfig.Channels.Select(async channel =>
|
||||||
{
|
{
|
||||||
@@ -72,9 +72,9 @@ public static class YouTubeFeedManager
|
|||||||
|
|
||||||
string catTitleSuffix = $" - {category}";
|
string catTitleSuffix = $" - {category}";
|
||||||
|
|
||||||
ExportMergedFeed(catLive, YouTubeFeedType.Live, liveFile, $"YouTube Live{catTitleSuffix}");
|
await ExportMergedFeedAsync(client, catLive, YouTubeFeedType.Live, liveFile, $"YouTube Live{catTitleSuffix}");
|
||||||
ExportMergedFeed(catVideo, YouTubeFeedType.Video, videoFile, $"YouTube Videos{catTitleSuffix}");
|
await ExportMergedFeedAsync(client, catVideo, YouTubeFeedType.Video, videoFile, $"YouTube Videos{catTitleSuffix}");
|
||||||
ExportMergedFeed(catShorts, YouTubeFeedType.Shorts, shortsFile, $"YouTube Shorts{catTitleSuffix}");
|
await ExportMergedFeedAsync(client, catShorts, YouTubeFeedType.Shorts, shortsFile, $"YouTube Shorts{catTitleSuffix}");
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
@@ -323,7 +323,8 @@ public static class YouTubeFeedManager
|
|||||||
/// <summary>
|
/// <summary>
|
||||||
/// 全チャンネル統合フィードを出力します。
|
/// 全チャンネル統合フィードを出力します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
private static void ExportMergedFeed(
|
private static async Task ExportMergedFeedAsync(
|
||||||
|
HttpClient client,
|
||||||
List<YouTubeVideoItem> items,
|
List<YouTubeVideoItem> items,
|
||||||
YouTubeFeedType feedType,
|
YouTubeFeedType feedType,
|
||||||
string fileName,
|
string fileName,
|
||||||
@@ -353,7 +354,7 @@ public static class YouTubeFeedManager
|
|||||||
distinctItems
|
distinctItems
|
||||||
);
|
);
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile(fileName, feed, YouTubeConfig.OutputSubDir);
|
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, YouTubeConfig.OutputSubDir);
|
||||||
}
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
@@ -395,10 +396,10 @@ public static class YouTubeFeedManager
|
|||||||
|
|
||||||
if (!string.IsNullOrWhiteSpace(video.ThumbnailUrl))
|
if (!string.IsNullOrWhiteSpace(video.ThumbnailUrl))
|
||||||
{
|
{
|
||||||
body.Append($@"<div><a href=""{video.Url}""><img src=""{video.ThumbnailUrl}"" alt=""{WebUtility.HtmlEncode(video.Title)}"" style=""max-width: 100%; height: auto; margin-bottom: 8px; border-radius: 6px;"" /></a></div>");
|
body.Append($@"<div><a href=""{video.Url}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{video.ThumbnailUrl}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(video.Title)}"" style=""max-width: 100%; height: auto; margin-bottom: 8px; border-radius: 6px;"" /></a></div>");
|
||||||
}
|
}
|
||||||
|
|
||||||
body.Append($@"<div style=""margin-bottom: 4px;""><strong>タイトル:</strong> <a href=""{video.Url}"">{WebUtility.HtmlEncode(video.Title)}</a></div>");
|
body.Append($@"<div style=""margin-bottom: 4px;""><strong>タイトル:</strong> <a href=""{video.Url}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{WebUtility.HtmlEncode(video.Title)}</a></div>");
|
||||||
body.Append($@"<div style=""margin-bottom: 4px;""><strong>チャンネル:</strong> {WebUtility.HtmlEncode(video.ChannelTitle)}</div>");
|
body.Append($@"<div style=""margin-bottom: 4px;""><strong>チャンネル:</strong> {WebUtility.HtmlEncode(video.ChannelTitle)}</div>");
|
||||||
|
|
||||||
if (!string.IsNullOrWhiteSpace(video.PublishedText))
|
if (!string.IsNullOrWhiteSpace(video.PublishedText))
|
||||||
|
|||||||
@@ -1,4 +1,4 @@
|
|||||||
using AngleSharp.Html.Dom;
|
using AngleSharp.Html.Dom;
|
||||||
using System;
|
using System;
|
||||||
using System.Collections.Generic;
|
using System.Collections.Generic;
|
||||||
using System.ServiceModel.Syndication;
|
using System.ServiceModel.Syndication;
|
||||||
@@ -50,7 +50,7 @@ internal class Youtube
|
|||||||
items
|
items
|
||||||
);
|
);
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile($"{fileName}.xml", mergedFeed, "youtube");
|
await CmnUtil.ExportXMLFileAsync($"{fileName}.xml", mergedFeed, client, "youtube");
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
|
|||||||
@@ -2,23 +2,38 @@ using AngleSharp.Dom;
|
|||||||
using AngleSharp.Html.Dom;
|
using AngleSharp.Html.Dom;
|
||||||
using System;
|
using System;
|
||||||
using System.Collections.Generic;
|
using System.Collections.Generic;
|
||||||
|
using System.IO;
|
||||||
using System.Linq;
|
using System.Linq;
|
||||||
using System.Net.Http;
|
using System.Net.Http;
|
||||||
using System.ServiceModel.Syndication;
|
using System.ServiceModel.Syndication;
|
||||||
using System.Text;
|
using System.Text;
|
||||||
|
using System.Text.Json;
|
||||||
using System.Text.RegularExpressions;
|
using System.Text.RegularExpressions;
|
||||||
using System.Threading.Tasks;
|
using System.Threading.Tasks;
|
||||||
|
using System.Xml;
|
||||||
|
|
||||||
namespace rss_generator.Class.RSS;
|
namespace rss_generator.Class.RSS;
|
||||||
|
|
||||||
internal class aurahentai
|
internal class aurahentai
|
||||||
{
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// 既存フィード記事の比較用データ保持クラス
|
||||||
|
/// </summary>
|
||||||
|
private class ExistingFeedEntry
|
||||||
|
{
|
||||||
|
public string Title { get; set; } = string.Empty;
|
||||||
|
public string SummaryHtml { get; set; } = string.Empty;
|
||||||
|
public DateTimeOffset PublishDate { get; set; }
|
||||||
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// aurahentai.com の日本語作品一覧から RSS フィード (aurahentai.xml) を生成します。
|
/// aurahentai.com の日本語作品一覧から RSS フィード (aurahentai.xml) を生成します。
|
||||||
/// 一覧ページから作品情報を直接パースすることで、FlareSolverr へのリクエスト数を最小化(全150件をたった5回のリクエストで取得)し、
|
/// 一覧ページから作品情報を直接パースすることで FlareSolverr へのリクエスト数を大幅に削減し、
|
||||||
/// 500 Internal Server Error や過負荷を根本防止しています。
|
/// 新規記事や更新記事のみコンテンツページの DOM (JSON-LD) から正確な datePublished を取得します。
|
||||||
|
/// 既存記事はキャッシュを活用することで過負荷と重複登録を完全に防止します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
/// <param name="client">HttpClient インスタンス</param>
|
/// <param name="client">HttpClient インスタンス</param>
|
||||||
|
/// <param name="sessionId">FlareSolverr セッションID(省略時は自前で作成・破棄)</param>
|
||||||
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
public static async Task CreateRSSAsync(HttpClient client, string? sessionId = null)
|
||||||
{
|
{
|
||||||
var baseURL = "https://aurahentai.com/language/japanese";
|
var baseURL = "https://aurahentai.com/language/japanese";
|
||||||
@@ -27,6 +42,9 @@ internal class aurahentai
|
|||||||
|
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
|
// 既存の aurahentai.xml から過去に出力した各記事の内容(タイトル・本文・日時)を読み込む
|
||||||
|
var existingEntries = LoadExistingEntries("aurahentai.xml");
|
||||||
|
|
||||||
// 外部からセッションが渡されなかった場合は自前で作成
|
// 外部からセッションが渡されなかった場合は自前で作成
|
||||||
bool ownSession = sessionId == null;
|
bool ownSession = sessionId == null;
|
||||||
if (ownSession)
|
if (ownSession)
|
||||||
@@ -44,7 +62,7 @@ internal class aurahentai
|
|||||||
continue;
|
continue;
|
||||||
}
|
}
|
||||||
|
|
||||||
var newItems = CreateFeedItemsFromListPage(document, pageId);
|
var newItems = await CreateFeedItemsFromListPageAsync(client, sessionId, document, pageId, existingEntries);
|
||||||
items.AddRange(newItems);
|
items.AddRange(newItems);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
@@ -64,7 +82,7 @@ internal class aurahentai
|
|||||||
|
|
||||||
feed.Items = uniqueItems;
|
feed.Items = uniqueItems;
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile("aurahentai.xml", feed);
|
await CmnUtil.ExportXMLFileAsync("aurahentai.xml", feed, client);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
@@ -73,13 +91,71 @@ internal class aurahentai
|
|||||||
}
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// 一覧ページの IDocument から個別作品の SyndicationItem を生成します。
|
/// 既存の XML ファイルから各記事のタイトル・本文 HTML・公開日時を読み込みます。
|
||||||
/// タイトル、リンク、カバー画像、ページ数、カテゴリは一覧ページの DOM からすべて取得可能です。
|
/// URL および GUID の両方をキーとして辞書に格納します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
/// <param name="docListPage">AngleSharp の一覧ページ IDocument</param>
|
/// <param name="fileName">XML ファイル名</param>
|
||||||
/// <param name="pageIndex">ページ番号</param>
|
/// <returns>URL または GUID をキーとする既存エントリの辞書</returns>
|
||||||
/// <returns>SyndicationItem のリスト</returns>
|
private static Dictionary<string, ExistingFeedEntry> LoadExistingEntries(string fileName)
|
||||||
private static List<SyndicationItem> CreateFeedItemsFromListPage(IDocument docListPage, int pageIndex)
|
{
|
||||||
|
var existingEntries = new Dictionary<string, ExistingFeedEntry>(StringComparer.OrdinalIgnoreCase);
|
||||||
|
try
|
||||||
|
{
|
||||||
|
string xmlPath = CmnUtil.GetExportXmlPath(fileName);
|
||||||
|
if (!File.Exists(xmlPath))
|
||||||
|
{
|
||||||
|
return existingEntries;
|
||||||
|
}
|
||||||
|
|
||||||
|
using var reader = XmlReader.Create(xmlPath);
|
||||||
|
var existingFeed = SyndicationFeed.Load(reader);
|
||||||
|
if (existingFeed?.Items != null)
|
||||||
|
{
|
||||||
|
foreach (var item in existingFeed.Items)
|
||||||
|
{
|
||||||
|
var linkUrl = item.Links.FirstOrDefault()?.Uri?.AbsoluteUri;
|
||||||
|
var guid = item.Id;
|
||||||
|
var date = item.PublishDate != DateTimeOffset.MinValue
|
||||||
|
? item.PublishDate
|
||||||
|
: item.LastUpdatedTime;
|
||||||
|
|
||||||
|
var entry = new ExistingFeedEntry
|
||||||
|
{
|
||||||
|
Title = item.Title?.Text?.Trim() ?? string.Empty,
|
||||||
|
SummaryHtml = item.Summary?.Text?.Trim() ?? string.Empty,
|
||||||
|
PublishDate = date
|
||||||
|
};
|
||||||
|
|
||||||
|
if (!string.IsNullOrWhiteSpace(linkUrl) && !existingEntries.ContainsKey(linkUrl))
|
||||||
|
{
|
||||||
|
existingEntries[linkUrl] = entry;
|
||||||
|
}
|
||||||
|
if (!string.IsNullOrWhiteSpace(guid) && !existingEntries.ContainsKey(guid))
|
||||||
|
{
|
||||||
|
existingEntries[guid] = entry;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[情報] aurahentai 既存エントリの読み込みスキップ: {ex.Message}");
|
||||||
|
}
|
||||||
|
|
||||||
|
return existingEntries;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 一覧ページの IDocument から個別作品の SyndicationItem を生成します。
|
||||||
|
/// 新規記事または内容変更記事のみコンテンツページ (JSON-LD) から datePublished を取得します。
|
||||||
|
/// 変更のない既存記事は前回の PublishDate をそのまま引き継ぎ、FlareSolverr の過負荷を防ぎます。
|
||||||
|
/// </summary>
|
||||||
|
private static async Task<List<SyndicationItem>> CreateFeedItemsFromListPageAsync(
|
||||||
|
HttpClient client,
|
||||||
|
string? sessionId,
|
||||||
|
IDocument docListPage,
|
||||||
|
int pageIndex,
|
||||||
|
Dictionary<string, ExistingFeedEntry> existingEntries)
|
||||||
{
|
{
|
||||||
var items = new List<SyndicationItem>();
|
var items = new List<SyndicationItem>();
|
||||||
var articleElements = docListPage.QuerySelectorAll("main article");
|
var articleElements = docListPage.QuerySelectorAll("main article");
|
||||||
@@ -117,11 +193,7 @@ internal class aurahentai
|
|||||||
var pageSpan = article.QuerySelectorAll("span").FirstOrDefault(s => s.TextContent.Trim().EndsWith("p", StringComparison.OrdinalIgnoreCase));
|
var pageSpan = article.QuerySelectorAll("span").FirstOrDefault(s => s.TextContent.Trim().EndsWith("p", StringComparison.OrdinalIgnoreCase));
|
||||||
var pageCount = pageSpan?.TextContent?.Trim() ?? string.Empty;
|
var pageCount = pageSpan?.TextContent?.Trim() ?? string.Empty;
|
||||||
|
|
||||||
// 5. 日時 (一覧の掲載順序を維持するために少しずつオフセット)
|
// 5. 本文 HTML の生成
|
||||||
var pubDate = DateTime.Now.AddMinutes(-((pageIndex - 1) * 30 + itemIndex));
|
|
||||||
itemIndex++;
|
|
||||||
|
|
||||||
// 6. 本文 HTML の生成
|
|
||||||
var body = new StringBuilder();
|
var body = new StringBuilder();
|
||||||
|
|
||||||
// ギャラリー表示リンク
|
// ギャラリー表示リンク
|
||||||
@@ -131,13 +203,13 @@ internal class aurahentai
|
|||||||
string galleryId = match.Groups[1].Value;
|
string galleryId = match.Groups[1].Value;
|
||||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/aurahentai/{galleryId}/";
|
string galleryUrl = $"https://udukipc-web.armonica-vps.work/aurahentai/{galleryId}/";
|
||||||
body.Append($"<div>");
|
body.Append($"<div>");
|
||||||
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
|
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
|
||||||
body.Append($"</div>");
|
body.Append($"</div>");
|
||||||
}
|
}
|
||||||
|
|
||||||
// 1枚目画像
|
// 1枚目画像
|
||||||
body.Append($"<div>");
|
body.Append($"<div>");
|
||||||
body.Append($"<img src=\"{imgUrl}\" />");
|
body.Append($"<img src=\"{imgUrl}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
|
||||||
body.Append($"</div>");
|
body.Append($"</div>");
|
||||||
|
|
||||||
if (!string.IsNullOrWhiteSpace(pageCount) || !string.IsNullOrWhiteSpace(category))
|
if (!string.IsNullOrWhiteSpace(pageCount) || !string.IsNullOrWhiteSpace(category))
|
||||||
@@ -148,17 +220,66 @@ internal class aurahentai
|
|||||||
body.Append($"</p>");
|
body.Append($"</p>");
|
||||||
}
|
}
|
||||||
|
|
||||||
var item = new SyndicationItem
|
string currentSummaryHtml = body.ToString();
|
||||||
|
|
||||||
|
// 6. GUID の生成: 記事URLを渡して一意な文字列を生成
|
||||||
|
string guid = CmnUtil.CreateGuid(linkHref);
|
||||||
|
|
||||||
|
// 7. 内容比較および公開日時の決定
|
||||||
|
ExistingFeedEntry? prevEntry = null;
|
||||||
|
if (existingEntries.TryGetValue(linkHref, out var byUrl))
|
||||||
|
{
|
||||||
|
prevEntry = byUrl;
|
||||||
|
}
|
||||||
|
else if (existingEntries.TryGetValue(guid, out var byGuid))
|
||||||
|
{
|
||||||
|
prevEntry = byGuid;
|
||||||
|
}
|
||||||
|
|
||||||
|
DateTimeOffset pubDate;
|
||||||
|
if (prevEntry != null)
|
||||||
|
{
|
||||||
|
// 同じ記事が存在する場合、内部(タイトル・本文HTML)を比較
|
||||||
|
bool isModified = !string.Equals(prevEntry.Title, title, StringComparison.Ordinal)
|
||||||
|
|| !string.Equals(prevEntry.SummaryHtml, currentSummaryHtml, StringComparison.Ordinal);
|
||||||
|
|
||||||
|
if (isModified)
|
||||||
|
{
|
||||||
|
// 内容が更新されている場合はコンテンツページの DOM から正確な投稿日時を取得
|
||||||
|
var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId);
|
||||||
|
pubDate = datePublished ?? DateTimeOffset.Now;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
// 内容が変わっていない場合は前回の公開日時をそのまま維持(コンテンツページへの不要なリクエストは 0 回)
|
||||||
|
pubDate = prevEntry.PublishDate != DateTimeOffset.MinValue
|
||||||
|
? prevEntry.PublishDate
|
||||||
|
: DateTimeOffset.Now;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
// 新規記事: コンテンツページの DOM (JSON-LD) から正確な datePublished を取得
|
||||||
|
var datePublished = await FetchDatePublishedAsync(client, linkHref, sessionId);
|
||||||
|
pubDate = datePublished ?? DateTimeOffset.Now.AddSeconds(-((pageIndex - 1) * 30 + itemIndex));
|
||||||
|
}
|
||||||
|
itemIndex++;
|
||||||
|
|
||||||
|
// 8. SyndicationItem の生成
|
||||||
|
var itemUri = new Uri(linkHref);
|
||||||
|
var item = new SyndicationItem(
|
||||||
|
title,
|
||||||
|
(string?)null,
|
||||||
|
itemUri,
|
||||||
|
guid,
|
||||||
|
pubDate
|
||||||
|
)
|
||||||
{
|
{
|
||||||
Title = new TextSyndicationContent(title),
|
|
||||||
Id = CmnUtil.CreateGuid(linkHref),
|
|
||||||
PublishDate = pubDate,
|
PublishDate = pubDate,
|
||||||
LastUpdatedTime = pubDate,
|
LastUpdatedTime = pubDate,
|
||||||
Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html)
|
Summary = new TextSyndicationContent(currentSummaryHtml, TextSyndicationContentKind.Html)
|
||||||
};
|
};
|
||||||
|
|
||||||
item.Links.Add(new SyndicationLink(new Uri(linkHref)));
|
|
||||||
|
|
||||||
if (!string.IsNullOrWhiteSpace(category))
|
if (!string.IsNullOrWhiteSpace(category))
|
||||||
{
|
{
|
||||||
item.Categories.Add(new SyndicationCategory(category));
|
item.Categories.Add(new SyndicationCategory(category));
|
||||||
@@ -169,4 +290,103 @@ internal class aurahentai
|
|||||||
|
|
||||||
return items;
|
return items;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 個別作品のコンテンツページを FlareSolverr で取得し、DOM 内の JSON-LD から datePublished を抽出します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="client">HttpClient</param>
|
||||||
|
/// <param name="linkHref">作品詳細ページの URL</param>
|
||||||
|
/// <param name="sessionId">FlareSolverr セッションID</param>
|
||||||
|
/// <returns>日本時間の DateTimeOffset(取得失敗時は null)</returns>
|
||||||
|
private static async Task<DateTimeOffset?> FetchDatePublishedAsync(HttpClient client, string linkHref, string? sessionId)
|
||||||
|
{
|
||||||
|
try
|
||||||
|
{
|
||||||
|
var docContents = await CmnUtil.GetDocumentFlareSolverr(client, linkHref, session: sessionId);
|
||||||
|
if (docContents != null)
|
||||||
|
{
|
||||||
|
var pubDateStr = GetDatePublished(docContents);
|
||||||
|
if (!string.IsNullOrEmpty(pubDateStr) && DateTimeOffset.TryParse(pubDateStr, out DateTimeOffset parsedOffset))
|
||||||
|
{
|
||||||
|
// 日本時間(UTC+9)のオフセットに変換
|
||||||
|
return parsedOffset.ToOffset(TimeSpan.FromHours(9));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[警告] aurahentai コンテンツページ日時取得失敗 ({linkHref}): {ex.Message}");
|
||||||
|
}
|
||||||
|
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// IDocument 内の複数ある JSON-LD から、@type が "ImageGallery" の datePublished を取得します。
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="document">AngleSharp の IDocument</param>
|
||||||
|
/// <returns>取得した datePublished 文字列(見つからない場合は null)</returns>
|
||||||
|
private static string? GetDatePublished(IDocument document)
|
||||||
|
{
|
||||||
|
var scriptElements = document.QuerySelectorAll("script[type='application/ld+json']");
|
||||||
|
|
||||||
|
foreach (var script in scriptElements)
|
||||||
|
{
|
||||||
|
string jsonText = script.TextContent?.Trim() ?? string.Empty;
|
||||||
|
if (string.IsNullOrEmpty(jsonText))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
using var jsonDoc = JsonDocument.Parse(jsonText);
|
||||||
|
var root = jsonDoc.RootElement;
|
||||||
|
|
||||||
|
if (root.ValueKind == JsonValueKind.Object)
|
||||||
|
{
|
||||||
|
if (TryExtractDate(root, out var date))
|
||||||
|
{
|
||||||
|
return date;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else if (root.ValueKind == JsonValueKind.Array)
|
||||||
|
{
|
||||||
|
foreach (var item in root.EnumerateArray())
|
||||||
|
{
|
||||||
|
if (item.ValueKind == JsonValueKind.Object && TryExtractDate(item, out var date))
|
||||||
|
{
|
||||||
|
return date;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (JsonException)
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// @type が ImageGallery か判定し、datePublished の値を取り出します。
|
||||||
|
/// </summary>
|
||||||
|
private static bool TryExtractDate(JsonElement element, out string? datePublished)
|
||||||
|
{
|
||||||
|
datePublished = null;
|
||||||
|
|
||||||
|
if (element.TryGetProperty("@type", out var typeProp) &&
|
||||||
|
string.Equals(typeProp.GetString(), "ImageGallery", StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
if (element.TryGetProperty("datePublished", out var dateProp))
|
||||||
|
{
|
||||||
|
datePublished = dateProp.GetString();
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return false;
|
||||||
|
}
|
||||||
}
|
}
|
||||||
@@ -33,6 +33,7 @@ internal class ci_en
|
|||||||
var document = await CmnUtil.GetDocument(client, rssUrl);
|
var document = await CmnUtil.GetDocument(client, rssUrl);
|
||||||
var elemArticles = document.QuerySelectorAll(".c-card-article");
|
var elemArticles = document.QuerySelectorAll(".c-card-article");
|
||||||
var parser = new HtmlParser();
|
var parser = new HtmlParser();
|
||||||
|
var cutoff = DateTimeOffset.Now.AddHours(-24);
|
||||||
|
|
||||||
foreach (var elemArticle in elemArticles)
|
foreach (var elemArticle in elemArticles)
|
||||||
{
|
{
|
||||||
@@ -75,6 +76,12 @@ internal class ci_en
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// 24時間判定(カットオフより古い記事は本文取得を行わずスキップ)
|
||||||
|
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
var body = new StringBuilder();
|
var body = new StringBuilder();
|
||||||
if (!string.IsNullOrEmpty(href))
|
if (!string.IsNullOrEmpty(href))
|
||||||
{
|
{
|
||||||
@@ -96,7 +103,7 @@ internal class ci_en
|
|||||||
if (!string.IsNullOrEmpty(targetImgSrc))
|
if (!string.IsNullOrEmpty(targetImgSrc))
|
||||||
{
|
{
|
||||||
var linkUrl = !string.IsNullOrEmpty(rawSrc) ? rawSrc : targetImgSrc;
|
var linkUrl = !string.IsNullOrEmpty(rawSrc) ? rawSrc : targetImgSrc;
|
||||||
var imgTagHtml = $@"<a href=""{linkUrl}"" target=""_blank"" rel=""noopener noreferrer""><img src=""{targetImgSrc}"" alt=""{WebUtility.HtmlEncode(alt)}"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a>";
|
var imgTagHtml = $@"<a href=""{linkUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{targetImgSrc}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(alt)}"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a>";
|
||||||
|
|
||||||
var fragment = parser.ParseDocument(imgTagHtml);
|
var fragment = parser.ParseDocument(imgTagHtml);
|
||||||
var newElement = fragment.Body?.FirstElementChild;
|
var newElement = fragment.Body?.FirstElementChild;
|
||||||
@@ -131,9 +138,19 @@ internal class ci_en
|
|||||||
img.SetAttribute("src", dataSrc);
|
img.SetAttribute("src", dataSrc);
|
||||||
}
|
}
|
||||||
|
|
||||||
|
img.SetAttribute("referrerpolicy", "no-referrer");
|
||||||
img.SetAttribute("style", "max-width: 100%; height: auto;");
|
img.SetAttribute("style", "max-width: 100%; height: auto;");
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// 本文内リンクへのリファラー設定
|
||||||
|
var regularAnchors = divDetail.QuerySelectorAll("a").ToList();
|
||||||
|
foreach (var a in regularAnchors)
|
||||||
|
{
|
||||||
|
a.SetAttribute("target", "_blank");
|
||||||
|
a.SetAttribute("rel", "noopener noreferrer");
|
||||||
|
a.SetAttribute("referrerpolicy", "no-referrer");
|
||||||
|
}
|
||||||
|
|
||||||
// 4. カバー画像/アイキャッチ画像の配置
|
// 4. カバー画像/アイキャッチ画像の配置
|
||||||
string? coverImageUrl = null;
|
string? coverImageUrl = null;
|
||||||
if (elemArticle.QuerySelector("img.image, img") is IHtmlImageElement coverElem && !string.IsNullOrEmpty(coverElem.Source) && !coverElem.Source.Contains("no_image") && !coverElem.Source.Contains("logo_"))
|
if (elemArticle.QuerySelector("img.image, img") is IHtmlImageElement coverElem && !string.IsNullOrEmpty(coverElem.Source) && !coverElem.Source.Contains("no_image") && !coverElem.Source.Contains("logo_"))
|
||||||
@@ -151,7 +168,7 @@ internal class ci_en
|
|||||||
|
|
||||||
if (!string.IsNullOrEmpty(coverImageUrl))
|
if (!string.IsNullOrEmpty(coverImageUrl))
|
||||||
{
|
{
|
||||||
body.Append($@"<div><a href=""{href}""><img src=""{coverImageUrl}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-bottom: 12px;"" /></a></div>");
|
body.Append($@"<div><a href=""{href}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{coverImageUrl}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-bottom: 12px;"" /></a></div>");
|
||||||
}
|
}
|
||||||
|
|
||||||
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
||||||
@@ -166,7 +183,7 @@ internal class ci_en
|
|||||||
}
|
}
|
||||||
feed.Items = items;
|
feed.Items = items;
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile("ci_en.xml", feed);
|
await CmnUtil.ExportXMLFileAsync("ci_en.xml", feed, client);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -34,7 +34,7 @@ internal class e_hentai_ai
|
|||||||
);
|
);
|
||||||
|
|
||||||
// XML ファイルとして出力
|
// XML ファイルとして出力
|
||||||
CmnUtil.ExportXMLFile("e_hentai_ai.xml", feed);
|
await CmnUtil.ExportXMLFileAsync("e_hentai_ai.xml", feed, client);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -205,36 +205,30 @@ internal static class e_hentai_common
|
|||||||
public const int MaxImagesPerGallery = 1;
|
public const int MaxImagesPerGallery = 1;
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// 対象ギャラリーの詳細ページ・ビューアページを巡回し、日本語タイトルおよび画像の直接URLを取得します。
|
/// 対象ギャラリーの詳細ページ(p=0)を取得し、日本語タイトルを取得します。
|
||||||
|
/// (画像は一覧ページの静的サムネイルを使用するため、H@H ビューアページへのアクセスは行いません)
|
||||||
/// </summary>
|
/// </summary>
|
||||||
/// <param name="client">HttpClient インスタンス</param>
|
/// <param name="client">HttpClient インスタンス</param>
|
||||||
/// <param name="gallery">ギャラリー情報オブジェクト</param>
|
/// <param name="gallery">ギャラリー情報オブジェクト</param>
|
||||||
/// <param name="maxImages">取得する最大画像数(デフォルト: MaxImagesPerGallery)</param>
|
/// <param name="maxImages">取得する最大画像数(互換性のための引数)</param>
|
||||||
/// <returns>画像URLリスト(順序保持)</returns>
|
/// <returns>空の画像リスト(ThumbnailUrl を使用するため)</returns>
|
||||||
public static async Task<List<string>> FetchAllGalleryImagesAsync(HttpClient client, GalleryItem gallery, int maxImages = MaxImagesPerGallery)
|
public static async Task<List<string>> FetchAllGalleryImagesAsync(HttpClient client, GalleryItem gallery, int maxImages = MaxImagesPerGallery)
|
||||||
{
|
{
|
||||||
var parser = new HtmlParser();
|
var parser = new HtmlParser();
|
||||||
var viewerLinks = new List<string>();
|
|
||||||
|
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
// 1. ギャラリー詳細ページから必要な枚数分のビューアリンク(/s/...)を収集
|
// ギャラリー詳細ページ(p == 0)で日本語タイトル (#gj) が存在すればタイトルを更新
|
||||||
int p = 0;
|
var pageUrl = $"{gallery.Url}?p=0";
|
||||||
while (viewerLinks.Count < maxImages)
|
|
||||||
{
|
|
||||||
var pageUrl = $"{gallery.Url}?p={p}";
|
|
||||||
using var req = new HttpRequestMessage(HttpMethod.Get, pageUrl);
|
using var req = new HttpRequestMessage(HttpMethod.Get, pageUrl);
|
||||||
req.Headers.Add("Cookie", "nw=1");
|
req.Headers.Add("Cookie", "nw=1");
|
||||||
|
|
||||||
using var res = await client.SendAsync(req);
|
using var res = await client.SendAsync(req);
|
||||||
if (!res.IsSuccessStatusCode) break;
|
if (res.IsSuccessStatusCode)
|
||||||
|
{
|
||||||
var html = await res.Content.ReadAsStringAsync();
|
var html = await res.Content.ReadAsStringAsync();
|
||||||
var doc = await parser.ParseDocumentAsync(html);
|
var doc = await parser.ParseDocumentAsync(html);
|
||||||
|
|
||||||
// 最初の詳細ページ(p == 0)で日本語タイトル (#gj) が存在すればタイトルを更新
|
|
||||||
if (p == 0)
|
|
||||||
{
|
|
||||||
var japaneseTitle = doc.QuerySelector("#gd2 #gj, #gj")?.TextContent.Trim();
|
var japaneseTitle = doc.QuerySelector("#gd2 #gj, #gj")?.TextContent.Trim();
|
||||||
if (!string.IsNullOrEmpty(japaneseTitle))
|
if (!string.IsNullOrEmpty(japaneseTitle))
|
||||||
{
|
{
|
||||||
@@ -249,84 +243,14 @@ internal static class e_hentai_common
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
var links = doc.QuerySelectorAll("#gdt a")
|
|
||||||
.Select(a => a.GetAttribute("href"))
|
|
||||||
.Where(href => !string.IsNullOrEmpty(href) && href.Contains("/s/"))
|
|
||||||
.ToList();
|
|
||||||
|
|
||||||
if (links.Count == 0) break;
|
|
||||||
if (viewerLinks.Contains(links[0]!)) break;
|
|
||||||
|
|
||||||
viewerLinks.AddRange(links!);
|
|
||||||
|
|
||||||
// 最大枚数に達した場合はこれ以上のページ取得をスキップ
|
|
||||||
if (viewerLinks.Count >= maxImages)
|
|
||||||
{
|
|
||||||
break;
|
|
||||||
}
|
|
||||||
|
|
||||||
// ページネーション末尾の確認
|
|
||||||
var ptb = doc.QuerySelector("table.ptb");
|
|
||||||
var nextPtb = ptb?.QuerySelector("td:last-child a");
|
|
||||||
if (nextPtb == null)
|
|
||||||
{
|
|
||||||
break;
|
|
||||||
}
|
|
||||||
p++;
|
|
||||||
}
|
|
||||||
|
|
||||||
if (viewerLinks.Count == 0)
|
|
||||||
{
|
|
||||||
return new List<string>();
|
|
||||||
}
|
|
||||||
|
|
||||||
// 必要枚数(maxImages)までに絞り込む
|
|
||||||
var targetViewerLinks = viewerLinks.Take(maxImages).ToList();
|
|
||||||
|
|
||||||
// 2. 各ビューアページから画像URL(#img src)を並行取得
|
|
||||||
var imageUrls = new string[targetViewerLinks.Count];
|
|
||||||
var semaphore = new System.Threading.SemaphoreSlim(8); // 最大同時8接続
|
|
||||||
|
|
||||||
var tasks = targetViewerLinks.Select(async (vLink, index) =>
|
|
||||||
{
|
|
||||||
await semaphore.WaitAsync();
|
|
||||||
try
|
|
||||||
{
|
|
||||||
using var vReq = new HttpRequestMessage(HttpMethod.Get, vLink);
|
|
||||||
vReq.Headers.Add("Cookie", "nw=1");
|
|
||||||
using var vRes = await client.SendAsync(vReq);
|
|
||||||
if (vRes.IsSuccessStatusCode)
|
|
||||||
{
|
|
||||||
var vHtml = await vRes.Content.ReadAsStringAsync();
|
|
||||||
var vDoc = await parser.ParseDocumentAsync(vHtml);
|
|
||||||
var imgSrc = vDoc.QuerySelector("#img")?.GetAttribute("src");
|
|
||||||
if (!string.IsNullOrEmpty(imgSrc))
|
|
||||||
{
|
|
||||||
imageUrls[index] = imgSrc;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
LogManager.AddLog($"[警告] ビューア画像取得エラー ({vLink}): {ex.Message}");
|
LogManager.AddLog($"[警告] ギャラリー詳細取得エラー ({gallery.Url}): {ex.Message}");
|
||||||
}
|
}
|
||||||
finally
|
|
||||||
{
|
|
||||||
semaphore.Release();
|
|
||||||
}
|
|
||||||
});
|
|
||||||
|
|
||||||
await Task.WhenAll(tasks);
|
|
||||||
|
|
||||||
return imageUrls.Where(url => !string.IsNullOrEmpty(url)).ToList();
|
|
||||||
}
|
|
||||||
catch (Exception ex)
|
|
||||||
{
|
|
||||||
LogManager.AddLog($"[エラー] ギャラリー画像取得エラー ({gallery.Url}): {ex.Message}");
|
|
||||||
return new List<string>();
|
return new List<string>();
|
||||||
}
|
}
|
||||||
}
|
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// GalleryItem リストに対して全画像を取得し、SyndicationItem のリストを生成します。
|
/// GalleryItem リストに対して全画像を取得し、SyndicationItem のリストを生成します。
|
||||||
@@ -335,14 +259,14 @@ internal static class e_hentai_common
|
|||||||
{
|
{
|
||||||
var galleryList = galleries.ToList();
|
var galleryList = galleries.ToList();
|
||||||
|
|
||||||
// 各ギャラリーの画像取得を並行して実行(最大8ギャラリー同時)
|
// 各ギャラリーの詳細ページ取得を並行して実行(最大8ギャラリー同時)
|
||||||
var gallerySemaphore = new System.Threading.SemaphoreSlim(8);
|
var gallerySemaphore = new System.Threading.SemaphoreSlim(8);
|
||||||
var fetchImageTasks = galleryList.Select(async gallery =>
|
var fetchImageTasks = galleryList.Select(async gallery =>
|
||||||
{
|
{
|
||||||
await gallerySemaphore.WaitAsync();
|
await gallerySemaphore.WaitAsync();
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
gallery.ImageUrls = await FetchAllGalleryImagesAsync(client, gallery, MaxImagesPerGallery);
|
await FetchAllGalleryImagesAsync(client, gallery);
|
||||||
}
|
}
|
||||||
finally
|
finally
|
||||||
{
|
{
|
||||||
@@ -356,39 +280,37 @@ internal static class e_hentai_common
|
|||||||
|
|
||||||
foreach (var gallery in galleryList)
|
foreach (var gallery in galleryList)
|
||||||
{
|
{
|
||||||
var item = new SyndicationItem
|
var itemUri = new Uri(gallery.Url);
|
||||||
|
var item = new SyndicationItem(
|
||||||
|
gallery.Title,
|
||||||
|
string.Empty,
|
||||||
|
itemUri,
|
||||||
|
CmnUtil.CreateGuid(gallery.Url),
|
||||||
|
gallery.PublishedDate
|
||||||
|
)
|
||||||
{
|
{
|
||||||
Title = new TextSyndicationContent(gallery.Title),
|
|
||||||
PublishDate = gallery.PublishedDate,
|
PublishDate = gallery.PublishedDate,
|
||||||
LastUpdatedTime = gallery.PublishedDate,
|
LastUpdatedTime = gallery.PublishedDate
|
||||||
Id = CmnUtil.CreateGuid(gallery.Url)
|
|
||||||
};
|
};
|
||||||
|
|
||||||
// ギャラリーへのリンク
|
// カテゴリ
|
||||||
if (Uri.TryCreate(gallery.Url, UriKind.Absolute, out var uri))
|
if (!string.IsNullOrEmpty(gallery.Category))
|
||||||
{
|
|
||||||
item.Links.Add(new SyndicationLink(uri));
|
|
||||||
}
|
|
||||||
|
|
||||||
// カテゴリ(作品ジャンル)の追加
|
|
||||||
if (!string.IsNullOrWhiteSpace(gallery.Category))
|
|
||||||
{
|
{
|
||||||
item.Categories.Add(new SyndicationCategory(gallery.Category));
|
item.Categories.Add(new SyndicationCategory(gallery.Category));
|
||||||
}
|
}
|
||||||
|
|
||||||
// 各タグをカテゴリに追加
|
// タグ
|
||||||
foreach (var tag in gallery.Tags)
|
foreach (var tag in gallery.Tags)
|
||||||
{
|
{
|
||||||
item.Categories.Add(new SyndicationCategory(tag));
|
item.Categories.Add(new SyndicationCategory(tag));
|
||||||
}
|
}
|
||||||
|
|
||||||
// アップローダーを著者に追加
|
// アップローダー
|
||||||
if (!string.IsNullOrWhiteSpace(gallery.Uploader))
|
if (!string.IsNullOrEmpty(gallery.Uploader))
|
||||||
{
|
{
|
||||||
item.Authors.Add(new SyndicationPerson { Name = gallery.Uploader });
|
item.Authors.Add(new SyndicationPerson { Name = gallery.Uploader });
|
||||||
}
|
}
|
||||||
|
|
||||||
// 本文 HTML の整形
|
|
||||||
var body = new StringBuilder();
|
var body = new StringBuilder();
|
||||||
|
|
||||||
// ギャラリー表示リンク
|
// ギャラリー表示リンク
|
||||||
@@ -399,21 +321,19 @@ internal static class e_hentai_common
|
|||||||
string token = match.Groups[2].Value;
|
string token = match.Groups[2].Value;
|
||||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/ehentai/{galleryId}/{token}";
|
string galleryUrl = $"https://udukipc-web.armonica-vps.work/ehentai/{galleryId}/{token}";
|
||||||
body.Append($"<div>");
|
body.Append($"<div>");
|
||||||
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
|
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
|
||||||
body.Append($"</div>");
|
body.Append($"</div>");
|
||||||
}
|
}
|
||||||
|
|
||||||
// ギャラリーの1枚目画像
|
// 静的一覧サムネイル URL を最優先で使用(H@H 一時 URL の 403 回避)
|
||||||
string? firstImg = gallery.ImageUrls.FirstOrDefault();
|
string? firstImg = !string.IsNullOrEmpty(gallery.ThumbnailUrl)
|
||||||
if (string.IsNullOrEmpty(firstImg))
|
? gallery.ThumbnailUrl
|
||||||
{
|
: gallery.ImageUrls.FirstOrDefault();
|
||||||
firstImg = gallery.ThumbnailUrl;
|
|
||||||
}
|
|
||||||
|
|
||||||
if (!string.IsNullOrEmpty(firstImg))
|
if (!string.IsNullOrEmpty(firstImg))
|
||||||
{
|
{
|
||||||
body.Append($"<div>");
|
body.Append($"<div>");
|
||||||
body.Append($"<img src=\"{firstImg}\" />");
|
body.Append($"<img src=\"{firstImg}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
|
||||||
body.Append($"</div>");
|
body.Append($"</div>");
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|||||||
@@ -34,7 +34,7 @@ internal class e_hentai_non_ai
|
|||||||
);
|
);
|
||||||
|
|
||||||
// XML ファイルとして出力
|
// XML ファイルとして出力
|
||||||
CmnUtil.ExportXMLFile("e_hentai_non_ai.xml", feed);
|
await CmnUtil.ExportXMLFileAsync("e_hentai_non_ai.xml", feed, client);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -31,6 +31,7 @@ internal class index_japanese
|
|||||||
}
|
}
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
|
var cutoff = DateTimeOffset.Now.AddHours(-24);
|
||||||
for (int pageId = 1; pageId <= 5; pageId++)
|
for (int pageId = 1; pageId <= 5; pageId++)
|
||||||
{
|
{
|
||||||
var pageURL = pageId == 1 ? baseURL : $"{baseURL}?page={pageId}";
|
var pageURL = pageId == 1 ? baseURL : $"{baseURL}?page={pageId}";
|
||||||
@@ -40,8 +41,15 @@ internal class index_japanese
|
|||||||
continue;
|
continue;
|
||||||
}
|
}
|
||||||
|
|
||||||
var newItems = ParseGalleryItems(document);
|
var newItems = ParseGalleryItems(document, cutoff, out int totalCards);
|
||||||
items.AddRange(newItems);
|
items.AddRange(newItems);
|
||||||
|
|
||||||
|
// ページ内に記事カードが存在したにもかかわらず24時間以内の記事が0件だった場合、
|
||||||
|
// 新着順のためこれ以降のページもすべて24時間以上前と判断して取得を終了
|
||||||
|
if (totalCards > 0 && newItems.Count == 0)
|
||||||
|
{
|
||||||
|
break;
|
||||||
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
finally
|
finally
|
||||||
@@ -60,7 +68,7 @@ internal class index_japanese
|
|||||||
|
|
||||||
feed.Items = uniqueItems;
|
feed.Items = uniqueItems;
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile("hitomi-japanese.xml", feed);
|
await CmnUtil.ExportXMLFileAsync("hitomi-japanese.xml", feed, client);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
@@ -69,10 +77,11 @@ internal class index_japanese
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
private static List<SyndicationItem> ParseGalleryItems(IDocument document)
|
private static List<SyndicationItem> ParseGalleryItems(IDocument document, DateTimeOffset cutoff, out int totalCards)
|
||||||
{
|
{
|
||||||
var result = new List<SyndicationItem>();
|
var result = new List<SyndicationItem>();
|
||||||
var cards = document.QuerySelectorAll(".gallery-content > div");
|
var cards = document.QuerySelectorAll(".gallery-content > div");
|
||||||
|
totalCards = cards.Length;
|
||||||
|
|
||||||
foreach (var card in cards)
|
foreach (var card in cards)
|
||||||
{
|
{
|
||||||
@@ -128,6 +137,12 @@ internal class index_japanese
|
|||||||
item.LastUpdatedTime = DateTime.Now;
|
item.LastUpdatedTime = DateTime.Now;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// 24時間判定(カットオフより古い記事は取得対象外とする)
|
||||||
|
if (!CmnUtil.IsItemWithinCutoff(item, cutoff))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
// 作家の取得
|
// 作家の取得
|
||||||
var artistElems = card.QuerySelectorAll(".artist-list li a");
|
var artistElems = card.QuerySelectorAll(".artist-list li a");
|
||||||
foreach (var artistElem in artistElems)
|
foreach (var artistElem in artistElems)
|
||||||
@@ -192,13 +207,17 @@ internal class index_japanese
|
|||||||
{
|
{
|
||||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/hitomi/{galleryId}";
|
string galleryUrl = $"https://udukipc-web.armonica-vps.work/hitomi/{galleryId}";
|
||||||
body.Append($"<div>");
|
body.Append($"<div>");
|
||||||
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
|
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
|
||||||
body.Append($"</div>");
|
body.Append($"</div>");
|
||||||
}
|
}
|
||||||
if (!string.IsNullOrEmpty(imgSrc))
|
if (!string.IsNullOrEmpty(imgSrc))
|
||||||
{
|
{
|
||||||
|
// hitomi.laの画像サーバー(gold-usergeneratedcontent.net等)はRefererヘッダーが必須のため、
|
||||||
|
// 自前の画像プロキシ(udukipc-web)を経由してReferer: https://hitomi.la/ を付与して取得させる
|
||||||
|
string proxiedImgSrc = $"https://udukipc-web.armonica-vps.work/api/proxy-image?url={Uri.EscapeDataString(imgSrc)}&referer={Uri.EscapeDataString("https://hitomi.la/")}";
|
||||||
|
|
||||||
body.Append($"<div>");
|
body.Append($"<div>");
|
||||||
body.Append($"<img src=\"{imgSrc}\" />");
|
body.Append($"<img src=\"{proxiedImgSrc}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
|
||||||
body.Append($"</div>");
|
body.Append($"</div>");
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|||||||
@@ -1,9 +1,10 @@
|
|||||||
using AngleSharp.Dom;
|
using AngleSharp.Dom;
|
||||||
using AngleSharp.Html.Dom;
|
using AngleSharp.Html.Dom;
|
||||||
using System;
|
using System;
|
||||||
using System.Collections.Generic;
|
using System.Collections.Generic;
|
||||||
using System.ServiceModel.Syndication;
|
using System.ServiceModel.Syndication;
|
||||||
using System.Text;
|
using System.Text;
|
||||||
|
using System.Text.RegularExpressions;
|
||||||
|
|
||||||
namespace rss_generator.Class.RSS;
|
namespace rss_generator.Class.RSS;
|
||||||
|
|
||||||
@@ -62,12 +63,35 @@ internal class javtwi
|
|||||||
|
|
||||||
var title = CmnUtil.GetLastPathPart(linkHref);
|
var title = CmnUtil.GetLastPathPart(linkHref);
|
||||||
|
|
||||||
var body = new StringBuilder();
|
// Twitter Snowflake ID から正確な投稿日時(JST)を逆算
|
||||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
DateTime publishedDate = DateTime.Now;
|
||||||
|
var match = Regex.Match(linkHref, @"/(\d{17,20})/");
|
||||||
|
if (!match.Success && !string.IsNullOrEmpty(imageSrc))
|
||||||
|
{
|
||||||
|
match = Regex.Match(imageSrc, @"/(\d{17,20})/");
|
||||||
|
}
|
||||||
|
|
||||||
body.Append($@"<video controls poster=""{imageUri}"" preload=""metadata"" style=""max-width: 100%; height: auto;"">");
|
if (match.Success && long.TryParse(match.Groups[1].Value, out long snowflakeId))
|
||||||
|
{
|
||||||
|
try
|
||||||
|
{
|
||||||
|
// Twitter Snowflake ID (エポック: 1288834974657 ms = 2010-11-04 01:42:54.657 UTC)
|
||||||
|
long unixMs = (snowflakeId >> 22) + 1288834974657L;
|
||||||
|
var offset = DateTimeOffset.FromUnixTimeMilliseconds(unixMs).ToOffset(TimeSpan.FromHours(9));
|
||||||
|
publishedDate = offset.DateTime;
|
||||||
|
}
|
||||||
|
catch
|
||||||
|
{
|
||||||
|
publishedDate = DateTime.Now;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
var body = new StringBuilder();
|
||||||
|
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
|
||||||
|
|
||||||
|
body.Append($@"<video controls poster=""{imageUri}"" preload=""metadata"" referrerpolicy=""no-referrer"" style=""max-width: 100%; height: auto;"">");
|
||||||
body.Append($@"<source src=""{itemUri}"" type=""video/mp4"">");
|
body.Append($@"<source src=""{itemUri}"" type=""video/mp4"">");
|
||||||
body.Append($@"<p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"">動画を開く (.mp4)</a></p>");
|
body.Append($@"<p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">動画を開く (.mp4)</a></p>");
|
||||||
body.Append($@"</video>");
|
body.Append($@"</video>");
|
||||||
|
|
||||||
var item = new SyndicationItem(
|
var item = new SyndicationItem(
|
||||||
@@ -75,8 +99,12 @@ internal class javtwi
|
|||||||
string.Empty,
|
string.Empty,
|
||||||
itemUri,
|
itemUri,
|
||||||
CmnUtil.CreateGuid(linkHref),
|
CmnUtil.CreateGuid(linkHref),
|
||||||
DateTime.Now // 取得できた公開日時があればそれをセット
|
publishedDate
|
||||||
);
|
)
|
||||||
|
{
|
||||||
|
PublishDate = publishedDate,
|
||||||
|
LastUpdatedTime = publishedDate
|
||||||
|
};
|
||||||
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
||||||
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
||||||
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
||||||
@@ -87,7 +115,7 @@ internal class javtwi
|
|||||||
|
|
||||||
feed.Items = items;
|
feed.Items = items;
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile("javtwi.xml", feed);
|
await CmnUtil.ExportXMLFileAsync("javtwi.xml", feed, client);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -1,4 +1,4 @@
|
|||||||
using AngleSharp.Dom;
|
using AngleSharp.Dom;
|
||||||
using AngleSharp.Html.Dom;
|
using AngleSharp.Html.Dom;
|
||||||
using System;
|
using System;
|
||||||
using System.Collections.Generic;
|
using System.Collections.Generic;
|
||||||
@@ -94,8 +94,15 @@ internal class kimochiinfo
|
|||||||
var body = new StringBuilder();
|
var body = new StringBuilder();
|
||||||
|
|
||||||
body.Append($@"<div>バージョン:{versionText}</div>");
|
body.Append($@"<div>バージョン:{versionText}</div>");
|
||||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
|
||||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||||
|
|
||||||
|
foreach (var a in divDetail.QuerySelectorAll("a"))
|
||||||
|
{
|
||||||
|
a.SetAttribute("target", "_blank");
|
||||||
|
a.SetAttribute("rel", "noopener noreferrer");
|
||||||
|
a.SetAttribute("referrerpolicy", "no-referrer");
|
||||||
|
}
|
||||||
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
||||||
|
|
||||||
var item = new SyndicationItem(
|
var item = new SyndicationItem(
|
||||||
@@ -115,7 +122,7 @@ internal class kimochiinfo
|
|||||||
}
|
}
|
||||||
feed.Items = items;
|
feed.Items = items;
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile("kimochiinfo.xml", feed);
|
await CmnUtil.ExportXMLFileAsync("kimochiinfo.xml", feed, client);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -14,8 +14,8 @@ namespace rss_generator.Class.RSS;
|
|||||||
internal class mangalear
|
internal class mangalear
|
||||||
{
|
{
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// 同人まんがりあ (mangalear.blog) の Atom フィードから記事および本文内画像を全件取得し、
|
/// 同人まんがりあ (mangalear.blog) の Atom フィードから記事を取得し、
|
||||||
/// 新しい RSS (XML) フィードを生成して出力します。
|
/// 各記事につき代表画像1枚を含む新しい RSS (XML) フィードを生成して出力します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
/// <param name="client">HttpClient インスタンス</param>
|
/// <param name="client">HttpClient インスタンス</param>
|
||||||
public static async Task CreateRSSAsync(HttpClient client)
|
public static async Task CreateRSSAsync(HttpClient client)
|
||||||
@@ -43,8 +43,11 @@ internal class mangalear
|
|||||||
.Select(g => g.First())
|
.Select(g => g.First())
|
||||||
.ToList();
|
.ToList();
|
||||||
|
|
||||||
|
// 24時間以内の記事のみに絞り込んでから詳細ページの画像抽出を実施(通信量と処理時間の削減)
|
||||||
|
var validItems = CmnUtil.FilterItemsWithinHours(uniqueItems, 24);
|
||||||
|
|
||||||
// 3. 各記事の詳細ページから本文画像を全て抽出し、新しいフィードアイテムに整形
|
// 3. 各記事の詳細ページから本文画像を全て抽出し、新しいフィードアイテムに整形
|
||||||
var itemTasks = uniqueItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||||
{
|
{
|
||||||
var link = originalItem.Links.FirstOrDefault()?.Uri;
|
var link = originalItem.Links.FirstOrDefault()?.Uri;
|
||||||
var title = originalItem.Title?.Text ?? "No Title";
|
var title = originalItem.Title?.Text ?? "No Title";
|
||||||
@@ -95,80 +98,59 @@ internal class mangalear
|
|||||||
{
|
{
|
||||||
var entryContent = docContents.QuerySelector(".entry-content") ?? docContents.QuerySelector("article");
|
var entryContent = docContents.QuerySelector(".entry-content") ?? docContents.QuerySelector("article");
|
||||||
|
|
||||||
// アイキャッチ画像の取得(存在する場合)
|
// 記事ごとに代表画像1枚のみを取得(アイキャッチ画像または本文の最初の1枚)
|
||||||
string? eyeCatchUrl = null;
|
string? singleImageUrl = null;
|
||||||
|
|
||||||
|
// 1. アイキャッチ画像の取得(存在する場合)
|
||||||
if (docContents.QuerySelector(".eye-catch img, figure.eye-catch img") is IHtmlImageElement eyeCatchImg && !string.IsNullOrEmpty(eyeCatchImg.Source))
|
if (docContents.QuerySelector(".eye-catch img, figure.eye-catch img") is IHtmlImageElement eyeCatchImg && !string.IsNullOrEmpty(eyeCatchImg.Source))
|
||||||
{
|
{
|
||||||
eyeCatchUrl = eyeCatchImg.Source;
|
singleImageUrl = eyeCatchImg.Source;
|
||||||
}
|
}
|
||||||
else
|
else
|
||||||
{
|
{
|
||||||
var metaOgImage = docContents.QuerySelector("meta[property='og:image']")?.GetAttribute("content");
|
var metaOgImage = docContents.QuerySelector("meta[property='og:image']")?.GetAttribute("content");
|
||||||
if (!string.IsNullOrEmpty(metaOgImage))
|
if (!string.IsNullOrEmpty(metaOgImage))
|
||||||
{
|
{
|
||||||
eyeCatchUrl = metaOgImage;
|
singleImageUrl = metaOgImage;
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// アイキャッチ画像を先頭に配置(設定されている場合)
|
// 2. アイキャッチ画像が取得できない場合、本文から最初の1枚を取得
|
||||||
if (!string.IsNullOrEmpty(eyeCatchUrl))
|
if (string.IsNullOrEmpty(singleImageUrl) && entryContent != null)
|
||||||
{
|
{
|
||||||
if (Uri.TryCreate(link, eyeCatchUrl, out var absoluteEyeCatchUri))
|
var firstImg = entryContent.QuerySelector("img");
|
||||||
{
|
if (firstImg != null)
|
||||||
body.Append($@"<div style=""margin-bottom: 12px;""><a href=""{link}""><img src=""{absoluteEyeCatchUri}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// 本文から画像を全件抽出
|
|
||||||
if (entryContent != null)
|
|
||||||
{
|
|
||||||
var imgElements = entryContent.QuerySelectorAll("img").ToList();
|
|
||||||
var addedImages = new HashSet<string>(StringComparer.OrdinalIgnoreCase);
|
|
||||||
|
|
||||||
// アイキャッチ画像を追加済みの場合は重複を避けるため登録
|
|
||||||
if (!string.IsNullOrEmpty(eyeCatchUrl))
|
|
||||||
{
|
|
||||||
addedImages.Add(eyeCatchUrl);
|
|
||||||
}
|
|
||||||
|
|
||||||
foreach (var img in imgElements)
|
|
||||||
{
|
{
|
||||||
// 親要素の <a> タグから高解像度オリジナル画像 URL の取得を試みる
|
// 親要素の <a> タグから高解像度オリジナル画像 URL の取得を試みる
|
||||||
string? targetSrc = null;
|
if (firstImg.ParentElement is IHtmlAnchorElement parentAnchor && !string.IsNullOrEmpty(parentAnchor.Href))
|
||||||
if (img.ParentElement is IHtmlAnchorElement parentAnchor && !string.IsNullOrEmpty(parentAnchor.Href))
|
|
||||||
{
|
{
|
||||||
var href = parentAnchor.Href;
|
var href = parentAnchor.Href;
|
||||||
// リンク先が画像ファイルか確認
|
|
||||||
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
|
if (href.EndsWith(".jpg", StringComparison.OrdinalIgnoreCase) ||
|
||||||
href.EndsWith(".jpeg", StringComparison.OrdinalIgnoreCase) ||
|
href.EndsWith(".jpeg", StringComparison.OrdinalIgnoreCase) ||
|
||||||
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
|
href.EndsWith(".png", StringComparison.OrdinalIgnoreCase) ||
|
||||||
href.EndsWith(".webp", StringComparison.OrdinalIgnoreCase) ||
|
href.EndsWith(".webp", StringComparison.OrdinalIgnoreCase) ||
|
||||||
href.EndsWith(".gif", StringComparison.OrdinalIgnoreCase))
|
href.EndsWith(".gif", StringComparison.OrdinalIgnoreCase))
|
||||||
{
|
{
|
||||||
targetSrc = href;
|
singleImageUrl = href;
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// リンクから取得できない場合は img の src / data-src を利用
|
// リンクから取得できない場合は img の src / data-src を利用
|
||||||
if (string.IsNullOrEmpty(targetSrc))
|
if (string.IsNullOrEmpty(singleImageUrl))
|
||||||
{
|
{
|
||||||
var src = img.GetAttribute("src");
|
var src = firstImg.GetAttribute("src");
|
||||||
var dataSrc = img.GetAttribute("data-src");
|
var dataSrc = firstImg.GetAttribute("data-src");
|
||||||
targetSrc = !string.IsNullOrEmpty(dataSrc) ? dataSrc : src;
|
singleImageUrl = !string.IsNullOrEmpty(dataSrc) ? dataSrc : src;
|
||||||
|
}
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
if (!string.IsNullOrEmpty(targetSrc))
|
// 3. 取得した1枚の画像のみを配置
|
||||||
|
if (!string.IsNullOrEmpty(singleImageUrl))
|
||||||
{
|
{
|
||||||
// 相対パスの場合は絶対 URL に解決
|
if (Uri.TryCreate(link, singleImageUrl, out var absoluteImgUri))
|
||||||
if (Uri.TryCreate(link, targetSrc, out var absoluteImgUri))
|
|
||||||
{
|
{
|
||||||
var finalUrl = absoluteImgUri.ToString();
|
body.Append($@"<div style=""margin-bottom: 12px;""><a href=""{link}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer""><img src=""{absoluteImgUri}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto;"" /></a></div>");
|
||||||
if (addedImages.Add(finalUrl))
|
|
||||||
{
|
|
||||||
body.Append($@"<div style=""margin-bottom: 8px;""><a href=""{finalUrl}"" target=""_blank"" rel=""noopener noreferrer""><img src=""{finalUrl}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; display: block; margin: 8px 0;"" /></a></div>");
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
@@ -188,8 +170,7 @@ internal class mangalear
|
|||||||
simplifiedItems
|
simplifiedItems
|
||||||
);
|
);
|
||||||
|
|
||||||
// 5. XML ファイルとして出力
|
await CmnUtil.ExportXMLFileAsync("mangalear.xml", mergedFeed, client);
|
||||||
CmnUtil.ExportXMLFile("mangalear.xml", mergedFeed);
|
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -74,8 +74,8 @@ internal static class missav
|
|||||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||||
|
|
||||||
var body = new StringBuilder();
|
var body = new StringBuilder();
|
||||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
|
||||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||||
|
|
||||||
var item = new SyndicationItem(
|
var item = new SyndicationItem(
|
||||||
title,
|
title,
|
||||||
@@ -94,7 +94,7 @@ internal static class missav
|
|||||||
}
|
}
|
||||||
feed.Items = items;
|
feed.Items = items;
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile("missav.xml", feed);
|
await CmnUtil.ExportXMLFileAsync("missav.xml", feed, client);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -148,17 +148,17 @@ internal class missav123
|
|||||||
body.Append($@"<div style=""position: relative; width: 100%; max-width: 800px; aspect-ratio: 16/9; margin: 12px 0;"">");
|
body.Append($@"<div style=""position: relative; width: 100%; max-width: 800px; aspect-ratio: 16/9; margin: 12px 0;"">");
|
||||||
body.Append($@"<iframe src=""about:blank"" data-src=""{playerUrl}"" style=""width: 100%; height: 100%; border: 0;"" allow=""autoplay; fullscreen; encrypted-media"" allowfullscreen=""true"" scrolling=""no"" frameborder=""0""></iframe>");
|
body.Append($@"<iframe src=""about:blank"" data-src=""{playerUrl}"" style=""width: 100%; height: 100%; border: 0;"" allow=""autoplay; fullscreen; encrypted-media"" allowfullscreen=""true"" scrolling=""no"" frameborder=""0""></iframe>");
|
||||||
body.Append($@"</div>");
|
body.Append($@"</div>");
|
||||||
body.Append($@"<div><p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"">123avで開く</a> | <a href=""{playerUrl}"" target=""_blank"" rel=""noopener noreferrer"">直接動画プレイヤーを開く</a></p></div>");
|
body.Append($@"<div><p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">123avで開く</a> | <a href=""{playerUrl}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">直接動画プレイヤーを開く</a></p></div>");
|
||||||
}
|
}
|
||||||
else
|
else
|
||||||
{
|
{
|
||||||
body.Append($@"<div><p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"">123avで動画を再生する</a></p></div>");
|
body.Append($@"<div><p><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">123avで動画を再生する</a></p></div>");
|
||||||
}
|
}
|
||||||
|
|
||||||
// 3. サムネイル画像
|
// 3. サムネイル画像
|
||||||
if (imageUri != null)
|
if (imageUri != null)
|
||||||
{
|
{
|
||||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-top: 8px;"" /></div>");
|
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{WebUtility.HtmlEncode(title)}"" style=""max-width: 100%; height: auto; margin-top: 8px;"" /></div>");
|
||||||
}
|
}
|
||||||
|
|
||||||
// 4. メタ情報(詳細、メーカー、ジャンル、タグ)
|
// 4. メタ情報(詳細、メーカー、ジャンル、タグ)
|
||||||
@@ -209,7 +209,7 @@ internal class missav123
|
|||||||
}
|
}
|
||||||
feed.Items = items;
|
feed.Items = items;
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile("123av.xml", feed);
|
await CmnUtil.ExportXMLFileAsync("123av.xml", feed, client);
|
||||||
}
|
}
|
||||||
finally
|
finally
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -24,8 +24,11 @@ internal class momonga_fanzine
|
|||||||
var results = await Task.WhenAll(tasks);
|
var results = await Task.WhenAll(tasks);
|
||||||
var allItems = results.SelectMany(items => items).ToList();
|
var allItems = results.SelectMany(items => items).ToList();
|
||||||
|
|
||||||
|
// 24時間以内の記事のみに絞り込んでから整形タスクを実施
|
||||||
|
var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
|
||||||
|
|
||||||
// 簡潔なRSSに非同期で整形
|
// 簡潔なRSSに非同期で整形
|
||||||
var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||||
{
|
{
|
||||||
List<SyndicationCategory> getAddCategory()
|
List<SyndicationCategory> getAddCategory()
|
||||||
{
|
{
|
||||||
@@ -118,7 +121,7 @@ internal class momonga_fanzine
|
|||||||
string moId = match.Groups[1].Value;
|
string moId = match.Groups[1].Value;
|
||||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/momonga/{moId}/";
|
string galleryUrl = $"https://udukipc-web.armonica-vps.work/momonga/{moId}/";
|
||||||
body.Append($"<div>");
|
body.Append($"<div>");
|
||||||
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
|
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
|
||||||
body.Append($"</div>");
|
body.Append($"</div>");
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -126,7 +129,7 @@ internal class momonga_fanzine
|
|||||||
string encoded = ToBase64Url(link.AbsoluteUri);
|
string encoded = ToBase64Url(link.AbsoluteUri);
|
||||||
string downloadUrl = $"https://apicien.armonica-vps.work/fanzine/{encoded}";
|
string downloadUrl = $"https://apicien.armonica-vps.work/fanzine/{encoded}";
|
||||||
body.Append($"<div>");
|
body.Append($"<div>");
|
||||||
body.Append($"<a href=\"{downloadUrl}\">[Download]</a>");
|
body.Append($"<a href=\"{downloadUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Download]</a>");
|
||||||
body.Append($"</div>");
|
body.Append($"</div>");
|
||||||
|
|
||||||
// ギャラリーの1枚目画像
|
// ギャラリーの1枚目画像
|
||||||
@@ -143,7 +146,7 @@ internal class momonga_fanzine
|
|||||||
if (Uri.TryCreate(link, src, out var absoluteUri))
|
if (Uri.TryCreate(link, src, out var absoluteUri))
|
||||||
{
|
{
|
||||||
body.Append($"<div>");
|
body.Append($"<div>");
|
||||||
body.Append($"<img src=\"{absoluteUri}\" />");
|
body.Append($"<img src=\"{absoluteUri}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
|
||||||
body.Append($"</div>");
|
body.Append($"</div>");
|
||||||
break;
|
break;
|
||||||
}
|
}
|
||||||
@@ -166,7 +169,7 @@ internal class momonga_fanzine
|
|||||||
simplifiedItems
|
simplifiedItems
|
||||||
);
|
);
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile("momonga-fanzine.xml", mergedFeed);
|
await CmnUtil.ExportXMLFileAsync("momonga-fanzine.xml", mergedFeed, client);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -24,8 +24,11 @@ internal class momonga_magazine
|
|||||||
var results = await Task.WhenAll(tasks);
|
var results = await Task.WhenAll(tasks);
|
||||||
var allItems = results.SelectMany(items => items).ToList();
|
var allItems = results.SelectMany(items => items).ToList();
|
||||||
|
|
||||||
|
// 24時間以内の記事のみに絞り込んでから整形タスクを実施
|
||||||
|
var validItems = CmnUtil.FilterItemsWithinHours(allItems, 24);
|
||||||
|
|
||||||
// 簡潔なRSSに非同期で整形
|
// 簡潔なRSSに非同期で整形
|
||||||
var itemTasks = allItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
var itemTasks = validItems.OrderByDescending(x => x.PublishDate).Select(async originalItem =>
|
||||||
{
|
{
|
||||||
List<SyndicationCategory> getAddCategory()
|
List<SyndicationCategory> getAddCategory()
|
||||||
{
|
{
|
||||||
@@ -118,7 +121,7 @@ internal class momonga_magazine
|
|||||||
string moId = match.Groups[1].Value;
|
string moId = match.Groups[1].Value;
|
||||||
string galleryUrl = $"https://udukipc-web.armonica-vps.work/momonga/{moId}/";
|
string galleryUrl = $"https://udukipc-web.armonica-vps.work/momonga/{moId}/";
|
||||||
body.Append($"<div>");
|
body.Append($"<div>");
|
||||||
body.Append($"<a href=\"{galleryUrl}\">[Gallery]</a>");
|
body.Append($"<a href=\"{galleryUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Gallery]</a>");
|
||||||
body.Append($"</div>");
|
body.Append($"</div>");
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -126,7 +129,7 @@ internal class momonga_magazine
|
|||||||
string encoded = ToBase64Url(link.AbsoluteUri);
|
string encoded = ToBase64Url(link.AbsoluteUri);
|
||||||
string downloadUrl = $"https://apicien.armonica-vps.work/fanzine/{encoded}";
|
string downloadUrl = $"https://apicien.armonica-vps.work/fanzine/{encoded}";
|
||||||
body.Append($"<div>");
|
body.Append($"<div>");
|
||||||
body.Append($"<a href=\"{downloadUrl}\">[Download]</a>");
|
body.Append($"<a href=\"{downloadUrl}\" target=\"_blank\" rel=\"noopener noreferrer\" referrerpolicy=\"no-referrer\">[Download]</a>");
|
||||||
body.Append($"</div>");
|
body.Append($"</div>");
|
||||||
|
|
||||||
// ギャラリーの1枚目画像
|
// ギャラリーの1枚目画像
|
||||||
@@ -143,7 +146,7 @@ internal class momonga_magazine
|
|||||||
if (Uri.TryCreate(link, src, out var absoluteUri))
|
if (Uri.TryCreate(link, src, out var absoluteUri))
|
||||||
{
|
{
|
||||||
body.Append($"<div>");
|
body.Append($"<div>");
|
||||||
body.Append($"<img src=\"{absoluteUri}\" />");
|
body.Append($"<img src=\"{absoluteUri}\" referrerpolicy=\"no-referrer\" style=\"max-width: 100%; height: auto;\" />");
|
||||||
body.Append($"</div>");
|
body.Append($"</div>");
|
||||||
break;
|
break;
|
||||||
}
|
}
|
||||||
@@ -166,7 +169,7 @@ internal class momonga_magazine
|
|||||||
simplifiedItems
|
simplifiedItems
|
||||||
);
|
);
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile("momonga-magazine.xml", mergedFeed);
|
await CmnUtil.ExportXMLFileAsync("momonga-magazine.xml", mergedFeed, client);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -58,8 +58,8 @@ internal class npb_6
|
|||||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||||
|
|
||||||
var body = new StringBuilder();
|
var body = new StringBuilder();
|
||||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
body.Append($@"<div><a href=""{itemUri}"" target=""_blank"" rel=""noopener noreferrer"" referrerpolicy=""no-referrer"">{title}</a></div>");
|
||||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
body.Append($@"<div><img src=""{imageUri}"" referrerpolicy=""no-referrer"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||||
|
|
||||||
var updateTime = DateTime.Now;
|
var updateTime = DateTime.Now;
|
||||||
if (DateTime.TryParse(elemTime?.TextContent?.Trim(), out DateTime itemTime))
|
if (DateTime.TryParse(elemTime?.TextContent?.Trim(), out DateTime itemTime))
|
||||||
@@ -81,7 +81,7 @@ internal class npb_6
|
|||||||
}
|
}
|
||||||
feed.Items = items;
|
feed.Items = items;
|
||||||
|
|
||||||
CmnUtil.ExportXMLFile("npb_6.xml", feed);
|
await CmnUtil.ExportXMLFileAsync("npb_6.xml", feed, client);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
|
|||||||
+63
-27
@@ -37,6 +37,7 @@ var serviceProvider = services.BuildServiceProvider();
|
|||||||
var httpClientFactory = serviceProvider.GetRequiredService<IHttpClientFactory>();
|
var httpClientFactory = serviceProvider.GetRequiredService<IHttpClientFactory>();
|
||||||
|
|
||||||
LogManager.AddLog($"[情報] rss-generatorの起動");
|
LogManager.AddLog($"[情報] rss-generatorの起動");
|
||||||
|
var isFirst = true;
|
||||||
|
|
||||||
// 実行したい指定の「分」を配列で設定(例:毎時 0分 と 30分)
|
// 実行したい指定の「分」を配列で設定(例:毎時 0分 と 30分)
|
||||||
int[] targetMinutes = new int[] { 0, 30 };
|
int[] targetMinutes = new int[] { 0, 30 };
|
||||||
@@ -45,6 +46,12 @@ while (true)
|
|||||||
{
|
{
|
||||||
var nowDate = DateTime.Now;
|
var nowDate = DateTime.Now;
|
||||||
|
|
||||||
|
if (isFirst)
|
||||||
|
{
|
||||||
|
isFirst = false;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
#if DEBUG
|
#if DEBUG
|
||||||
#else
|
#else
|
||||||
// 次に実行すべき指定時刻を取得
|
// 次に実行すべき指定時刻を取得
|
||||||
@@ -57,6 +64,7 @@ while (true)
|
|||||||
// 指定時刻まで完全に処理を停止(非同期スリープ)
|
// 指定時刻まで完全に処理を停止(非同期スリープ)
|
||||||
await Task.Delay(delay);
|
await Task.Delay(delay);
|
||||||
#endif
|
#endif
|
||||||
|
}
|
||||||
|
|
||||||
// 指定時刻になったら処理を実行
|
// 指定時刻になったら処理を実行
|
||||||
Stopwatch totalSw = Stopwatch.StartNew();
|
Stopwatch totalSw = Stopwatch.StartNew();
|
||||||
@@ -71,42 +79,75 @@ while (true)
|
|||||||
// サイトによってはAcceptヘッダーがないと弾く場合もあるため、念のため追加
|
// サイトによってはAcceptヘッダーがないと弾く場合もあるため、念のため追加
|
||||||
client.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
|
client.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
|
||||||
|
|
||||||
List<Task> tasks = new List<Task>();
|
// メモリ消費を最小化(512MB制限内)するため、各フィードを並行ではなく順次実行し、タスクごとにGCを実行
|
||||||
|
var feedActions = new List<(string Name, Func<Task> Action)>();
|
||||||
|
|
||||||
DateTime from = new DateTime(nowDate.Year, nowDate.Month, nowDate.Day, 5, 0, 0);
|
DateTime from = new DateTime(nowDate.Year, nowDate.Month, nowDate.Day, 5, 0, 0);
|
||||||
DateTime to = new DateTime(nowDate.Year, nowDate.Month, nowDate.Day, 7, 15, 0);
|
DateTime to = new DateTime(nowDate.Year, nowDate.Month, nowDate.Day, 7, 15, 0);
|
||||||
if (from < nowDate && nowDate < to)
|
if (from < nowDate && nowDate < to)
|
||||||
{
|
{
|
||||||
tasks.Add(momonga_fanzine.CreateRSSAsync(client));
|
feedActions.Add(("momonga_fanzine", () => momonga_fanzine.CreateRSSAsync(client)));
|
||||||
tasks.Add(momonga_magazine.CreateRSSAsync(client));
|
feedActions.Add(("momonga_magazine", () => momonga_magazine.CreateRSSAsync(client)));
|
||||||
}
|
}
|
||||||
#if DEBUG
|
#if DEBUG
|
||||||
|
feedActions.Add(("momonga_fanzine", () => momonga_fanzine.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("momonga_magazine", () => momonga_magazine.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("YouTube", () => YouTubeFeedManager.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("X (Twitter)", () => rss_generator.Class.RSS.X.x_list.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("kimochiinfo", () => kimochiinfo.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("ci_en", () => ci_en.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("javtwi", () => javtwi.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("mangalear", () => mangalear.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("e_hentai_ai", () => e_hentai_ai.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("e_hentai_non_ai", () => e_hentai_non_ai.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("pixiv_non_r18_non_ai", () => pixiv_non_r18_non_ai.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("pixiv_non_r18_ai", () => pixiv_non_r18_ai.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("pixiv_r18_non_ai", () => pixiv_r18_non_ai.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("pixiv_r18_ai", () => pixiv_r18_ai.CreateRSSAsync(client)));
|
||||||
|
feedActions.Add(("FlareSolverr", () => FlareSolverrFeedManager.CreateAllRSSAsync(client)));
|
||||||
#else
|
#else
|
||||||
#endif
|
feedActions.Add(("YouTube", () => YouTubeFeedManager.CreateRSSAsync(client)));
|
||||||
tasks.Add(YouTubeFeedManager.CreateRSSAsync(client));
|
feedActions.Add(("X (Twitter)", () => rss_generator.Class.RSS.X.x_list.CreateRSSAsync(client)));
|
||||||
tasks.Add(rss_generator.Class.RSS.X.x_list.CreateRSSAsync(client));
|
feedActions.Add(("kimochiinfo", () => kimochiinfo.CreateRSSAsync(client)));
|
||||||
tasks.Add(kimochiinfo.CreateRSSAsync(client));
|
feedActions.Add(("ci_en", () => ci_en.CreateRSSAsync(client)));
|
||||||
tasks.Add(ci_en.CreateRSSAsync(client));
|
feedActions.Add(("javtwi", () => javtwi.CreateRSSAsync(client)));
|
||||||
tasks.Add(javtwi.CreateRSSAsync(client));
|
feedActions.Add(("mangalear", () => mangalear.CreateRSSAsync(client)));
|
||||||
tasks.Add(mangalear.CreateRSSAsync(client));
|
feedActions.Add(("e_hentai_ai", () => e_hentai_ai.CreateRSSAsync(client)));
|
||||||
tasks.Add(e_hentai_ai.CreateRSSAsync(client));
|
feedActions.Add(("e_hentai_non_ai", () => e_hentai_non_ai.CreateRSSAsync(client)));
|
||||||
tasks.Add(e_hentai_non_ai.CreateRSSAsync(client));
|
feedActions.Add(("pixiv_non_r18_non_ai", () => pixiv_non_r18_non_ai.CreateRSSAsync(client)));
|
||||||
tasks.Add(pixiv_non_r18_non_ai.CreateRSSAsync(client));
|
feedActions.Add(("pixiv_non_r18_ai", () => pixiv_non_r18_ai.CreateRSSAsync(client)));
|
||||||
tasks.Add(pixiv_non_r18_ai.CreateRSSAsync(client));
|
feedActions.Add(("pixiv_r18_non_ai", () => pixiv_r18_non_ai.CreateRSSAsync(client)));
|
||||||
tasks.Add(pixiv_r18_non_ai.CreateRSSAsync(client));
|
feedActions.Add(("pixiv_r18_ai", () => pixiv_r18_ai.CreateRSSAsync(client)));
|
||||||
tasks.Add(pixiv_r18_ai.CreateRSSAsync(client));
|
|
||||||
|
|
||||||
// FlareSolverr 利用タスク群(単一セッションで順次実行し、完了後に破棄してメモリ最小化)
|
// FlareSolverr 利用タスク群(単一セッションで順次実行し、完了後に破棄してメモリ最小化)
|
||||||
tasks.Add(FlareSolverrFeedManager.CreateAllRSSAsync(client));
|
feedActions.Add(("FlareSolverr", () => FlareSolverrFeedManager.CreateAllRSSAsync(client)));
|
||||||
|
#endif
|
||||||
|
|
||||||
|
foreach (var (name, action) in feedActions)
|
||||||
await Task.WhenAll(tasks);
|
{
|
||||||
|
try
|
||||||
|
{
|
||||||
|
var taskSw = Stopwatch.StartNew();
|
||||||
|
LogManager.AddLog($"[情報] 【{name}】 取得開始");
|
||||||
|
await action();
|
||||||
|
taskSw.Stop();
|
||||||
|
LogManager.AddLog($"[情報] 【{name}】 完了 ({taskSw.Elapsed.TotalSeconds:0.##}秒)");
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[エラー] 【{name}】 実行時エラー: {ex.Message}");
|
||||||
|
}
|
||||||
|
finally
|
||||||
|
{
|
||||||
|
// 各タスク完了後にメモリを積極回収してOSに返却
|
||||||
|
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
|
||||||
|
GC.WaitForPendingFinalizers();
|
||||||
|
GC.Collect(2, GCCollectionMode.Aggressive, true, true);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
sw.Stop();
|
sw.Stop();
|
||||||
LogManager.AddLog($"[情報] RSS生成完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
|
LogManager.AddLog($"[情報] RSS生成完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
|
||||||
sw.Restart();
|
|
||||||
|
|
||||||
// /bin/bash /usr/local/bin/update_rss.sh
|
|
||||||
#if DEBUG
|
#if DEBUG
|
||||||
sw.Stop();
|
sw.Stop();
|
||||||
totalSw.Stop();
|
totalSw.Stop();
|
||||||
@@ -116,12 +157,7 @@ while (true)
|
|||||||
await LogManager.FlushAndCloseAsync();
|
await LogManager.FlushAndCloseAsync();
|
||||||
break;
|
break;
|
||||||
#else
|
#else
|
||||||
LogManager.AddLog($"[情報] FreshRSS 更新開始");
|
|
||||||
await CmnUtil.RunCommandAsync("/bin/bash", "/usr/local/bin/update_rss.sh", "");
|
|
||||||
|
|
||||||
sw.Stop();
|
sw.Stop();
|
||||||
LogManager.AddLog($"[情報] FreshRSS 更新完了 実行時間:{sw.Elapsed.TotalSeconds:0.##}秒");
|
|
||||||
|
|
||||||
totalSw.Stop();
|
totalSw.Stop();
|
||||||
LogManager.AddLog($"[情報] 全処理完了 トータル実行時間:{totalSw.Elapsed.TotalSeconds:0.##}秒");
|
LogManager.AddLog($"[情報] 全処理完了 トータル実行時間:{totalSw.Elapsed.TotalSeconds:0.##}秒");
|
||||||
#endif
|
#endif
|
||||||
|
|||||||
@@ -1,4 +1,4 @@
|
|||||||
<Project Sdk="Microsoft.NET.Sdk">
|
<Project Sdk="Microsoft.NET.Sdk">
|
||||||
|
|
||||||
<PropertyGroup>
|
<PropertyGroup>
|
||||||
<OutputType>Exe</OutputType>
|
<OutputType>Exe</OutputType>
|
||||||
@@ -6,6 +6,11 @@
|
|||||||
<RootNamespace>rss_generator</RootNamespace>
|
<RootNamespace>rss_generator</RootNamespace>
|
||||||
<ImplicitUsings>enable</ImplicitUsings>
|
<ImplicitUsings>enable</ImplicitUsings>
|
||||||
<Nullable>enable</Nullable>
|
<Nullable>enable</Nullable>
|
||||||
|
<!-- サーバーGCを無効化し、省メモリなワークステーションGCを使用 -->
|
||||||
|
<ServerGarbageCollection>false</ServerGarbageCollection>
|
||||||
|
<ConcurrentGarbageCollection>true</ConcurrentGarbageCollection>
|
||||||
|
<!-- 使用済み仮想メモリをOSに速やかに返却 -->
|
||||||
|
<RetainVMGarbageCollection>false</RetainVMGarbageCollection>
|
||||||
</PropertyGroup>
|
</PropertyGroup>
|
||||||
|
|
||||||
<ItemGroup>
|
<ItemGroup>
|
||||||
@@ -24,11 +29,17 @@
|
|||||||
<Folder Include="Class\RSS\Pixiv\" />
|
<Folder Include="Class\RSS\Pixiv\" />
|
||||||
</ItemGroup>
|
</ItemGroup>
|
||||||
|
|
||||||
|
<!-- 発行後にローカルPCのDocker Desktopへ自動デプロイ -->
|
||||||
<Target Name="PostPublishDeploy" AfterTargets="Publish">
|
<Target Name="PostPublishDeploy" AfterTargets="Publish">
|
||||||
<Message Text="=== [VPS Deploy] Starting Deploy via MSBuild ===" Importance="high" />
|
<Message Text="=== [Local Docker Deploy] Starting Deploy via MSBuild ===" Importance="high" />
|
||||||
<Exec Command="ssh -p 22321 armonica@162.43.79.113 "mkdir -p /home/armonica/docker/rss-generator/app"" />
|
<!-- 配置先ディレクトリ C:\docker\rss-generator\app の存在確認と作成 -->
|
||||||
<Exec Command="scp -P 22321 -r "$(ProjectDir)bin\publish\*" armonica@162.43.79.113:/home/armonica/docker/rss-generator/app/" />
|
<Exec Command="powershell -Command "if (!(Test-Path 'C:\docker\rss-generator\app')) { New-Item -ItemType Directory -Force -Path 'C:\docker\rss-generator\app' }"" />
|
||||||
<Exec Command="ssh -p 22321 armonica@162.43.79.113 "cd /home/armonica/docker/rss-generator && docker compose up -d --build rss-generator"" />
|
<!-- 発行済みファイルを C:\docker\rss-generator\app に同期(Visual Studio発行プロファイル・CLI共通対応) -->
|
||||||
<Message Text="=== [VPS Deploy] All processes completed successfully! ===" Importance="high" />
|
<Exec Command="robocopy "$(PublishDir)." "C:\docker\rss-generator\app" /MIR /NP /NFL /NDL" IgnoreExitCode="true" />
|
||||||
|
<!-- Dockerfile と compose.yaml を最新同期 -->
|
||||||
|
<Exec Command="powershell -Command "Copy-Item -Path '$(SolutionDir)Dockerfile', '$(SolutionDir)compose.yaml' -Destination 'C:\docker\rss-generator\' -Force"" />
|
||||||
|
<!-- ローカルDocker Desktopでコンテナをビルド・起動(常駐) -->
|
||||||
|
<Exec Command="docker compose -f C:\docker\rss-generator\compose.yaml up -d --build" />
|
||||||
|
<Message Text="=== [Local Docker Deploy] All processes completed successfully! ===" Importance="high" />
|
||||||
</Target>
|
</Target>
|
||||||
</Project>
|
</Project>
|
||||||
Reference in new issue
Block a user