feat(pixiv): 自前CaddyリバースプロキシによるPixiv画像のオンデマンド高速配信に対応
- FreshRSSでのBase64画像サニタイズによる本文非表示バグを解消するためBase64埋め込みを停止 - 外部プロキシ(i.pixiv.re)の遅延(約9秒)およびローカルファイル蓄積を回避するため自前のCaddyオンデマンドプロキシ(feeds.armonica-vps.work/pximg)を採用 - ローカルストレージを一切消費せず、Pixiv公式CDNからの直接中継により数十ミリ秒の高速表示と過去記事の永続表示を実現
This commit is contained in:
1 parent
2512df13f7
commit
522b53467b
1 file changed
+34
-59
@@ -1,4 +1,4 @@
|
||||
using System;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Globalization;
|
||||
using System.Linq;
|
||||
@@ -35,7 +35,7 @@ internal static class pixiv_common
|
||||
|
||||
/// <summary>
|
||||
/// サムネイル画像を直接取得して Base64 形式(Data URI: data:image/jpeg;base64,...)で RSS に埋め込むかどうか。
|
||||
/// 有効にすると RSS リーダー側での画像読み込み遅延(約9秒)および 403 エラーが完全に解消されます。
|
||||
/// ※FreshRSS ではサニタイザーやデータサイズ制限により本文全体が空文字(非表示)になる原因となるため、デフォルトは無効(false)です。
|
||||
/// 環境変数 PIXIV_EMBED_BASE64 (true/false) での上書きも可能です。
|
||||
/// </summary>
|
||||
public static bool EmbedThumbnailBase64
|
||||
@@ -51,17 +51,33 @@ internal static class pixiv_common
|
||||
}
|
||||
set => _embedThumbnailBase64 = value;
|
||||
}
|
||||
private static bool _embedThumbnailBase64 = true;
|
||||
private static bool _embedThumbnailBase64 = false;
|
||||
|
||||
/// <summary>
|
||||
/// RSSリーダー等で画像直リンク時の403エラーを回避するため、画像プロキシ(i.pixiv.re)を利用するかどうか(Base64埋め込みが無効または失敗時のフォールバック先)
|
||||
/// RSSリーダー等で画像直リンク時の403エラーを回避するため、画像プロキシを利用するかどうか
|
||||
/// </summary>
|
||||
public static bool UseImageProxy { get; set; } = true;
|
||||
|
||||
/// <summary>
|
||||
/// 画像プロキシホスト名(UseImageProxy が有効な場合に i.pximg.net を置換)
|
||||
/// 画像プロキシホスト名(UseImageProxy が有効な場合に i.pximg.net を置換)。
|
||||
/// 自前の Caddy オンデマンド・リバースプロキシ(feeds.armonica-vps.work/pximg)を利用することで、
|
||||
/// ローカルディスクに一切保存することなく、数十ミリ秒の超高速で画像を表示できます。
|
||||
/// 環境変数 PIXIV_IMAGE_PROXY_HOST での上書きも可能です。
|
||||
/// </summary>
|
||||
public static string ImageProxyHost { get; set; } = "i.pixiv.re";
|
||||
public static string ImageProxyHost
|
||||
{
|
||||
get
|
||||
{
|
||||
var envVal = Environment.GetEnvironmentVariable("PIXIV_IMAGE_PROXY_HOST");
|
||||
if (!string.IsNullOrWhiteSpace(envVal))
|
||||
{
|
||||
return envVal.Trim().TrimEnd('/');
|
||||
}
|
||||
return _imageProxyHost.TrimEnd('/');
|
||||
}
|
||||
set => _imageProxyHost = value;
|
||||
}
|
||||
private static string _imageProxyHost = "feeds.armonica-vps.work/pximg";
|
||||
|
||||
/// <summary>
|
||||
/// 1回の生成で取得する最大ページ数(1ページあたり約60作品)
|
||||
@@ -371,52 +387,19 @@ internal static class pixiv_common
|
||||
|
||||
/// <summary>
|
||||
/// Pixiv の作品アイテムリストを非同期で SyndicationItem のリストに変換します。
|
||||
/// EmbedThumbnailBase64 が有効な場合、サムネイル画像を最大並列数で直接ダウンロードして Base64 埋め込みを行います。
|
||||
/// </summary>
|
||||
/// <param name="client">HttpClient インスタンス</param>
|
||||
/// <param name="illusts">Pixiv 作品アイテム列挙</param>
|
||||
/// <param name="maxParallelDownloads">画像ダウンロードの最大並列数(デフォルト: 6)</param>
|
||||
/// <param name="maxParallelDownloads">画像ダウンロードの最大並列数(互換性パラメータ)</param>
|
||||
/// <returns>SyndicationItem リスト</returns>
|
||||
public static async Task<List<SyndicationItem>> ConvertToSyndicationItemsAsync(
|
||||
public static Task<List<SyndicationItem>> ConvertToSyndicationItemsAsync(
|
||||
HttpClient client,
|
||||
IEnumerable<PixivIllustItem> illusts,
|
||||
int maxParallelDownloads = 6)
|
||||
{
|
||||
var illustList = illusts.ToList();
|
||||
var base64ImageMap = new Dictionary<string, string>(StringComparer.OrdinalIgnoreCase);
|
||||
|
||||
// Base64 埋め込みが有効な場合、画像を並列ダウンロードしてマップに保持
|
||||
if (EmbedThumbnailBase64)
|
||||
{
|
||||
using var semaphore = new SemaphoreSlim(maxParallelDownloads);
|
||||
var tasks = illustList
|
||||
.Where(i => !string.IsNullOrWhiteSpace(i.Url))
|
||||
.Select(async illust =>
|
||||
{
|
||||
await semaphore.WaitAsync();
|
||||
try
|
||||
{
|
||||
var dataUri = await FetchImageAsBase64Async(client, illust.Url);
|
||||
if (!string.IsNullOrWhiteSpace(dataUri))
|
||||
{
|
||||
lock (base64ImageMap)
|
||||
{
|
||||
base64ImageMap[illust.Id] = dataUri;
|
||||
}
|
||||
}
|
||||
}
|
||||
finally
|
||||
{
|
||||
semaphore.Release();
|
||||
}
|
||||
});
|
||||
|
||||
await Task.WhenAll(tasks);
|
||||
AddLog($"[情報] [pixiv_common] サムネイル画像の Base64 取得完了: {base64ImageMap.Count}/{illustList.Count} 件成功");
|
||||
}
|
||||
|
||||
// アイテムの組み立て(各アイテムに Base64 またはフォールバック URL を設定)
|
||||
return ConvertToSyndicationItemsInternal(illustList, base64ImageMap);
|
||||
// 自前の Caddy オンデマンド・リバースプロキシ(feeds.armonica-vps.work/pximg)により高速配信するため、
|
||||
// ローカルディスクへのファイル保存や事前ダウンロード待ち(I/O)は行わず即座に変換
|
||||
return Task.FromResult(ConvertToSyndicationItems(illusts));
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
@@ -434,7 +417,7 @@ internal static class pixiv_common
|
||||
/// </summary>
|
||||
private static List<SyndicationItem> ConvertToSyndicationItemsInternal(
|
||||
IEnumerable<PixivIllustItem> illusts,
|
||||
Dictionary<string, string>? base64ImageMap)
|
||||
Dictionary<string, string>? customImageUrlMap = null)
|
||||
{
|
||||
var items = new List<SyndicationItem>();
|
||||
|
||||
@@ -507,19 +490,11 @@ internal static class pixiv_common
|
||||
// 本文 HTML の生成
|
||||
var body = new StringBuilder();
|
||||
|
||||
// 画像 URL の決定(Base64 埋め込み優先、なければプロキシまたは元URL適用)
|
||||
string? displayImageUrl = null;
|
||||
if (base64ImageMap != null && base64ImageMap.TryGetValue(illust.Id, out var base64Uri))
|
||||
// 画像 URL の決定(自前の高速リバースプロキシ feeds.armonica-vps.work/pximg を適用)
|
||||
var displayImageUrl = illust.Url;
|
||||
if (UseImageProxy && !string.IsNullOrWhiteSpace(displayImageUrl))
|
||||
{
|
||||
displayImageUrl = base64Uri;
|
||||
}
|
||||
else
|
||||
{
|
||||
displayImageUrl = illust.Url;
|
||||
if (UseImageProxy && !string.IsNullOrWhiteSpace(displayImageUrl))
|
||||
{
|
||||
displayImageUrl = displayImageUrl.Replace("i.pximg.net", ImageProxyHost);
|
||||
}
|
||||
displayImageUrl = displayImageUrl.Replace("i.pximg.net", ImageProxyHost);
|
||||
}
|
||||
|
||||
if (!string.IsNullOrWhiteSpace(displayImageUrl))
|
||||
@@ -588,8 +563,8 @@ internal static class pixiv_common
|
||||
items
|
||||
);
|
||||
|
||||
// Pixiv は Base64 画像埋め込みを有効にして出力する
|
||||
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, embedBase64: true);
|
||||
// Pixiv は自前画像URLまたはプロキシ画像URLを出力するため、Base64への再変換は行わない
|
||||
await CmnUtil.ExportXMLFileAsync(fileName, feed, client, embedBase64: false);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
|
||||
Reference in new issue
Block a user