502対応
This commit is contained in:
1 parent
0048125cc8
commit
e6013077f6
4 files changed
+56
-7
No files matched your search
@@ -117,6 +117,26 @@ public class HttpHelper
|
|||||||
/// <param name="cancellationToken">キャンセレーショントークン</param>
|
/// <param name="cancellationToken">キャンセレーショントークン</param>
|
||||||
/// <returns>バイトデータとコンテンツタイプ</returns>
|
/// <returns>バイトデータとコンテンツタイプ</returns>
|
||||||
public async Task<(byte[] Data, string ContentType)> GetBinaryAsync(string url, string? referer = null, CancellationToken cancellationToken = default)
|
public async Task<(byte[] Data, string ContentType)> GetBinaryAsync(string url, string? referer = null, CancellationToken cancellationToken = default)
|
||||||
|
{
|
||||||
|
try
|
||||||
|
{
|
||||||
|
return await FetchBinaryInternalAsync(url, referer, cancellationToken);
|
||||||
|
}
|
||||||
|
catch (HttpRequestException ex) when (ex.StatusCode == System.Net.HttpStatusCode.NotFound)
|
||||||
|
{
|
||||||
|
// hitomi.la の画像CDN (w1/w2, atn/btn) で404の場合、対向サブドメインでフォールバック再試行
|
||||||
|
var fallbackUrl = GetHitomiFallbackUrl(url);
|
||||||
|
if (fallbackUrl != null)
|
||||||
|
{
|
||||||
|
_logger.LogWarning("画像URLが404のため、代替サブドメインへフォールバックします: {OriginalUrl} -> {FallbackUrl}", url, fallbackUrl);
|
||||||
|
return await FetchBinaryInternalAsync(fallbackUrl, referer, cancellationToken);
|
||||||
|
}
|
||||||
|
|
||||||
|
throw;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private async Task<(byte[] Data, string ContentType)> FetchBinaryInternalAsync(string url, string? referer, CancellationToken cancellationToken)
|
||||||
{
|
{
|
||||||
using var request = new HttpRequestMessage(HttpMethod.Get, url);
|
using var request = new HttpRequestMessage(HttpMethod.Get, url);
|
||||||
if (!string.IsNullOrEmpty(referer))
|
if (!string.IsNullOrEmpty(referer))
|
||||||
@@ -132,5 +152,29 @@ public class HttpHelper
|
|||||||
|
|
||||||
return (data, contentType);
|
return (data, contentType);
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// hitomi.la の画像CDN URLにおける対向サブドメインURLを生成します。
|
||||||
|
/// </summary>
|
||||||
|
private static string? GetHitomiFallbackUrl(string url)
|
||||||
|
{
|
||||||
|
if (url.Contains("://w1.gold-usergeneratedcontent.net/"))
|
||||||
|
{
|
||||||
|
return url.Replace("://w1.gold-usergeneratedcontent.net/", "://w2.gold-usergeneratedcontent.net/");
|
||||||
|
}
|
||||||
|
if (url.Contains("://w2.gold-usergeneratedcontent.net/"))
|
||||||
|
{
|
||||||
|
return url.Replace("://w2.gold-usergeneratedcontent.net/", "://w1.gold-usergeneratedcontent.net/");
|
||||||
|
}
|
||||||
|
if (url.Contains("://atn.gold-usergeneratedcontent.net/"))
|
||||||
|
{
|
||||||
|
return url.Replace("://atn.gold-usergeneratedcontent.net/", "://btn.gold-usergeneratedcontent.net/");
|
||||||
|
}
|
||||||
|
if (url.Contains("://btn.gold-usergeneratedcontent.net/"))
|
||||||
|
{
|
||||||
|
return url.Replace("://btn.gold-usergeneratedcontent.net/", "://atn.gold-usergeneratedcontent.net/");
|
||||||
|
}
|
||||||
|
return null;
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -285,7 +285,7 @@ public class HitomiScraper : BaseScraper
|
|||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
Logger.LogError(ex, "[{SiteName}] gg.js の取得に失敗しました。デフォルト値を使用します", SiteName);
|
Logger.LogError(ex, "[{SiteName}] gg.js の取得に失敗しました。デフォルト値を使用します", SiteName);
|
||||||
return new GgData("1788184802/", new HashSet<int>());
|
return new GgData("1788710402/", new HashSet<int>());
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -295,7 +295,7 @@ public class HitomiScraper : BaseScraper
|
|||||||
private static GgData ParseGgJs(string ggJs)
|
private static GgData ParseGgJs(string ggJs)
|
||||||
{
|
{
|
||||||
var bMatch = Regex.Match(ggJs, @"b:\s*['""]([^'""]+)['""]");
|
var bMatch = Regex.Match(ggJs, @"b:\s*['""]([^'""]+)['""]");
|
||||||
var b = bMatch.Success ? bMatch.Groups[1].Value : "1788184802/";
|
var b = bMatch.Success ? bMatch.Groups[1].Value : "1788710402/";
|
||||||
|
|
||||||
var cases = new HashSet<int>();
|
var cases = new HashSet<int>();
|
||||||
var caseMatches = Regex.Matches(ggJs, @"case\s+(\d+):");
|
var caseMatches = Regex.Matches(ggJs, @"case\s+(\d+):");
|
||||||
@@ -323,7 +323,9 @@ public class HitomiScraper : BaseScraper
|
|||||||
var g = int.Parse(m2 + m1, NumberStyles.HexNumber);
|
var g = int.Parse(m2 + m1, NumberStyles.HexNumber);
|
||||||
var ggS = g.ToString(CultureInfo.InvariantCulture);
|
var ggS = g.ToString(CultureInfo.InvariantCulture);
|
||||||
|
|
||||||
var mVal = gg.Cases.Contains(g) ? 1 : 0;
|
// gg.js の仕様: caseに含まれる数値は 0 (w1), 含まれないものは 1 (w2)
|
||||||
|
// (var o = 1; switch (g) { case ...: o = 0; break; } return o;)
|
||||||
|
var mVal = gg.Cases.Contains(g) ? 0 : 1;
|
||||||
var subNum = 1 + mVal;
|
var subNum = 1 + mVal;
|
||||||
|
|
||||||
return $"https://w{subNum}.{ContentDomain}/{gg.B}{ggS}/{hash}.webp";
|
return $"https://w{subNum}.{ContentDomain}/{gg.B}{ggS}/{hash}.webp";
|
||||||
@@ -341,7 +343,8 @@ public class HitomiScraper : BaseScraper
|
|||||||
var m2 = hash.Substring(hash.Length - 1, 1);
|
var m2 = hash.Substring(hash.Length - 1, 1);
|
||||||
var g = int.Parse(m2 + m1, NumberStyles.HexNumber);
|
var g = int.Parse(m2 + m1, NumberStyles.HexNumber);
|
||||||
|
|
||||||
var mVal = gg.Cases.Contains(g) ? 1 : 0;
|
// gg.js の仕様: caseに含まれる数値は 0 ('a' -> atn), 含まれないものは 1 ('b' -> btn)
|
||||||
|
var mVal = gg.Cases.Contains(g) ? 0 : 1;
|
||||||
var subLet = (char)('a' + mVal);
|
var subLet = (char)('a' + mVal);
|
||||||
|
|
||||||
return $"https://{subLet}tn.{ContentDomain}/webpbigtn/{m2}/{m1}/{hash}.webp";
|
return $"https://{subLet}tn.{ContentDomain}/webpbigtn/{m2}/{m1}/{hash}.webp";
|
||||||
|
|||||||
@@ -281,7 +281,7 @@ app.MapGet("/api/scrape", async (string? url, string? site, string? id, string?
|
|||||||
});
|
});
|
||||||
|
|
||||||
// 画像プロキシエンドポイント
|
// 画像プロキシエンドポイント
|
||||||
app.MapGet("/api/proxy-image", async (string url, string? referer, HttpHelper httpHelper, CancellationToken ct) =>
|
app.MapGet("/api/proxy-image", async (string url, string? referer, HttpHelper httpHelper, ILoggerFactory loggerFactory, CancellationToken ct) =>
|
||||||
{
|
{
|
||||||
if (string.IsNullOrWhiteSpace(url))
|
if (string.IsNullOrWhiteSpace(url))
|
||||||
{
|
{
|
||||||
@@ -295,6 +295,8 @@ app.MapGet("/api/proxy-image", async (string url, string? referer, HttpHelper ht
|
|||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
|
var logger = loggerFactory.CreateLogger("ProxyImage");
|
||||||
|
logger.LogWarning(ex, "画像プロキシ取得エラー: URL={Url}, Referer={Referer}", url, referer);
|
||||||
return Results.Problem(detail: ex.Message, statusCode: 502);
|
return Results.Problem(detail: ex.Message, statusCode: 502);
|
||||||
}
|
}
|
||||||
});
|
});
|
||||||
|
|||||||
@@ -21,8 +21,8 @@
|
|||||||
<WriteLinesToFile File="$(PublishUrl)app_offline.htm"
|
<WriteLinesToFile File="$(PublishUrl)app_offline.htm"
|
||||||
Lines="<html><body>Publishing updates...</body></html>"
|
Lines="<html><body>Publishing updates...</body></html>"
|
||||||
Overwrite="true" />
|
Overwrite="true" />
|
||||||
<!-- プロセスが完全に終了してファイルロックが解放されるまで 2 秒待機 -->
|
<!-- プロセスが完全に終了してファイルロックが解放されるまで 4 秒待機 -->
|
||||||
<Exec Command="powershell -Command Start-Sleep -Seconds 2" />
|
<Exec Command="powershell -Command Start-Sleep -Seconds 4" />
|
||||||
</Target>
|
</Target>
|
||||||
|
|
||||||
<!-- ② 発行完了後: app_offline.htm を削除して IIS プロセスを自動起動 -->
|
<!-- ② 発行完了後: app_offline.htm を削除して IIS プロセスを自動起動 -->
|
||||||
|
|||||||
Reference in new issue
Block a user