feat: add YouTube downloader and cookie helper with updated Docker configuration
This commit is contained in:
1 parent
be66964981
commit
6b78d6ee85
4 files changed
+99
-26
No files matched your search
+5
-1
@@ -2,13 +2,17 @@
|
|||||||
FROM mcr.microsoft.com/dotnet/runtime:10.0 AS runtime
|
FROM mcr.microsoft.com/dotnet/runtime:10.0 AS runtime
|
||||||
WORKDIR /app
|
WORKDIR /app
|
||||||
|
|
||||||
# タイムゾーン設定 (JST) および必要なツール(ffmpeg, python3, curl等)のインストール
|
# タイムゾーン設定 (JST) および必要なツール(ffmpeg, python3, curl, unzip, deno等)のインストール
|
||||||
|
# ※ YouTube最新仕様の署名解読 (n-challenge / EJS) には JavaScript ランタイム (deno) が必要
|
||||||
RUN apt-get update && apt-get install -y --no-install-recommends \
|
RUN apt-get update && apt-get install -y --no-install-recommends \
|
||||||
tzdata \
|
tzdata \
|
||||||
ca-certificates \
|
ca-certificates \
|
||||||
curl \
|
curl \
|
||||||
|
unzip \
|
||||||
python3 \
|
python3 \
|
||||||
ffmpeg \
|
ffmpeg \
|
||||||
|
&& curl -fsSL https://deno.land/install.sh | sh \
|
||||||
|
&& cp /root/.deno/bin/deno /usr/local/bin/ \
|
||||||
&& curl -L https://github.com/yt-dlp/yt-dlp/releases/latest/download/yt-dlp -o /usr/local/bin/yt-dlp \
|
&& curl -L https://github.com/yt-dlp/yt-dlp/releases/latest/download/yt-dlp -o /usr/local/bin/yt-dlp \
|
||||||
&& chmod a+rx /usr/local/bin/yt-dlp \
|
&& chmod a+rx /usr/local/bin/yt-dlp \
|
||||||
&& rm -rf /var/lib/apt/lists/*
|
&& rm -rf /var/lib/apt/lists/*
|
||||||
|
|||||||
@@ -25,29 +25,42 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
return Path.GetFullPath(envPath);
|
return Path.GetFullPath(envPath);
|
||||||
}
|
}
|
||||||
|
|
||||||
// 2. 出力ベースディレクトリ直下(ホスト C:\MyMusic\cookies.txt ➔ コンテナ /music/cookies.txt)
|
// 2. ユーザーマウントのCookieパス (/user_music/cookies.txt または /cookies/cookies.txt) を最優先
|
||||||
|
if (File.Exists("/user_music/cookies.txt")) return "/user_music/cookies.txt";
|
||||||
|
if (File.Exists("/cookies/cookies.txt")) return "/cookies/cookies.txt";
|
||||||
|
|
||||||
|
// 3. ホストOSの標準ミュージックフォルダ (例: C:\Users\<ユーザー名>\Music\cookies.txt)
|
||||||
|
try
|
||||||
|
{
|
||||||
|
var myMusic = Environment.GetFolderPath(Environment.SpecialFolder.MyMusic);
|
||||||
|
if (!string.IsNullOrWhiteSpace(myMusic))
|
||||||
|
{
|
||||||
|
var userCookie = Path.Combine(myMusic, "cookies.txt");
|
||||||
|
if (File.Exists(userCookie)) return Path.GetFullPath(userCookie);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch { }
|
||||||
|
|
||||||
|
// 4. 出力ベースディレクトリ直下(ホスト C:\MyMusic\cookies.txt ➔ コンテナ /music/cookies.txt)
|
||||||
if (!string.IsNullOrWhiteSpace(outputBaseDir))
|
if (!string.IsNullOrWhiteSpace(outputBaseDir))
|
||||||
{
|
{
|
||||||
var p = Path.Combine(outputBaseDir, "cookies.txt");
|
var p = Path.Combine(outputBaseDir, "cookies.txt");
|
||||||
if (File.Exists(p)) return Path.GetFullPath(p);
|
if (File.Exists(p)) return Path.GetFullPath(p);
|
||||||
}
|
}
|
||||||
|
|
||||||
// 3. YouTube集約フォルダ直下(C:\MyMusic\Youtube\cookies.txt ➔ コンテナ /music/Youtube/cookies.txt)
|
// 5. YouTube集約フォルダ直下(C:\MyMusic\Youtube\cookies.txt ➔ コンテナ /music/Youtube/cookies.txt)
|
||||||
if (!string.IsNullOrWhiteSpace(youtubeFolder))
|
if (!string.IsNullOrWhiteSpace(youtubeFolder))
|
||||||
{
|
{
|
||||||
var p = Path.Combine(youtubeFolder, "cookies.txt");
|
var p = Path.Combine(youtubeFolder, "cookies.txt");
|
||||||
if (File.Exists(p)) return Path.GetFullPath(p);
|
if (File.Exists(p)) return Path.GetFullPath(p);
|
||||||
}
|
}
|
||||||
|
|
||||||
// 4. アプリケーション実行フォルダ直下(ローカル bin 配下またはコンテナ /app/cookies.txt)
|
// 6. アプリケーション実行フォルダ直下(ローカル bin 配下またはコンテナ /app/cookies.txt)
|
||||||
var appDir = AppDomain.CurrentDomain.BaseDirectory;
|
var appDir = AppDomain.CurrentDomain.BaseDirectory;
|
||||||
var appCookie = Path.Combine(appDir, "cookies.txt");
|
var appCookie = Path.Combine(appDir, "cookies.txt");
|
||||||
if (File.Exists(appCookie)) return Path.GetFullPath(appCookie);
|
if (File.Exists(appCookie)) return Path.GetFullPath(appCookie);
|
||||||
|
|
||||||
// 5. Docker等で一般的にマウントされる /cookies/cookies.txt
|
// 7. ログ出力先ボリューム(ホスト C:\feeds\cookies.txt ➔ コンテナ /feeds/cookies.txt)
|
||||||
if (File.Exists("/cookies/cookies.txt")) return "/cookies/cookies.txt";
|
|
||||||
|
|
||||||
// 6. ログ出力先ボリューム(ホスト C:\feeds\cookies.txt ➔ コンテナ /feeds/cookies.txt)
|
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
var feedsCookie = Path.Combine(CmnDefine.GetLogDir(), "cookies.txt");
|
var feedsCookie = Path.Combine(CmnDefine.GetLogDir(), "cookies.txt");
|
||||||
@@ -70,18 +83,37 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// yt-dlp のコマンド引数リストに Cookie オプション(--cookies または --cookies-from-browser)を付与する
|
/// yt-dlp のコマンド引数リストに Cookie オプション(--cookies または --cookies-from-browser)を付与する
|
||||||
|
/// ※ yt-dlp は実行終了時に渡された Cookie ファイルに書き戻す仕様があるため、
|
||||||
|
/// 元のファイルの上書き破壊や Read-Only マウントでの例外 (OSError Errno 30) を防ぐため、
|
||||||
|
/// 一時ファイルにコピーしてからそのパスを渡します。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
/// <param name="args">付与対象の引数リスト</param>
|
/// <param name="args">付与対象の引数リスト</param>
|
||||||
/// <param name="outputBaseDir">音楽出力ベースディレクトリ</param>
|
/// <param name="outputBaseDir">音楽出力ベースディレクトリ</param>
|
||||||
/// <param name="youtubeFolder">楽曲集約ディレクトリ</param>
|
/// <param name="youtubeFolder">楽曲集約ディレクトリ</param>
|
||||||
|
/// <param name="tempWorkDir">一時作業ディレクトリ</param>
|
||||||
/// <returns>Cookieオプションが付与されたかどうか</returns>
|
/// <returns>Cookieオプションが付与されたかどうか</returns>
|
||||||
public static bool ApplyCookieArgs(List<string> args, string? outputBaseDir = null, string? youtubeFolder = null)
|
public static bool ApplyCookieArgs(List<string> args, string? outputBaseDir = null, string? youtubeFolder = null, string? tempWorkDir = null)
|
||||||
{
|
{
|
||||||
var cookieFile = FindCookiesFile(outputBaseDir, youtubeFolder);
|
var cookieFile = FindCookiesFile(outputBaseDir, youtubeFolder);
|
||||||
if (!string.IsNullOrEmpty(cookieFile))
|
if (!string.IsNullOrEmpty(cookieFile))
|
||||||
{
|
{
|
||||||
|
var cookieToPass = cookieFile;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
var targetDir = !string.IsNullOrWhiteSpace(tempWorkDir) && Directory.Exists(tempWorkDir)
|
||||||
|
? tempWorkDir
|
||||||
|
: Path.GetTempPath();
|
||||||
|
var tempCookie = Path.Combine(targetDir, $"yt_cookies_{Guid.NewGuid():N}.txt");
|
||||||
|
File.Copy(cookieFile, tempCookie, overwrite: true);
|
||||||
|
cookieToPass = tempCookie;
|
||||||
|
}
|
||||||
|
catch
|
||||||
|
{
|
||||||
|
// コピーに失敗した場合は元のパスを使用
|
||||||
|
}
|
||||||
|
|
||||||
args.Add("--cookies");
|
args.Add("--cookies");
|
||||||
args.Add(cookieFile);
|
args.Add(cookieToPass);
|
||||||
return true;
|
return true;
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -113,9 +145,7 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
return (true, $"ブラウザCookie指定検出: {browser}");
|
return (true, $"ブラウザCookie指定検出: {browser}");
|
||||||
}
|
}
|
||||||
|
|
||||||
var suggestedPath = !string.IsNullOrWhiteSpace(outputBaseDir)
|
var suggestedPath = "C:\\Users\\<ユーザー名>\\Music\\cookies.txt または C:\\MyMusic\\cookies.txt";
|
||||||
? Path.Combine(outputBaseDir, "cookies.txt")
|
|
||||||
: "C:\\MyMusic\\cookies.txt または /app/cookies.txt";
|
|
||||||
|
|
||||||
return (false, $"未配置 (年齢制限動画を取得する場合は {suggestedPath} に cookies.txt を配置してください)");
|
return (false, $"未配置 (年齢制限動画を取得する場合は {suggestedPath} に cookies.txt を配置してください)");
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -555,6 +555,9 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
var destLrcPath = Path.Combine(youtubeFolder, targetLrcName);
|
var destLrcPath = Path.Combine(youtubeFolder, targetLrcName);
|
||||||
File.Copy(lrcPath, destLrcPath, overwrite: true);
|
File.Copy(lrcPath, destLrcPath, overwrite: true);
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// ダウンロード完了履歴 (archive.txt) に動画IDを記録
|
||||||
|
AddToArchiveFile(archiveFile, videoId);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
@@ -662,13 +665,12 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
"--retries", "5",
|
"--retries", "5",
|
||||||
"--fragment-retries", "5",
|
"--fragment-retries", "5",
|
||||||
"--retry-sleep", "3",
|
"--retry-sleep", "3",
|
||||||
"--download-archive", archiveFile,
|
|
||||||
"-o", outputTemplate,
|
"-o", outputTemplate,
|
||||||
"--no-warnings"
|
"--no-warnings"
|
||||||
};
|
};
|
||||||
|
|
||||||
// CookieファイルまたはブラウザCookieの自動適用(年齢確認・制限解除用)
|
// CookieファイルまたはブラウザCookieの自動適用(年齢確認・制限解除用、一時コピーで安全に適用)
|
||||||
CookieHelper.ApplyCookieArgs(baseArgs, outputBaseDir, youtubeFolder);
|
CookieHelper.ApplyCookieArgs(baseArgs, outputBaseDir, youtubeFolder, stagingDir);
|
||||||
|
|
||||||
return baseArgs;
|
return baseArgs;
|
||||||
}
|
}
|
||||||
@@ -681,17 +683,17 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
var plan2 = GetBaseArgs();
|
var plan2 = GetBaseArgs();
|
||||||
plan2.Add(videoUrl);
|
plan2.Add(videoUrl);
|
||||||
|
|
||||||
// 試行3: AndroidクライアントAPI(403 Forbidden ストリーム拒否対策・一部年齢制限対策)
|
// 試行3: Mobile Webクライアント(Cookie対応・403 Forbidden対策・年齢確認対策)
|
||||||
var plan3 = GetBaseArgs();
|
var plan3 = GetBaseArgs();
|
||||||
plan3.AddRange(new[] { "--extractor-args", "youtube:player_client=android,web", videoUrl });
|
plan3.AddRange(new[] { "--extractor-args", "youtube:player_client=mweb,web", videoUrl });
|
||||||
|
|
||||||
// 試行4: Android Creator & Mobile Webクライアント(年齢確認バイパス試行)
|
// 試行4: TVクライアントAPI(年齢確認バイパス試行)
|
||||||
var plan4 = GetBaseArgs();
|
var plan4 = GetBaseArgs();
|
||||||
plan4.AddRange(new[] { "--extractor-args", "youtube:player_client=android_creator,mweb", videoUrl });
|
plan4.AddRange(new[] { "--extractor-args", "youtube:player_client=tv_embedded,tv", videoUrl });
|
||||||
|
|
||||||
// 試行5: TVクライアントAPI(年齢確認バイパス試行)
|
// 試行5: AndroidクライアントAPI(403 Forbidden ストリーム拒否対策)
|
||||||
var plan5 = GetBaseArgs();
|
var plan5 = GetBaseArgs();
|
||||||
plan5.AddRange(new[] { "--extractor-args", "youtube:player_client=tv_embedded,tv", videoUrl });
|
plan5.AddRange(new[] { "--extractor-args", "youtube:player_client=android,web", videoUrl });
|
||||||
|
|
||||||
// 試行6: iOSクライアントAPI & キャッシュ無効化(最終フォールバック)
|
// 試行6: iOSクライアントAPI & キャッシュ無効化(最終フォールバック)
|
||||||
var plan6 = GetBaseArgs();
|
var plan6 = GetBaseArgs();
|
||||||
@@ -701,9 +703,9 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
{
|
{
|
||||||
("通常ダウンロード (日本語字幕あり)", plan1),
|
("通常ダウンロード (日本語字幕あり)", plan1),
|
||||||
("フォールバック1 (字幕取得オフ / 429対策)", plan2),
|
("フォールバック1 (字幕取得オフ / 429対策)", plan2),
|
||||||
("フォールバック2 (YouTube Androidクライアント / 403・年齢確認対策)", plan3),
|
("フォールバック2 (YouTube Mobile Webクライアント / 403・年齢確認対策)", plan3),
|
||||||
("フォールバック3 (YouTube Creator・mwebクライアント / 年齢確認対策)", plan4),
|
("フォールバック3 (YouTube TVクライアント / 年齢確認対策)", plan4),
|
||||||
("フォールバック4 (YouTube TVクライアント / 年齢確認対策)", plan5),
|
("フォールバック4 (YouTube Androidクライアント / 403対策)", plan5),
|
||||||
("フォールバック5 (YouTube iOSクライアント & キャッシュ無効化)", plan6)
|
("フォールバック5 (YouTube iOSクライアント & キャッシュ無効化)", plan6)
|
||||||
};
|
};
|
||||||
|
|
||||||
@@ -737,6 +739,7 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
}
|
}
|
||||||
|
|
||||||
var stdErr = cmdResult.StandardError ?? "";
|
var stdErr = cmdResult.StandardError ?? "";
|
||||||
|
var stdOut = cmdResult.StandardOutput ?? "";
|
||||||
LogManager.AddWarning($"[{name}] 終了コード: {cmdResult.ExitCode}");
|
LogManager.AddWarning($"[{name}] 終了コード: {cmdResult.ExitCode}");
|
||||||
if (!string.IsNullOrWhiteSpace(stdErr))
|
if (!string.IsNullOrWhiteSpace(stdErr))
|
||||||
{
|
{
|
||||||
@@ -747,6 +750,11 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
}
|
}
|
||||||
LogManager.AddWarning($"詳細: {stdErr.Trim()}");
|
LogManager.AddWarning($"詳細: {stdErr.Trim()}");
|
||||||
}
|
}
|
||||||
|
else if (cmdResult.ExitCode == 0 && opusFiles.Length == 0 && !string.IsNullOrWhiteSpace(stdOut))
|
||||||
|
{
|
||||||
|
var lastOut = stdOut.Trim().Split('\n').LastOrDefault()?.Trim() ?? "";
|
||||||
|
LogManager.AddWarning($"詳細(stdout): {lastOut}");
|
||||||
|
}
|
||||||
|
|
||||||
// エラー終了コードでもOpusファイル自体が生成完了していれば成功とみなす
|
// エラー終了コードでもOpusファイル自体が生成完了していれば成功とみなす
|
||||||
if (opusFiles.Length > 0)
|
if (opusFiles.Length > 0)
|
||||||
@@ -797,6 +805,35 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// ダウンロード成功時に archive.txt に動画ID(youtube <videoId>)を追記する
|
||||||
|
/// </summary>
|
||||||
|
private void AddToArchiveFile(string archiveFile, string videoId)
|
||||||
|
{
|
||||||
|
if (string.IsNullOrWhiteSpace(videoId) || string.IsNullOrWhiteSpace(archiveFile))
|
||||||
|
{
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
var entry = $"youtube {videoId}";
|
||||||
|
if (File.Exists(archiveFile))
|
||||||
|
{
|
||||||
|
var lines = File.ReadAllLines(archiveFile);
|
||||||
|
if (lines.Any(l => l.Trim().Equals(entry, StringComparison.OrdinalIgnoreCase)))
|
||||||
|
{
|
||||||
|
return; // 既に記録済み
|
||||||
|
}
|
||||||
|
}
|
||||||
|
File.AppendAllLines(archiveFile, new[] { entry }, Encoding.UTF8);
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddWarning($"archive.txt への追記中に例外: {ex.Message}");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// 【要件①】AndroidのPowerampで読み取れるプレイリストファイル(.m3u8)を保存
|
/// 【要件①】AndroidのPowerampで読み取れるプレイリストファイル(.m3u8)を保存
|
||||||
/// m3u8ファイルはYoutubeフォルダ内には作成せず、親フォルダ(outputBaseDir)直下のみに配置します。
|
/// m3u8ファイルはYoutubeフォルダ内には作成せず、親フォルダ(outputBaseDir)直下のみに配置します。
|
||||||
@@ -1091,7 +1128,7 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
foreach (var file in files)
|
foreach (var file in files)
|
||||||
{
|
{
|
||||||
var ext = Path.GetExtension(file).ToLowerInvariant();
|
var ext = Path.GetExtension(file).ToLowerInvariant();
|
||||||
if (ext == ".vtt" || ext == ".part" || ext == ".ytdl" || ext == ".jpg" || ext == ".webp" || ext == ".png")
|
if (ext == ".vtt" || ext == ".part" || ext == ".ytdl" || ext == ".jpg" || ext == ".webp" || ext == ".png" || ext == ".txt")
|
||||||
{
|
{
|
||||||
try { File.Delete(file); } catch { }
|
try { File.Delete(file); } catch { }
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -30,6 +30,8 @@ services:
|
|||||||
- C:\feeds:/feeds
|
- C:\feeds:/feeds
|
||||||
# 初回起動時の動作設定(最初から行う: from_scratch / 続きから行う: resume)
|
# 初回起動時の動作設定(最初から行う: from_scratch / 続きから行う: resume)
|
||||||
- C:\VS2026\MusicDownloader\run_config.json:/app/run_config.json:ro
|
- C:\VS2026\MusicDownloader\run_config.json:/app/run_config.json:ro
|
||||||
|
# ユーザーの標準ミュージックフォルダに配置された cookies.txt をコンテナ内で自動認識するためのマウント
|
||||||
|
- C:\Users\uduki\Music:/user_music:ro
|
||||||
networks:
|
networks:
|
||||||
- common-network
|
- common-network
|
||||||
|
|
||||||
|
|||||||
Reference in new issue
Block a user