feat: 起動・再起動時の全曲ダウンロードとarchiveリセット、2回目以降の差分ダウンロード、およびYouTubeメタデータ優先の実装
This commit is contained in:
1 parent
a947dbb093
commit
b38fdc52a0
2 files changed
+110
-32
No files matched your search
@@ -173,11 +173,41 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// 初回起動時や再起動時に、yt-dlp のダウンロード完了履歴 (archive.txt) をリセットし、
|
||||||
|
/// 全曲の再ダウンロード・最新タグ化を可能にする
|
||||||
|
/// </summary>
|
||||||
|
public void ResetDownloadArchive(string youtubeFolder)
|
||||||
|
{
|
||||||
|
try
|
||||||
|
{
|
||||||
|
if (string.IsNullOrWhiteSpace(youtubeFolder)) return;
|
||||||
|
var archivePath = Path.Combine(youtubeFolder, "archive.txt");
|
||||||
|
if (File.Exists(archivePath))
|
||||||
|
{
|
||||||
|
var backupPath = Path.Combine(youtubeFolder, $"archive_{DateTime.Now:yyyyMMddHHmmss}.bak");
|
||||||
|
File.Move(archivePath, backupPath, overwrite: true);
|
||||||
|
LogManager.AddLog($"[起動時初期化] 初回全曲ダウンロードのため、ダウンロード履歴 (archive.txt) を退避・リセットしました: {Path.GetFileName(backupPath)}");
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[起動時初期化] ダウンロード履歴 (archive.txt) は存在しません。新規に全曲取得を開始します。");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
LogManager.AddWarning($"[起動時初期化] archive.txt のリセット中に例外: {ex.Message}");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// プレイリスト全体のダウンロードおよびメタデータ・歌詞付与・プレイリスト生成を実行する
|
/// プレイリスト全体のダウンロードおよびメタデータ・歌詞付与・プレイリスト生成を実行する
|
||||||
/// 全ての曲は共通フォルダ「Youtube」に集約され、重複動画は再利用されます。
|
/// 全ての曲は共通フォルダ「Youtube」に集約され、重複動画は再利用されます。
|
||||||
/// </summary>
|
/// </summary>
|
||||||
public async Task ProcessPlaylistAsync(string playlistUrl, string outputBaseDir)
|
/// <param name="playlistUrl">対象プレイリストURL</param>
|
||||||
|
/// <param name="outputBaseDir">出力ベースディレクトリ</param>
|
||||||
|
/// <param name="isIncremental">差分ダウンロードを行うかどうか (falseの場合は起動直後として全曲をダウンロード・最新化)</param>
|
||||||
|
public async Task ProcessPlaylistAsync(string playlistUrl, string outputBaseDir, bool isIncremental = true)
|
||||||
{
|
{
|
||||||
var playlistInfo = await GetPlaylistInfoAsync(playlistUrl);
|
var playlistInfo = await GetPlaylistInfoAsync(playlistUrl);
|
||||||
var rawTitle = playlistInfo?.Title ?? "YouTube_Playlist";
|
var rawTitle = playlistInfo?.Title ?? "YouTube_Playlist";
|
||||||
@@ -195,6 +225,7 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
|
|
||||||
LogManager.AddLog($"保存先ディレクトリ: {youtubeFolder}");
|
LogManager.AddLog($"保存先ディレクトリ: {youtubeFolder}");
|
||||||
LogManager.AddLog($"ローカル作業ディレクトリ: {stagingDir}");
|
LogManager.AddLog($"ローカル作業ディレクトリ: {stagingDir}");
|
||||||
|
LogManager.AddLog($"実行モード: {(isIncremental ? "差分ダウンロード (既存曲スキップ)" : "全曲ダウンロード (最新化・タグ再適用)")}");
|
||||||
|
|
||||||
// ③ 重複排除用マップ(downloaded_tracks.json)の読み込み
|
// ③ 重複排除用マップ(downloaded_tracks.json)の読み込み
|
||||||
var downloadedTracks = await LoadDownloadedTracksAsync(youtubeFolder);
|
var downloadedTracks = await LoadDownloadedTracksAsync(youtubeFolder);
|
||||||
@@ -266,11 +297,13 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
LogManager.AddLog($"[{videoIndex}/{totalCount}] 処理開始: {entry.Title ?? videoId}");
|
LogManager.AddLog($"[{videoIndex}/{totalCount}] 処理開始: {entry.Title ?? videoId}");
|
||||||
|
|
||||||
// ③ 別々のプレイリストでも同じ動画が参照されている場合は重複を防止(既存ファイルの再利用)
|
// ③ 別々のプレイリストでも同じ動画が参照されている場合は重複を防止(既存ファイルの再利用)
|
||||||
if (!string.IsNullOrEmpty(videoId) &&
|
// ※ 初回起動時 (isIncremental == false) はスキップせず、全曲をダウンロード・最新化する
|
||||||
|
if (isIncremental &&
|
||||||
|
!string.IsNullOrEmpty(videoId) &&
|
||||||
downloadedTracks.TryGetValue(videoId, out var existingTrack) &&
|
downloadedTracks.TryGetValue(videoId, out var existingTrack) &&
|
||||||
File.Exists(Path.Combine(youtubeFolder, existingTrack.FileName)))
|
File.Exists(Path.Combine(youtubeFolder, existingTrack.FileName)))
|
||||||
{
|
{
|
||||||
LogManager.AddSuccess($"[重複検出・スキップ] 既に保存済みの曲を再利用します: {existingTrack.FileName}");
|
LogManager.AddSuccess($"[重複検出・差分スキップ] 既に保存済みの曲を再利用します: {existingTrack.FileName}");
|
||||||
currentPlaylistTracks.Add(existingTrack);
|
currentPlaylistTracks.Add(existingTrack);
|
||||||
continue;
|
continue;
|
||||||
}
|
}
|
||||||
@@ -359,7 +392,7 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
// 【要件④】ダウンロードした結果のバイナリ重複チェック(ファイルSHA-256および音声ストリームハッシュ)
|
// 【要件④】ダウンロードした結果のバイナリ重複チェック(ファイルSHA-256および音声ストリームハッシュ)
|
||||||
var currentFileHash = await ComputeFileHashAsync(targetOpus);
|
var currentFileHash = await ComputeFileHashAsync(targetOpus);
|
||||||
var currentAudioHash = await ComputeAudioHashAsync(targetOpus);
|
var currentAudioHash = await ComputeAudioHashAsync(targetOpus);
|
||||||
var duplicateTrack = await FindDuplicateBinaryTrackAsync(currentFileHash, currentAudioHash, youtubeFolder, downloadedTracks);
|
var duplicateTrack = await FindDuplicateBinaryTrackAsync(currentFileHash, currentAudioHash, youtubeFolder, downloadedTracks, videoId);
|
||||||
if (duplicateTrack != null)
|
if (duplicateTrack != null)
|
||||||
{
|
{
|
||||||
LogManager.AddSuccess($"[バイナリ重複検出] 既存ファイル「{duplicateTrack.FileName}」とバイナリレベルで完全に同一の動画です。新規保存をスキップし、既存ファイルを再利用します。");
|
LogManager.AddSuccess($"[バイナリ重複検出] 既存ファイル「{duplicateTrack.FileName}」とバイナリレベルで完全に同一の動画です。新規保存をスキップし、既存ファイルを再利用します。");
|
||||||
@@ -369,53 +402,71 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
|
|
||||||
// -------------------------------------------------------------
|
// -------------------------------------------------------------
|
||||||
// メタデータ(曲名・アーティスト・アルバム・アルバムアーティスト)の決定
|
// メタデータ(曲名・アーティスト・アルバム・アルバムアーティスト)の決定
|
||||||
|
// 【要件】YouTubeからアーティスト・アルバムなどの情報が取得できる場合はそれを最優先
|
||||||
// -------------------------------------------------------------
|
// -------------------------------------------------------------
|
||||||
var baseTitle = !string.IsNullOrWhiteSpace(entryInfo?.Title) ? entryInfo.Title : fileNameWithoutExt;
|
var baseTitle = !string.IsNullOrWhiteSpace(entryInfo?.Title) ? entryInfo.Title : fileNameWithoutExt;
|
||||||
var uploader = !string.IsNullOrWhiteSpace(entryInfo?.Channel) ? entryInfo.Channel : (entryInfo?.Uploader ?? "");
|
var uploader = !string.IsNullOrWhiteSpace(entryInfo?.Channel) ? entryInfo.Channel : (entryInfo?.Uploader ?? "");
|
||||||
|
|
||||||
// 1. タイトル文字列の初期パース
|
// 1. タイトル文字列の初期パース
|
||||||
var (initialArtist, initialTitle) = CmnUtil.ParseArtistAndTitle(baseTitle, uploader);
|
var (parsedArtist, parsedTitle) = CmnUtil.ParseArtistAndTitle(baseTitle, uploader);
|
||||||
|
|
||||||
// 2. yt-dlp の公式トラック/アーティストメタデータが存在すれば優先
|
// 2. YouTube公式メタデータの取得有無を確認
|
||||||
if (!string.IsNullOrWhiteSpace(entryInfo?.Track))
|
bool hasYoutubeTrack = !string.IsNullOrWhiteSpace(entryInfo?.Track);
|
||||||
{
|
bool hasYoutubeArtist = !string.IsNullOrWhiteSpace(entryInfo?.Artist);
|
||||||
initialTitle = entryInfo.Track;
|
bool hasYoutubeAlbum = !string.IsNullOrWhiteSpace(entryInfo?.Album);
|
||||||
}
|
uint? youtubeYear = entryInfo?.GetYear();
|
||||||
if (!string.IsNullOrWhiteSpace(entryInfo?.Artist))
|
|
||||||
{
|
|
||||||
initialArtist = entryInfo.Artist;
|
|
||||||
}
|
|
||||||
|
|
||||||
LogManager.AddLog($"解析候補: [アーティスト: {initialArtist}] [曲名: {initialTitle}]");
|
string finalTitle = hasYoutubeTrack ? entryInfo!.Track!.Trim() : parsedTitle;
|
||||||
|
string finalArtist = hasYoutubeArtist ? entryInfo!.Artist!.Trim() : parsedArtist;
|
||||||
// 3. 外部楽曲検索API (iTunes / LRCLIB) を呼び出して正確な公式メタデータを解決
|
string finalAlbum = hasYoutubeAlbum ? entryInfo!.Album!.Trim() : playlistName;
|
||||||
string finalTitle = initialTitle;
|
string finalAlbumArtist = finalArtist;
|
||||||
string finalArtist = initialArtist;
|
uint? finalYear = youtubeYear;
|
||||||
string finalAlbum = !string.IsNullOrWhiteSpace(entryInfo?.Album) ? entryInfo.Album : playlistName;
|
|
||||||
string finalAlbumArtist = initialArtist; // 既定は楽曲のアーティスト
|
|
||||||
uint? finalYear = entryInfo?.GetYear();
|
|
||||||
string? downloadArtworkPath = null;
|
string? downloadArtworkPath = null;
|
||||||
|
|
||||||
|
if (hasYoutubeTrack || hasYoutubeArtist || hasYoutubeAlbum)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[YouTube公式メタデータ優先] " +
|
||||||
|
$"[曲名: {(hasYoutubeTrack ? finalTitle : "(タイトルパース)")}] " +
|
||||||
|
$"[アーティスト: {(hasYoutubeArtist ? finalArtist : "(タイトルパース)")}] " +
|
||||||
|
$"[アルバム: {(hasYoutubeAlbum ? finalAlbum : "(プレイリスト名)")}]");
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"解析候補: [アーティスト: {finalArtist}] [曲名: {finalTitle}]");
|
||||||
|
}
|
||||||
|
|
||||||
|
// 3. 外部楽曲検索API (iTunes / LRCLIB) を呼び出して未取得項目の補完や高画質カバーアートを取得
|
||||||
var resolvedMeta = await _metadataClient.ResolveMetadataAsync(
|
var resolvedMeta = await _metadataClient.ResolveMetadataAsync(
|
||||||
rawVideoTitle: baseTitle,
|
rawVideoTitle: baseTitle,
|
||||||
uploader: uploader,
|
uploader: uploader,
|
||||||
parsedArtist: initialArtist,
|
parsedArtist: finalArtist,
|
||||||
parsedTitle: initialTitle,
|
parsedTitle: finalTitle,
|
||||||
durationSeconds: entryInfo?.Duration);
|
durationSeconds: entryInfo?.Duration);
|
||||||
|
|
||||||
if (resolvedMeta != null)
|
if (resolvedMeta != null)
|
||||||
{
|
{
|
||||||
finalTitle = resolvedMeta.Title;
|
// YouTube側で取得できなかった項目のみ、外部メタデータで補完
|
||||||
finalArtist = resolvedMeta.Artist;
|
if (!hasYoutubeTrack && !string.IsNullOrWhiteSpace(resolvedMeta.Title))
|
||||||
if (!string.IsNullOrWhiteSpace(resolvedMeta.Album))
|
{
|
||||||
|
finalTitle = resolvedMeta.Title;
|
||||||
|
}
|
||||||
|
if (!hasYoutubeArtist && !string.IsNullOrWhiteSpace(resolvedMeta.Artist))
|
||||||
|
{
|
||||||
|
finalArtist = resolvedMeta.Artist;
|
||||||
|
if (!hasYoutubeArtist)
|
||||||
|
{
|
||||||
|
finalAlbumArtist = resolvedMeta.Artist;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (!hasYoutubeAlbum && !string.IsNullOrWhiteSpace(resolvedMeta.Album))
|
||||||
{
|
{
|
||||||
finalAlbum = resolvedMeta.Album;
|
finalAlbum = resolvedMeta.Album;
|
||||||
}
|
}
|
||||||
if (!string.IsNullOrWhiteSpace(resolvedMeta.AlbumArtist))
|
if (!hasYoutubeArtist && !string.IsNullOrWhiteSpace(resolvedMeta.AlbumArtist))
|
||||||
{
|
{
|
||||||
finalAlbumArtist = resolvedMeta.AlbumArtist;
|
finalAlbumArtist = resolvedMeta.AlbumArtist;
|
||||||
}
|
}
|
||||||
if (resolvedMeta.Year.HasValue && resolvedMeta.Year.Value > 0)
|
if (!finalYear.HasValue && resolvedMeta.Year.HasValue && resolvedMeta.Year.Value > 0)
|
||||||
{
|
{
|
||||||
finalYear = resolvedMeta.Year.Value;
|
finalYear = resolvedMeta.Year.Value;
|
||||||
}
|
}
|
||||||
@@ -867,18 +918,26 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// 【要件④】バイナリレベル(ファイルハッシュまたは音声ストリームハッシュ)で同一の既存ファイルを検索
|
/// 【要件④】バイナリレベル(ファイルハッシュまたは音声ストリームハッシュ)で同一の既存ファイルを検索
|
||||||
|
/// ※ 同一動画IDの再ダウンロード・更新時は除外して別動画との重複のみを判定
|
||||||
/// </summary>
|
/// </summary>
|
||||||
private async Task<DownloadedTrackInfo?> FindDuplicateBinaryTrackAsync(
|
private async Task<DownloadedTrackInfo?> FindDuplicateBinaryTrackAsync(
|
||||||
string fileHash,
|
string fileHash,
|
||||||
string audioHash,
|
string audioHash,
|
||||||
string youtubeFolder,
|
string youtubeFolder,
|
||||||
Dictionary<string, DownloadedTrackInfo> downloadedTracks)
|
Dictionary<string, DownloadedTrackInfo> downloadedTracks,
|
||||||
|
string currentVideoId)
|
||||||
{
|
{
|
||||||
// 1. downloadedTracks から FileHash の完全一致を検索
|
// 1. downloadedTracks から FileHash の完全一致を検索
|
||||||
if (!string.IsNullOrEmpty(fileHash))
|
if (!string.IsNullOrEmpty(fileHash))
|
||||||
{
|
{
|
||||||
foreach (var track in downloadedTracks.Values)
|
foreach (var track in downloadedTracks.Values)
|
||||||
{
|
{
|
||||||
|
// 同一動画IDの場合は自分自身の再ダウンロードのため重複扱いしない(最新のタグやファイル名で上書き更新を許可)
|
||||||
|
if (!string.IsNullOrEmpty(currentVideoId) && string.Equals(track.VideoId, currentVideoId, StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
if (string.Equals(track.FileHash, fileHash, StringComparison.OrdinalIgnoreCase))
|
if (string.Equals(track.FileHash, fileHash, StringComparison.OrdinalIgnoreCase))
|
||||||
{
|
{
|
||||||
var fullPath = Path.Combine(youtubeFolder, track.FileName);
|
var fullPath = Path.Combine(youtubeFolder, track.FileName);
|
||||||
@@ -892,6 +951,12 @@ namespace MusicDownloader.Class.Downloader
|
|||||||
{
|
{
|
||||||
foreach (var track in downloadedTracks.Values)
|
foreach (var track in downloadedTracks.Values)
|
||||||
{
|
{
|
||||||
|
// 同一動画IDの場合は自分自身の再ダウンロードのため重複扱いしない
|
||||||
|
if (!string.IsNullOrEmpty(currentVideoId) && string.Equals(track.VideoId, currentVideoId, StringComparison.OrdinalIgnoreCase))
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
var fullPath = Path.Combine(youtubeFolder, track.FileName);
|
var fullPath = Path.Combine(youtubeFolder, track.FileName);
|
||||||
if (File.Exists(fullPath))
|
if (File.Exists(fullPath))
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -169,15 +169,25 @@ List<string> ResolveTargetPlaylists(string baseDir)
|
|||||||
// ダウンロード処理ループ(①曲の取得 ➔ ②2時間待機 ➔ ③①へ戻る)
|
// ダウンロード処理ループ(①曲の取得 ➔ ②2時間待機 ➔ ③①へ戻る)
|
||||||
// =========================================================================
|
// =========================================================================
|
||||||
int loopCount = 0;
|
int loopCount = 0;
|
||||||
|
bool isFirstRun = true;
|
||||||
|
|
||||||
while (true)
|
while (true)
|
||||||
{
|
{
|
||||||
loopCount++;
|
loopCount++;
|
||||||
|
bool isIncremental = !isFirstRun;
|
||||||
var targetPlaylists = ResolveTargetPlaylists(outputDir);
|
var targetPlaylists = ResolveTargetPlaylists(outputDir);
|
||||||
LogManager.AddLog($"================================================================================");
|
LogManager.AddLog($"================================================================================");
|
||||||
LogManager.AddLog($"[第 {loopCount} 回実行] 対象プレイリスト総数: {targetPlaylists.Count} 件のチェックを開始します");
|
LogManager.AddLog($"[第 {loopCount} 回実行] 対象プレイリスト総数: {targetPlaylists.Count} 件のチェックを開始します (モード: {(isIncremental ? "差分ダウンロード" : "全曲ダウンロード")})");
|
||||||
LogManager.AddLog($"================================================================================");
|
LogManager.AddLog($"================================================================================");
|
||||||
|
|
||||||
|
// 初回起動時(コンテナ再起動含む)はダウンロード完了状態(archive.txt)をリセットして全曲ダウンロード
|
||||||
|
if (isFirstRun)
|
||||||
|
{
|
||||||
|
LogManager.AddLog($"[起動時初期化] 起動・再起動時のため、ダウンロード完了履歴 (archive.txt) をリセットして全曲ダウンロードを行います。");
|
||||||
|
var youtubeFolder = Path.Combine(outputDir, CmnDefine.YoutubeFolderName);
|
||||||
|
downloader.ResetDownloadArchive(youtubeFolder);
|
||||||
|
}
|
||||||
|
|
||||||
for (int p = 0; p < targetPlaylists.Count; p++)
|
for (int p = 0; p < targetPlaylists.Count; p++)
|
||||||
{
|
{
|
||||||
var playlistUrl = targetPlaylists[p];
|
var playlistUrl = targetPlaylists[p];
|
||||||
@@ -187,7 +197,7 @@ while (true)
|
|||||||
|
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
await downloader.ProcessPlaylistAsync(playlistUrl, outputDir);
|
await downloader.ProcessPlaylistAsync(playlistUrl, outputDir, isIncremental: isIncremental);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception ex)
|
||||||
{
|
{
|
||||||
@@ -199,6 +209,9 @@ while (true)
|
|||||||
GC.WaitForPendingFinalizers();
|
GC.WaitForPendingFinalizers();
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// 初回実行完了後は差分モードに移行
|
||||||
|
isFirstRun = false;
|
||||||
|
|
||||||
if (!isPeriodicCheck)
|
if (!isPeriodicCheck)
|
||||||
{
|
{
|
||||||
LogManager.AddLog($"全プレイリストのダウンロード処理が完了しました。プログラムを終了します。");
|
LogManager.AddLog($"全プレイリストのダウンロード処理が完了しました。プログラムを終了します。");
|
||||||
|
|||||||
Reference in new issue
Block a user