2026-08-18
時点のソース
This commit is contained in:
commit
900f643da0
21 files changed
+2231
No files matched your search
@@ -0,0 +1,7 @@
|
||||
[*.cs]
|
||||
|
||||
# IDE1006: 命名スタイル
|
||||
dotnet_diagnostic.IDE1006.severity = none
|
||||
|
||||
# CS8981: 型名には、小文字の ASCII 文字のみが含まれています。このような名前は、プログラミング言語用に予約されている可能性があります。
|
||||
dotnet_diagnostic.CS8981.severity = none
|
||||
@@ -0,0 +1,7 @@
|
||||
################################################################################
|
||||
# この .gitignore ファイルは Microsoft(R) Visual Studio によって自動的に作成されました。
|
||||
################################################################################
|
||||
|
||||
/.vs
|
||||
/rss-generator/bin
|
||||
/rss-generator/obj
|
||||
@@ -0,0 +1,30 @@
|
||||
|
||||
Microsoft Visual Studio Solution File, Format Version 12.00
|
||||
# Visual Studio Version 18
|
||||
VisualStudioVersion = 18.7.11925.98 stable
|
||||
MinimumVisualStudioVersion = 10.0.40219.1
|
||||
Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "rss-generator", "rss-generator\rss-generator.csproj", "{6F617B69-AC7A-4413-873A-590B3D274842}"
|
||||
EndProject
|
||||
Project("{2150E333-8FDC-42A3-9474-1A3956D46DE8}") = "Solution Items", "Solution Items", "{291B6CE0-3738-4248-AAE7-82A0606D5DE6}"
|
||||
ProjectSection(SolutionItems) = preProject
|
||||
.editorconfig = .editorconfig
|
||||
EndProjectSection
|
||||
EndProject
|
||||
Global
|
||||
GlobalSection(SolutionConfigurationPlatforms) = preSolution
|
||||
Debug|Any CPU = Debug|Any CPU
|
||||
Release|Any CPU = Release|Any CPU
|
||||
EndGlobalSection
|
||||
GlobalSection(ProjectConfigurationPlatforms) = postSolution
|
||||
{6F617B69-AC7A-4413-873A-590B3D274842}.Debug|Any CPU.ActiveCfg = Debug|Any CPU
|
||||
{6F617B69-AC7A-4413-873A-590B3D274842}.Debug|Any CPU.Build.0 = Debug|Any CPU
|
||||
{6F617B69-AC7A-4413-873A-590B3D274842}.Release|Any CPU.ActiveCfg = Release|Any CPU
|
||||
{6F617B69-AC7A-4413-873A-590B3D274842}.Release|Any CPU.Build.0 = Release|Any CPU
|
||||
EndGlobalSection
|
||||
GlobalSection(SolutionProperties) = preSolution
|
||||
HideSolutionNode = FALSE
|
||||
EndGlobalSection
|
||||
GlobalSection(ExtensibilityGlobals) = postSolution
|
||||
SolutionGuid = {6E2A6FC2-F51E-41EE-8EFE-24996723C902}
|
||||
EndGlobalSection
|
||||
EndGlobal
|
||||
@@ -0,0 +1,90 @@
|
||||
using Dapper;
|
||||
using Npgsql;
|
||||
#if DEBUG
|
||||
using Renci.SshNet;
|
||||
#endif
|
||||
|
||||
namespace rss_generator.Class;
|
||||
|
||||
internal class CmnDB : IDisposable
|
||||
{
|
||||
private readonly string _connectionString;
|
||||
|
||||
#if DEBUG
|
||||
private SshClient _sshClient;
|
||||
private ForwardedPortLocal _forwardedPort;
|
||||
#endif
|
||||
|
||||
public CmnDB()
|
||||
{
|
||||
// データベースの接続情報
|
||||
string dbName = "freshrss";
|
||||
string dbUser = "armonica";
|
||||
string dbPass = "mashiro0403";
|
||||
|
||||
#if DEBUG
|
||||
// ==========================================
|
||||
// 【Debug環境】SSHトンネル(秘密鍵認証)を構築して接続
|
||||
// ==========================================
|
||||
|
||||
// SSH接続情報
|
||||
string sshHost = "162.43.79.113";
|
||||
string sshUser = "armonica";
|
||||
string keyFilePath = @"C:\Users\uduki\Documents\_MEGA同期\VPS認証キー\シンVPS\armonica.pem";
|
||||
|
||||
// トンネリングの設定
|
||||
string dbHostInVps = "127.0.0.1";
|
||||
uint dbPortInVps = 5432;
|
||||
uint localPort = 15432;
|
||||
|
||||
// 秘密鍵ファイルを用いた認証メソッドを作成
|
||||
var keyFile = new PrivateKeyFile(keyFilePath);
|
||||
var authMethod = new PrivateKeyAuthenticationMethod(sshUser, keyFile);
|
||||
var connectionInfo = new ConnectionInfo(sshHost, sshUser, authMethod);
|
||||
|
||||
_sshClient = new SshClient(connectionInfo);
|
||||
_sshClient.Connect();
|
||||
|
||||
_forwardedPort = new ForwardedPortLocal("127.0.0.1", localPort, dbHostInVps, dbPortInVps);
|
||||
_sshClient.AddForwardedPort(_forwardedPort);
|
||||
_forwardedPort.Start();
|
||||
|
||||
// ローカルに構築したSSHトンネルのポートへ繋ぐ
|
||||
_connectionString = $"Host=127.0.0.1;Port={localPort};Database={dbName};Username={dbUser};Password={dbPass}";
|
||||
#else
|
||||
// ==========================================
|
||||
// 【Release環境】VPS内部のネットワークで直接接続
|
||||
// ==========================================
|
||||
// VPS上からDockerコンテナ(postgres-common)へ繋ぐため、127.0.0.1の5432ポートを指定
|
||||
_connectionString = $"Host=postgres;Port=5432;Database={dbName};Username={dbUser};Password={dbPass}";
|
||||
#endif
|
||||
}
|
||||
|
||||
public async Task<IEnumerable<T>> QueryAsync<T>(string sql, object? parameters = null)
|
||||
{
|
||||
await using var connection = new NpgsqlConnection(_connectionString);
|
||||
return await connection.QueryAsync<T>(sql, parameters);
|
||||
}
|
||||
|
||||
public async Task<int> ExecuteAsync(string sql, object? parameters = null)
|
||||
{
|
||||
await using var connection = new NpgsqlConnection(_connectionString);
|
||||
return await connection.ExecuteAsync(sql, parameters);
|
||||
}
|
||||
|
||||
public void Dispose()
|
||||
{
|
||||
#if DEBUG
|
||||
if (_forwardedPort != null && _forwardedPort.IsStarted)
|
||||
{
|
||||
_forwardedPort.Stop();
|
||||
_forwardedPort.Dispose();
|
||||
}
|
||||
if (_sshClient != null && _sshClient.IsConnected)
|
||||
{
|
||||
_sshClient.Disconnect();
|
||||
_sshClient.Dispose();
|
||||
}
|
||||
#endif
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,90 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Text;
|
||||
|
||||
namespace rss_generator.Class;
|
||||
|
||||
internal class CmnDefine
|
||||
{
|
||||
public class ArmonicaFeed
|
||||
{
|
||||
public int Id { get; set; }
|
||||
|
||||
public string Url { get; set; } = string.Empty;
|
||||
|
||||
// smallintはC#のshort(Int16)に対応
|
||||
public short Kind { get; set; }
|
||||
|
||||
public int Category { get; set; }
|
||||
|
||||
public string Name { get; set; } = string.Empty;
|
||||
|
||||
// NULL許容型(Nullable)
|
||||
public string? Website { get; set; }
|
||||
|
||||
public string? Description { get; set; }
|
||||
|
||||
// bigintはC#のlong(Int64)に対応
|
||||
// SQL側がダブルクォーテーションで囲まれているため、
|
||||
// Dapperの自動マッピングを効かせるためにプロパティ名も大文字小文字を合わせます
|
||||
public long LastUpdate { get; set; }
|
||||
|
||||
public short Priority { get; set; }
|
||||
|
||||
public string? PathEntries { get; set; }
|
||||
|
||||
public string? HttpAuth { get; set; }
|
||||
|
||||
public short Error { get; set; }
|
||||
|
||||
public int Ttl { get; set; }
|
||||
|
||||
public string? Attributes { get; set; }
|
||||
|
||||
public int CacheNbEntries { get; set; }
|
||||
|
||||
public int CacheNbUnreads { get; set; }
|
||||
}
|
||||
|
||||
public class ArmonicaEntry
|
||||
{
|
||||
// bigintはC#のlong(Int64)に対応
|
||||
public long Id { get; set; }
|
||||
|
||||
// not nullカラムは string.Empty で初期化
|
||||
public string Guid { get; set; } = string.Empty;
|
||||
|
||||
public string Title { get; set; } = string.Empty;
|
||||
|
||||
// NULL許容カラムは string? (Nullable)
|
||||
public string? Author { get; set; }
|
||||
|
||||
public string? Content { get; set; }
|
||||
|
||||
public string LinK { get; set; } = string.Empty;
|
||||
|
||||
// NULL許容のbigintは long? に対応
|
||||
public long? Date { get; set; }
|
||||
|
||||
public long LastSeen { get; set; }
|
||||
|
||||
public long LastUserModified { get; set; }
|
||||
|
||||
// bytea(バイナリデータ)は byte[] にマッピングされます
|
||||
public byte[]? Hash { get; set; }
|
||||
|
||||
// smallintは short(Int16) に対応
|
||||
public short IsRead { get; set; }
|
||||
|
||||
public short IsFavorite { get; set; }
|
||||
|
||||
// NULL許容のintegerは int? に対応
|
||||
public int? IdFeed { get; set; }
|
||||
|
||||
public string? Tags { get; set; }
|
||||
|
||||
public string? Attributes { get; set; }
|
||||
|
||||
public long? LastModified { get; set; }
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,469 @@
|
||||
using AngleSharp;
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Parser;
|
||||
using PuppeteerSharp;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Diagnostics;
|
||||
using System.Net;
|
||||
using System.Security.Cryptography;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Xml;
|
||||
|
||||
namespace rss_generator.Class;
|
||||
|
||||
internal class CmnUtil
|
||||
{
|
||||
/// <summary>
|
||||
/// XMLファイルの出力先パスを取得
|
||||
/// </summary>
|
||||
/// <param name="fileName"></param>
|
||||
/// <returns></returns>
|
||||
public static string GetExportXmlPath(string fileName = "", string addDir = "")
|
||||
{
|
||||
string outputDir = Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "output", addDir);
|
||||
// 出力先フォルダがなければ自動作成する(ローカル・VPS両方の対策)
|
||||
if (!Directory.Exists(outputDir))
|
||||
{
|
||||
Directory.CreateDirectory(outputDir);
|
||||
}
|
||||
// 出力するファイル名を決定
|
||||
string filePath = fileName != "" ? Path.Combine(outputDir, fileName) : outputDir;
|
||||
|
||||
return filePath;
|
||||
}
|
||||
|
||||
public static void AddLog(string? message)
|
||||
{
|
||||
var filrDir = Path.Combine(GetExportXmlPath(""), "Log");
|
||||
if (Directory.Exists(filrDir) == false)
|
||||
{
|
||||
Directory.CreateDirectory(filrDir);
|
||||
}
|
||||
var fileName = $"{DateTime.Now:yyyy-MM-dd}.log";
|
||||
var filePath = Path.Combine(filrDir, fileName);
|
||||
using var sw = File.AppendText(filePath);
|
||||
sw.WriteLine(message);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// ファイル出力
|
||||
/// </summary>
|
||||
/// <param name="fileName"></param>
|
||||
/// <param name="contents"></param>
|
||||
public static void ExportFile(string fileName, string? contents)
|
||||
{
|
||||
var filePath = GetExportXmlPath(fileName);
|
||||
// ファイル書き出し
|
||||
File.WriteAllText(filePath, contents);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Feedをファイルとして出力
|
||||
/// </summary>
|
||||
/// <param name="fileName"></param>
|
||||
/// <param name="feed"></param>
|
||||
public static void ExportXMLFile(string fileName, SyndicationFeed feed, string addDir = "")
|
||||
{
|
||||
var filePath = GetExportXmlPath(fileName, addDir);
|
||||
// 文字コードをUTF-8に指定
|
||||
var settings = new XmlWriterSettings
|
||||
{
|
||||
Encoding = new UTF8Encoding(false), // BOMなしUTF-8
|
||||
Indent = true
|
||||
};
|
||||
|
||||
using var xmlWriter = XmlWriter.Create(filePath, settings);
|
||||
|
||||
// RSS 2.0 形式でファイルに直接出力
|
||||
var formatter = new Rss20FeedFormatter(feed);
|
||||
formatter.WriteTo(xmlWriter);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 指定したURLのストリームを安全に取得します。404などのエラー時はnullを返します。
|
||||
/// </summary>
|
||||
public static async Task<Stream?> GetStreamSafeAsync(HttpClient client, string url)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(url)) return null;
|
||||
|
||||
try
|
||||
{
|
||||
// HttpRequestMessageを作成
|
||||
var request = new HttpRequestMessage(HttpMethod.Get, url);
|
||||
|
||||
// ResponseHeadersRead を指定することで、ヘッダーを読み込んだ直後に制御が戻る(一瞬で判定できる)
|
||||
var response = await client.SendAsync(request, HttpCompletionOption.ResponseHeadersRead);
|
||||
|
||||
// 404 や 500 などのエラーではないか(成功ステータス 200~299 か)チェック
|
||||
if (!response.IsSuccessStatusCode)
|
||||
{
|
||||
// 404の場合などのログをここに書くことも可能
|
||||
//AddLog($"[HTTP Error] Status Code: {response.StatusCode} for {url}");
|
||||
return null;
|
||||
}
|
||||
|
||||
// 成功していれば、ストリームを読み込んで返す
|
||||
return await response.Content.ReadAsStreamAsync();
|
||||
}
|
||||
catch (HttpRequestException ex)
|
||||
{
|
||||
// ネットワーク不通やタイムアウトなどの例外処理
|
||||
AddLog($"[Network Error] {ex.Message}");
|
||||
return null;
|
||||
}
|
||||
catch (Exception)
|
||||
{
|
||||
return null;
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// IDocumentの取得
|
||||
/// </summary>
|
||||
/// <param name="pageURL"></param>
|
||||
/// <returns></returns>
|
||||
public static async Task<IDocument> GetDocument(HttpClient client, string pageURL)
|
||||
{
|
||||
Console.WriteLine($"{pageURL}");
|
||||
|
||||
// 非同期でHTML文字列を丸ごとダウンロード
|
||||
string htmlContent = await client.GetStringAsync(pageURL);
|
||||
if (htmlContent.Contains("<") || htmlContent.Contains(">"))
|
||||
{
|
||||
htmlContent = WebUtility.HtmlDecode(htmlContent);
|
||||
}
|
||||
|
||||
var parser = new HtmlParser();
|
||||
IDocument document = await parser.ParseDocumentAsync(htmlContent);
|
||||
return document;
|
||||
|
||||
// // ダウンロードしたHTMLを AngleSharp に流し込んで解析する
|
||||
// // 通信はHttpClient側で終わっているため、AngleSharp側は「通信機能なし」の最速設定でOK
|
||||
// var config = Configuration.Default;
|
||||
// var context = BrowsingContext.New(config);
|
||||
//
|
||||
// // 文字列のHTMLをAngleSharpにパースさせます(URLを紐付けることで、相対パスを自動解決できます)
|
||||
// return await context.OpenAsync(req => req.Content(htmlContent).Address(pageURL));
|
||||
|
||||
|
||||
// Console.WriteLine($"{pageURL}");
|
||||
//
|
||||
// // 1. AngleSharpの設定(Webからデータをダウンロードするローダーを有効にする)
|
||||
// var config = Configuration.Default.WithDefaultLoader();
|
||||
// var context = BrowsingContext.New(config);
|
||||
//
|
||||
// // 2. URLを指定して直接 IDocument を取得(内部で自動的にRequesterが動きます)
|
||||
// IDocument document = await context.OpenAsync(pageURL);
|
||||
//
|
||||
// return document;
|
||||
}
|
||||
|
||||
public static async Task<IEnumerable<SyndicationItem>> GetFeedItems(HttpClient client, string url)
|
||||
{
|
||||
try
|
||||
{
|
||||
using var stream = await client.GetStreamAsync(url);
|
||||
using var reader = XmlReader.Create(stream);
|
||||
var feed = SyndicationFeed.Load(reader);
|
||||
|
||||
return feed?.Items ?? Enumerable.Empty<SyndicationItem>();
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
AddLog($"[エラー] {url} の取得に失敗: {ex.Message}");
|
||||
return Enumerable.Empty<SyndicationItem>();
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// IDocumentの取得
|
||||
/// </summary>
|
||||
/// <param name="pageURL"></param>
|
||||
/// <returns></returns>
|
||||
public static async Task<IDocument> GetDocumentRunJS(HttpClient client, string pageURL)
|
||||
{
|
||||
#if DEBUG
|
||||
Console.WriteLine($"{pageURL}");
|
||||
#endif
|
||||
string wsEndpoint = "ws://browserless:3000";
|
||||
|
||||
// 1. Browserless に WebSocket 接続
|
||||
var options = new ConnectOptions { BrowserWSEndpoint = wsEndpoint };
|
||||
using var browser = await Puppeteer.ConnectAsync(options);
|
||||
using var page = await browser.NewPageAsync();
|
||||
|
||||
// 2. リクエスト遮断(画像・CSS・フォントを無効化して高速化・省メモリ化)
|
||||
await page.SetRequestInterceptionAsync(true);
|
||||
page.Request += (sender, e) =>
|
||||
{
|
||||
var type = e.Request.ResourceType;
|
||||
if (type == ResourceType.Image ||
|
||||
type == ResourceType.StyleSheet ||
|
||||
type == ResourceType.Font ||
|
||||
type == ResourceType.Media)
|
||||
{
|
||||
e.Request.AbortAsync();
|
||||
}
|
||||
else
|
||||
{
|
||||
e.Request.ContinueAsync();
|
||||
}
|
||||
};
|
||||
|
||||
// 3. 対象ページへ移動
|
||||
string targetUrl = "https://example.com/article/123";
|
||||
await page.GoToAsync(targetUrl, new NavigationOptions
|
||||
{
|
||||
WaitUntil = new[] { WaitUntilNavigation.DOMContentLoaded }
|
||||
});
|
||||
|
||||
// 4. <article> タグの出現を待機して取得
|
||||
try
|
||||
{
|
||||
await page.WaitForSelectorAsync("article", new WaitForSelectorOptions { Timeout = 5000 });
|
||||
}
|
||||
catch (WaitTaskTimeoutException) { /* タイムアウト処理 */ }
|
||||
|
||||
string rawArticleHtml = await page.EvaluateExpressionAsync<string>(
|
||||
"document.querySelector('article') ? document.querySelector('article').outerHTML : ''"
|
||||
);
|
||||
|
||||
var parser = new HtmlParser();
|
||||
var document = parser.ParseDocument(rawArticleHtml);
|
||||
|
||||
return document;
|
||||
}
|
||||
|
||||
public static string GetLastPathPart(string urlStr)
|
||||
{
|
||||
if (Uri.TryCreate(urlStr, UriKind.Absolute, out Uri? uri))
|
||||
{
|
||||
// uri.AbsolutePath は "/path/to/page.html" を返す
|
||||
string absolutePath = uri!.AbsolutePath;
|
||||
|
||||
// 末尾のスラッシュを除去した上で、スラッシュで分割して最後の要素を取得
|
||||
string lastPart = absolutePath.TrimEnd('/').Split('/').LastOrDefault()!;
|
||||
return lastPart ?? string.Empty;
|
||||
}
|
||||
return string.Empty;
|
||||
}
|
||||
|
||||
public static string GetHtmlWithoutJavaScript(IElement originalElement)
|
||||
{
|
||||
if (originalElement == null) return string.Empty;
|
||||
|
||||
// 元のDOMツリーに影響を与えないよう、要素をディープコピー(複製)します
|
||||
var element = (IElement)originalElement.Clone(true);
|
||||
|
||||
// クラス名の削除
|
||||
foreach (var el in element.QuerySelectorAll("[class]"))
|
||||
{
|
||||
el.RemoveAttribute("class");
|
||||
}
|
||||
|
||||
// 1. <script> タグの削除
|
||||
var scriptTags = element.QuerySelectorAll("script").ToList();
|
||||
foreach (var script in scriptTags)
|
||||
{
|
||||
script.Remove();
|
||||
}
|
||||
|
||||
// 2. href="javascript:..." リンクの無効化(オプション)
|
||||
var jsLinks = element.QuerySelectorAll("a[href^='javascript:' i]").ToList();
|
||||
foreach (var link in jsLinks)
|
||||
{
|
||||
// リンクを無効化するか、href属性自体を削除します
|
||||
link.SetAttribute("href", "#");
|
||||
// link.RemoveAttribute("href");
|
||||
}
|
||||
|
||||
// 3. インラインイベントハンドラ(onclick, onload など)の削除(オプション)
|
||||
// ルート要素自身と、その配下の全要素を対象にします
|
||||
var allElements = new[] { element }.Concat(element.QuerySelectorAll("*"));
|
||||
foreach (var el in allElements)
|
||||
{
|
||||
// "on" で始まる属性名をリストアップ
|
||||
var onAttributes = el.Attributes
|
||||
.Where(attr => attr.Name.StartsWith("on", System.StringComparison.OrdinalIgnoreCase))
|
||||
.Select(attr => attr.Name)
|
||||
.ToList();
|
||||
|
||||
// 抽出した属性を削除
|
||||
foreach (var attrName in onAttributes)
|
||||
{
|
||||
el.RemoveAttribute(attrName);
|
||||
}
|
||||
}
|
||||
|
||||
// 結果を文字列として返す
|
||||
// 要素自身のタグ(<div>...</div>など)を含める場合は OuterHtml
|
||||
// 要素の中身のHTMLだけが必要な場合は InnerHtml を使用してください
|
||||
var fromHtml = element.OuterHtml;
|
||||
var toHtml = Regex.Replace(fromHtml, @"\s+", " ");
|
||||
|
||||
return toHtml;
|
||||
}
|
||||
|
||||
public static DateTime? GetPublishedTimeAsJst(IDocument document)
|
||||
{
|
||||
// 1. CSSセレクタを使用して該当のmetaタグを特定
|
||||
var metaElement = document.QuerySelector("meta[property='article:published_time']");
|
||||
|
||||
if (metaElement == null)
|
||||
{
|
||||
return null; // 要素が見つからない場合
|
||||
}
|
||||
|
||||
// 2. content属性の値を取得
|
||||
string contentValue = metaElement.GetAttribute("content")!;
|
||||
if (string.IsNullOrEmpty(contentValue))
|
||||
{
|
||||
return null;
|
||||
}
|
||||
|
||||
// 3. DateTimeOffset型としてパース(時差情報を維持するため)
|
||||
if (DateTimeOffset.TryParse(contentValue, out DateTimeOffset parsedOffset))
|
||||
{
|
||||
// 4. 日本時間(UTC+9時間)のオフセットに変換
|
||||
DateTimeOffset jstOffset = parsedOffset.ToOffset(TimeSpan.FromHours(9));
|
||||
|
||||
// 5. DateTime型(KindはUnspecifiedまたはLocal扱い)として戻す
|
||||
return jstOffset.DateTime;
|
||||
}
|
||||
|
||||
return null; // パースに失敗した場合
|
||||
}
|
||||
public static DateTime? GetModifiedTimeAsJst(IDocument document)
|
||||
{
|
||||
// 1. CSSセレクタを使用して該当のmetaタグを特定
|
||||
var metaElement = document.QuerySelector("meta[property='article:modified_time']");
|
||||
|
||||
if (metaElement == null)
|
||||
{
|
||||
return null; // 要素が見つからない場合
|
||||
}
|
||||
|
||||
// 2. content属性の値を取得
|
||||
string contentValue = metaElement.GetAttribute("content")!;
|
||||
if (string.IsNullOrEmpty(contentValue))
|
||||
{
|
||||
return null;
|
||||
}
|
||||
|
||||
// 3. DateTimeOffset型としてパース(時差情報を維持するため)
|
||||
if (DateTimeOffset.TryParse(contentValue, out DateTimeOffset parsedOffset))
|
||||
{
|
||||
// 4. 日本時間(UTC+9時間)のオフセットに変換
|
||||
DateTimeOffset jstOffset = parsedOffset.ToOffset(TimeSpan.FromHours(9));
|
||||
|
||||
// 5. DateTime型(KindはUnspecifiedまたはLocal扱い)として戻す
|
||||
return jstOffset.DateTime;
|
||||
}
|
||||
|
||||
return null; // パースに失敗した場合
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 【推奨】URLからDB安全な16進数ハッシュ値(64文字)を生成します。
|
||||
/// 生成される文字は [0-9a-f] のみのため、DBエラーを起こす文字は一切含まれません。
|
||||
/// </summary>
|
||||
public static string CreateGuid(string? url)
|
||||
{
|
||||
if (string.IsNullOrEmpty(url))
|
||||
{
|
||||
return Guid.NewGuid().ToString();
|
||||
}
|
||||
|
||||
byte[] inputBytes = Encoding.UTF8.GetBytes(url);
|
||||
|
||||
using (SHA512 sha = SHA512.Create())
|
||||
{
|
||||
byte[] hashBytes = sha.ComputeHash(inputBytes);
|
||||
|
||||
// 16進数文字列(小文字64文字)に変換
|
||||
var sb = new StringBuilder();
|
||||
foreach (byte b in hashBytes)
|
||||
{
|
||||
sb.Append(b.ToString("x2")); // "x2" で2桁の16進数小文字に変換
|
||||
}
|
||||
return sb.ToString();
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 外部プロセス(Linuxコマンド等)を実行するヘルパーメソッド
|
||||
/// </summary>
|
||||
public static async Task RunCommandAsync(string command, string arguments, string workingDirectory)
|
||||
{
|
||||
var psi = new ProcessStartInfo
|
||||
{
|
||||
FileName = command,
|
||||
Arguments = arguments,
|
||||
WorkingDirectory = workingDirectory,
|
||||
RedirectStandardOutput = true,
|
||||
RedirectStandardError = true,
|
||||
UseShellExecute = false,
|
||||
CreateNoWindow = true
|
||||
};
|
||||
|
||||
using var process = new Process { StartInfo = psi };
|
||||
|
||||
if (process.Start())
|
||||
{
|
||||
// デッドロック防止のため、標準出力と標準エラーを平行して非同期で読み取る
|
||||
Task<string> outputTask = process.StandardOutput.ReadToEndAsync();
|
||||
Task<string> errorTask = process.StandardError.ReadToEndAsync();
|
||||
|
||||
await Task.WhenAll(outputTask, errorTask);
|
||||
await process.WaitForExitAsync();
|
||||
|
||||
string output = (await outputTask).Trim();
|
||||
string error = (await errorTask).Trim();
|
||||
|
||||
if (process.ExitCode != 0)
|
||||
{
|
||||
// エラー時は StandardError と StandardOutput の両方をログに出力する
|
||||
LogManager.AddLog($"[エラー] コマンド実行失敗 (ExitCode: {process.ExitCode}, Cmd: {command} {arguments})\n" +
|
||||
$"STDERR: {(string.IsNullOrEmpty(error) ? "(なし)" : error)}\n" +
|
||||
$"STDOUT: {(string.IsNullOrEmpty(output) ? "(なし)" : output)}");
|
||||
}
|
||||
else
|
||||
{
|
||||
if (!string.IsNullOrWhiteSpace(output))
|
||||
{
|
||||
LogManager.AddLog($"[情報] コマンド処理完了:{command}");
|
||||
}
|
||||
}
|
||||
}
|
||||
else
|
||||
{
|
||||
LogManager.AddLog($"[エラー] プロセスの起動に失敗しました: {command}");
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 現在時刻から見て「次の指定分(秒・ミリ秒は0)」の DateTime を計算する
|
||||
/// </summary>
|
||||
public static DateTime GetNextTargetTime(DateTime now, int[] targetMinutes)
|
||||
{
|
||||
// 昇順にソート(例: [0, 30])
|
||||
var sortedMinutes = targetMinutes.OrderBy(m => m).ToArray();
|
||||
|
||||
// 同一時間(現在の Hour)内で、現在時刻より未来の「分」を探す
|
||||
foreach (int m in sortedMinutes)
|
||||
{
|
||||
DateTime candidate = new DateTime(now.Year, now.Month, now.Day, now.Hour, m, 0, 0, now.Kind);
|
||||
if (candidate > now)
|
||||
{
|
||||
return candidate;
|
||||
}
|
||||
}
|
||||
|
||||
// 現在の Hour 内に未来の指定分がない場合、次の時間の最初の指定分を返す
|
||||
DateTime nextHour = now.AddHours(1);
|
||||
return new DateTime(nextHour.Year, nextHour.Month, nextHour.Day, nextHour.Hour, sortedMinutes[0], 0, 0, now.Kind);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,101 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Text;
|
||||
using System.Threading.Channels;
|
||||
|
||||
namespace rss_generator.Class;
|
||||
|
||||
internal static class LogManager // 実際のクラス名に合わせてください
|
||||
{
|
||||
// ログ情報を受け渡すための構造
|
||||
private class LogMessage
|
||||
{
|
||||
public string? Message { get; set; }
|
||||
public DateTime Timestamp { get; set; }
|
||||
}
|
||||
|
||||
// スレッドセーフな非同期キュー
|
||||
private static readonly Channel<LogMessage> _channel;
|
||||
|
||||
// バックグラウンドタスク自体を保持する変数
|
||||
private static readonly Task _backgroundTask;
|
||||
|
||||
// 静的コンストラクタで、バックグラウンドの書き込みタスクを1つだけ起動する
|
||||
static LogManager()
|
||||
{
|
||||
_channel = Channel.CreateUnbounded<LogMessage>(new UnboundedChannelOptions
|
||||
{
|
||||
SingleReader = true // 読み取り(書き込み処理)を行うのは1タスクのみ
|
||||
});
|
||||
|
||||
// アプリケーション起動時に、バックグラウンドで専属のファイル書き込み処理を走らせる
|
||||
_backgroundTask = Task.Run(WriteToFileBackgroundAsync);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 既存のログ出力メソッド(インターフェースはそのまま)
|
||||
/// </summary>
|
||||
public static void AddLog(string? message)
|
||||
{
|
||||
|
||||
var log = new LogMessage
|
||||
{
|
||||
Message = message.TrimEnd('\r', '\n'),
|
||||
Timestamp = DateTime.Now // ログが発生した瞬間の時間を保持
|
||||
};
|
||||
|
||||
// キューにデータを放り込む(一瞬で終わるため、呼び出し元の非同期処理を1ミリ秒も邪魔しません)
|
||||
_channel.Writer.TryWrite(log);
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// キューから届くログを、1件ずつ順番にファイルへ書き込むバックグラウンド処理
|
||||
/// </summary>
|
||||
private static async Task WriteToFileBackgroundAsync()
|
||||
{
|
||||
// キューにデータが届くのを非同期で待機し、届いた順に1件ずつ処理する
|
||||
// (書き込みを行うのは常にこの1タスクだけなので、絶対にファイルの排他競合は起きません)
|
||||
await foreach (var log in _channel.Reader.ReadAllAsync())
|
||||
{
|
||||
try
|
||||
{
|
||||
var fileDir = Path.Combine(CmnUtil.GetExportXmlPath(""), "Log");
|
||||
if (Directory.Exists(fileDir) == false)
|
||||
{
|
||||
Directory.CreateDirectory(fileDir);
|
||||
}
|
||||
|
||||
// ログが発生した日付(log.Timestamp)に基づいてファイル名を決定
|
||||
// これにより、日付をまたぐ瞬間のログも正しい日付のファイルに書き込まれます
|
||||
var fileName = $"{log.Timestamp:yyyy-MM-dd}.log";
|
||||
var filePath = Path.Combine(fileDir, fileName);
|
||||
|
||||
using var sw = File.AppendText(filePath);
|
||||
|
||||
// 必要に応じてログに時間を付与して書き込み
|
||||
sw.WriteLine($"[{log.Timestamp:HH:mm:ss.fff}] {log.Message}");
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
// 万が一ファイルI/O自体がシステム起因等で一時的に失敗した場合の対策
|
||||
Console.Error.WriteLine($"ログファイルへの書き込みに失敗しました: {ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// キューの受け付けを終了し、溜まっているすべてのログがファイルに書き込まれるまで待機します。
|
||||
/// (コンソールアプリの終了直前に呼び出してください)
|
||||
/// </summary>
|
||||
public static async Task FlushAndCloseAsync()
|
||||
{
|
||||
// 1. もう新しいログは受け付けない(キューを閉じる)と宣言する
|
||||
_channel.Writer.Complete();
|
||||
|
||||
// 2. Readerの完了(キューの中身が空になり、バックグラウンドタスクが終わる)を待つ
|
||||
if (_backgroundTask != null)
|
||||
{
|
||||
await _backgroundTask;
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,89 @@
|
||||
using System.ServiceModel.Syndication;
|
||||
|
||||
namespace rss_generator.Class.RSS.X;
|
||||
|
||||
internal class x_list
|
||||
{
|
||||
private const string BASE_URL = "https://rsshub.armonica-vps.work/twitter/list";
|
||||
private const string QUERY1 = "showEmojiForRetweetAndReply=1?filterout_title=%5E%28🔁%7CRT%29";
|
||||
private const string QUERY2 = "showEmojiForRetweetAndReply=1?filter_title=%5E%28🔁%7CRT%29";
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var tasks = new List<Task>()
|
||||
{
|
||||
CreateSub1(client, "2076742238231818243", "granbluefantasy")
|
||||
, CreateSub1(client, "1695011723005280535", "AI")
|
||||
, CreateSub1(client, "1573473287333560321", "R18")
|
||||
, CreateSub1(client, "2070669317667217577", "VR")
|
||||
, CreateSub1(client, "1573916143969976320", "VTuber")
|
||||
, CreateSub1(client, "2070673943057539507", "AnimeReal")
|
||||
, CreateSub1(client, "1599409403743961088", "AnimeOther")
|
||||
, CreateSub1(client, "2070670309846655252", "NormalIllust")
|
||||
};
|
||||
|
||||
Task.WaitAll(tasks);
|
||||
}
|
||||
|
||||
public static async Task CreateSub1(HttpClient client, string listId, string fileName)
|
||||
{
|
||||
await CreateSub2(client, listId, QUERY1, $"{fileName}");
|
||||
await CreateSub2(client, listId, QUERY2, $"{fileName}RT");
|
||||
}
|
||||
|
||||
public static async Task CreateSub2(HttpClient client, string listId, string query, string fileName)
|
||||
{
|
||||
try
|
||||
{
|
||||
var listURL = $"{BASE_URL}/{listId}";
|
||||
var allItems = await CmnUtil.GetFeedItems(client, $"{listURL}/{query}");
|
||||
|
||||
// 簡潔なRSSに整形
|
||||
var simplifiedItems = allItems.OrderByDescending(x => x.PublishDate).Select(originalItem =>
|
||||
{
|
||||
var newItem = new SyndicationItem()
|
||||
{
|
||||
// タイトルは TextSyndicationContent でラップする必要があります
|
||||
Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title")
|
||||
, Id = CmnUtil.CreateGuid(originalItem.Id)
|
||||
, PublishDate = originalItem.PublishDate
|
||||
, LastUpdatedTime = originalItem.LastUpdatedTime
|
||||
|
||||
// 元のコンテンツをそのまま引き継ぐ
|
||||
// Content = originalItem.Content,
|
||||
, Summary = originalItem.Summary
|
||||
};
|
||||
|
||||
// リンクを引き継ぐ
|
||||
var link = originalItem.Links.FirstOrDefault()?.Uri;
|
||||
if (link != null)
|
||||
{
|
||||
newItem.Links.Add(new SyndicationLink(link));
|
||||
}
|
||||
// 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
|
||||
foreach (var category in originalItem.Categories)
|
||||
{
|
||||
category.Scheme = null;
|
||||
newItem.Categories.Add(category);
|
||||
}
|
||||
foreach (var author in originalItem.Authors)
|
||||
{
|
||||
newItem.Authors.Add(author);
|
||||
}
|
||||
return newItem;
|
||||
});
|
||||
// 新しい統合フィードを作成
|
||||
var mergedFeed = new SyndicationFeed(
|
||||
fileName,
|
||||
"",
|
||||
new Uri("https://x.com/i/lists/2070669317667217577"),
|
||||
simplifiedItems
|
||||
);
|
||||
|
||||
CmnUtil.ExportXMLFile($"{fileName}.xml", mergedFeed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] fileName:{ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,104 @@
|
||||
using AngleSharp.Html.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using System.Web;
|
||||
using System.Xml;
|
||||
using static rss_generator.Class.CmnDefine;
|
||||
using static rss_generator.Class.LogManager;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class Youtube
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
try
|
||||
{
|
||||
using var db = new CmnDB();
|
||||
var feeds = await db.QueryAsync<ArmonicaFeed>("select url from armonica_feed where url like '%youtube%'");
|
||||
|
||||
var tasks = new List<Task>();
|
||||
foreach (var feed in feeds)
|
||||
{
|
||||
// 非同期関数を呼び出す(この時点で実行が開始され、Taskが返ってくる)
|
||||
feed.Url = feed.Url.Replace(".xml", "");
|
||||
feed.Url = feed.Url.Replace("https://feeds.armonica-vps.work/youtube/", "https://www.youtube.com/feeds/videos.xml?playlist_id=");
|
||||
tasks.Add(ProcessFeedAsync(feed));
|
||||
}
|
||||
await Task.WhenAll(tasks);
|
||||
|
||||
// --- 以下を同じメソッド内(またはクラスの下)に定義 ---
|
||||
|
||||
// 1件分のフィードを処理するローカル関数
|
||||
async Task ProcessFeedAsync(ArmonicaFeed feed)
|
||||
{
|
||||
var items = await GetFeedItems(client, feed.Url);
|
||||
foreach (var item in items)
|
||||
{
|
||||
item.Id = CmnUtil.CreateGuid(item.Id);
|
||||
}
|
||||
|
||||
var fileName = GetYouTubePlaylistId(feed.Url);
|
||||
|
||||
var mergedFeed = new SyndicationFeed(
|
||||
"youtube.com",
|
||||
"",
|
||||
new Uri(feed.Url),
|
||||
items
|
||||
);
|
||||
|
||||
CmnUtil.ExportXMLFile($"{fileName}.xml", mergedFeed, "youtube");
|
||||
}
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
AddLog($"[エラー] Youtube:{ex.Message}");
|
||||
AddLog($"StackTrace\n{ex.StackTrace}");
|
||||
}
|
||||
}
|
||||
|
||||
public static async Task<IEnumerable<SyndicationItem>> GetFeedItems(HttpClient client, string url)
|
||||
{
|
||||
try
|
||||
{
|
||||
using var stream = await CmnUtil.GetStreamSafeAsync(client, url);
|
||||
if (stream == null)
|
||||
{
|
||||
return Enumerable.Empty<SyndicationItem>();
|
||||
}
|
||||
using var reader = XmlReader.Create(stream);
|
||||
var feed = SyndicationFeed.Load(reader);
|
||||
|
||||
return feed?.Items ?? Enumerable.Empty<SyndicationItem>();
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
AddLog($"[エラー] {url} の取得に失敗: {ex.Message}");
|
||||
return Enumerable.Empty<SyndicationItem>();
|
||||
}
|
||||
}
|
||||
|
||||
|
||||
/// <summary>
|
||||
/// YouTubeのRSS URLからplaylist_idを抽出します。
|
||||
/// </summary>
|
||||
public static string? GetYouTubePlaylistId(string url)
|
||||
{
|
||||
if (string.IsNullOrWhiteSpace(url)) return null;
|
||||
|
||||
try
|
||||
{
|
||||
var uri = new Uri(url);
|
||||
var queryParams = HttpUtility.ParseQueryString(uri.Query);
|
||||
return queryParams.Get("playlist_id");
|
||||
}
|
||||
catch (UriFormatException)
|
||||
{
|
||||
// URLの形式が不正だった場合は null を返す
|
||||
return null;
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,97 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using static rss_generator.Class.LogManager;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class ci_en
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var cookie = @"dlloginjp=1; _vwo_uuid_v2=DE0A491AF4C7D82F5A0E36EE05FB9DCC4|1c75fec8568c82f554ce0bf05b184323; _fbp=fb.1.1744889132407.755153059380374410; _gaid=368068859.1744048157; _tt_enable_cookie=1; _ttp=01JS1QYDMMCWME95G944M64YBH_.tt.1; carted=1; accepted_rating=r18g; _ga_BZK47NSH6M=GS2.1.s1773681391$o1$g1$t1773683085$j60$l0$h0; _ga_5V5XC0P05K=GS2.1.s1773925565$o1$g1$t1773925597$j28$l0$h0; _ga_FT5XDNCSST=GS2.1.s1774009996$o1$g1$t1774010041$j15$l0$h0; recommend_device_id=4242537564.1775488541; locale=ja-jp; _trust360_=%7B%22pid%22%3A%22GZOmvAwr%22%2C%22vid%22%3A%22MNNC1CLRTKMZA453FZJ2AKYY%22%2C%22v%22%3A1%2C%22accepted%22%3A7%2C%22it%22%3A1775488544271%7D; adultchecked=1; _ga_QQPE5BRL8Y=GS2.1.s1776218873$o1$g1$t1776218883$j50$l0$h0; _twpid=tw.1776384373659.787621302594603318; _ga_MYZL3283YG=GS2.1.s1776533403$o5$g1$t1776533425$j38$l0$h0; i18n_redirected=ja-jp; _ga_57HC74EGYW=GS2.1.s1776877012$o3$g0$t1776877014$j58$l0$h0; _ga_FGNPZ32399=GS2.1.s1776963447$o3$g1$t1776963496$j11$l0$h0; _ga_CKDD79YY5K=GS2.1.s1777130134$o2$g1$t1777130163$j31$l0$h0; _ga_SLMZ0ZXNJ1=GS2.1.s1778801244$o2$g1$t1778801256$j48$l0$h0; uhashjp=8a9768d1bc66b3cb5d302ada2c95724cbab9eeeb; iom_jp=SFT000002128873; uid_jp=SFT000002128873; remember_web_59ba36addc2b2f9401580f014c7f58ea4e30989d=2045064%7CtfkLIcqxXZDJ8bpsXA8nOZcofF9qGIiUeo8T8eWSTesxR7BjTKvlzj2JjKFI%7CtfkLIcqxXZDJ8bpsXA8nOZcofF9qGIiUeo8T8eWSTesxR7BjTKvlzj2JjKFI; _ga_9SB79WF4BD=GS2.1.s1779791861$o4$g1$t1779792797$j60$l0$h0; _ga_140=GS2.1.s1779805620$o17$g1$t1779805764$j60$l0$h0; _ga_EZN33JX2LQ=GS2.1.s1780220071$o8$g1$t1780220111$j20$l0$h0; _ga_NSFZEVF70Z=GS2.1.s1780660225$o13$g1$t1780660251$j34$l0$h0; client_id=5296163acabf6608213b4e6f7e9ebd60; _unv_aid=183806e4-d24d-4d1d-958e-0044749aebab; _ga_YJ8NCCZMYD=GS2.1.s1782302356$o5$g1$t1782302393$j23$l0$h0; _ga_H29V5427MF=GS2.1.s1782311562$o7$g0$t1782311570$j52$l0$h0; _vwo_uuid=D0095974371256A8657ECF68E198C5817; _ga_166H7ZBJJ6=GS2.1.s1782579077$o7$g1$t1782579130$j7$l0$h0; _ga_FYQ837TCLF=GS2.1.s1782643016$o3$g1$t1782643097$j47$l0$h0; _ga_ZWB2Z5E0V2=GS2.1.s1782821894$o7$g0$t1782821903$j51$l0$h0; ttcsid_D0DFBO3C77U626LJDL6G=1782837386436::cRvgniZAyWEaSNF3mVpx.43.1782837438327.1; ttcsid_CKRMHGRC77U81CKC8HNG=1782837386443::vABiN78hXjyU_a3pz7XK.43.1782837438334.1; ttcsid_CLVT5NRC77U95UC4O12G=1782837386446::MF_CNvJ_wXnnaUYSTF1e.43.1782837438340.1; ttcsid_CPLBGI3C77U3S3PJLFRG=1782837386450::1QYS6mg4SHJnwBkWzvvm.43.1782837438346.1; ttcsid_CQ3QNNBC77U0CETNEGNG=1782837386454::Zx5dDGKm5RKyQqEMQmtp.43.1782837438353.1; ttcsid_D02V363C77U9GIBTNP9G=1782837386457::OMcsULq6hpuuJ2x1B0r2.43.1782837438359.1; ttcsid=1782837386438::1pxUgLoa6xq6svEKpaD3.203.1782837438357.0::1.36619.41937::0.0.0.0::51807.20.3300; _ga_3Q3ERY250G=GS2.1.s1782837523$o1$g1$t1782837803$j60$l0$h0; _vwo_ds=3%241782551443%3A50.02909166%3A%3A%3A%3A%3A1782902051%3A1782897550%3A18; _vis_opt_s=20%7C; _ga_HEQQ3BGXDL=GS2.1.s1782902045$o7$g1$t1782902059$j46$l0$h0; _ga=GA1.1.368068859.1744048157; _ga_CWG6LEYWHN=GS2.1.s1783181099$o4$g1$t1783181119$j40$l0$h0; vendor_design=normal; session_state=3f33774fce7cb6c51d66cf8c4bef7642173dce3c7e4ef82310b9752b9ad2c6b7.40x3nks7uaww4800o4wkc0wgg; loginchecked=1; __DLsite_SID=htvqf2s9ge8o313nolr7edcrfd; _ga_MB2PT3FWW8=GS2.1.s1783268429$o15$g1$t1783268531$j56$l0$h0; _ga_1CQ9479B3Z=GS2.1.s1783688876$o6$g0$t1783688878$j58$l0$h0; _inflow_params=%7B%22referrer_uri%22%3A%22www.anime-sharing.com%22%7D; _ga_1Z1SYS3CQ4=GS2.1.s1783858175$o12$g0$t1783858180$j55$l0$h0; _ga_6VLJ921530=GS2.1.s1784047289$o19$g1$t1784047430$j57$l0$h0; _ga_SEMVGMN3H2=GS2.1.s1784223465$o5$g1$t1784223531$j58$l0$h0; consent_terms_vivion_id_SFT000002128873=2026-07-19T12:57:22.011Z; consent_privacy_vivion_id_SFT000002128873=2026-07-19T12:57:22.011Z; consent_terms_dlsite_SFT000002128873=2026-07-19T12:57:22.011Z; consent_privacy_dlsite_SFT000002128873=2026-07-19T12:57:22.011Z; DL_PTAFID=twitternukomajin; utm_c=sns_link; _inflow_ad_params=%7B%22product_id%22%3A%22RJ01009083%22%2C%22utm_medium%22%3A%22affiliate%22%2C%22utm_campaign%22%3A%22sns_link%22%2C%22utm_content%22%3A%22RJ01009083%22%2C%22utm_source%22%3A%22t.co%2F%22%7D; _gcl_au=1.1.302635706.1783464784.999250299.1784474157.1784474157.93176051.1784474157.1784474157; DL_PRODUCT_LOG=RJ196116%2CRJ01632273%2CRJ01668630%2CRJ01670035%2CRJ01671421%2CRJ01673489%2CRJ01657229%2CRJ01009083%2CRJ01648715%2CRJ01644999%2CRJ01604830%2CRJ01625582%2CRJ01605765%2CRJ236734%2CRJ071090%2CRJ01623421%2CRJ145373%2CRJ01570227%2CRJ01665800%2CRJ01669480%2CRJ01212879%2CRJ01606779%2CRJ01605618%2CRJ01610188%2CRJ01648963%2CRJ01484365%2CRJ362203%2CRJ01509772%2CRJ01450546%2CRJ01271060%2CRJ01123284%2CRJ01516172%2CRJ01576032%2CRJ01375307%2CRJ01622268%2CRJ01496131%2CRJ01550550%2CRJ01650691%2CRJ01647232%2CRJ01585232%2CRJ01657316%2CRJ01622380%2CRJ01387722%2CRJ01409387%2CRJ01449864%2CRJ01509009%2CRJ212283%2CRJ01638705%2CRJ01653149%2CRJ01633249; last_wishlist_check=0; _inflow_dlsite_params=%7B%22dlsite_referrer_url%22%3A%22https%3A%2F%2Fwww.dlsite.com%2Fmaniax%2Fwork%2F%3D%2Fpro
Line truncated
|
||||
var feed = new SyndicationFeed("Ci-en", "", new Uri("https://ci-en.dlsite.com/mypage/recent"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
var pageURL = $"https://ci-en.dlsite.com/mypage/recent";
|
||||
var rssUrl = $"{pageURL}";
|
||||
client.DefaultRequestHeaders.Add("Cookie", cookie);
|
||||
|
||||
var document = await CmnUtil.GetDocument(client, rssUrl);
|
||||
var elemArticles = document.QuerySelectorAll(".c-card-article");
|
||||
foreach (var elemArticle in elemArticles)
|
||||
{
|
||||
var item = new SyndicationItem();
|
||||
|
||||
var href = "";
|
||||
{
|
||||
if (elemArticle.QuerySelector("a.c-cardLink") is IHtmlAnchorElement element)
|
||||
{
|
||||
item.Links.Add(new SyndicationLink(new Uri(element.Href)));
|
||||
href = element.Href;
|
||||
}
|
||||
}
|
||||
var name = "";
|
||||
{
|
||||
if (elemArticle.QuerySelector(".e-abbreviation a") is IHtmlAnchorElement element)
|
||||
{
|
||||
name = element.TextContent.Trim() ?? "";
|
||||
item.Authors.Add(new SyndicationPerson() { Name = "Ci-en" });
|
||||
item.Authors.Add(new SyndicationPerson() { Name = name });
|
||||
}
|
||||
}
|
||||
var title = "";
|
||||
{
|
||||
if (elemArticle.QuerySelector(".is-articleCard") is IHtmlHeadingElement element)
|
||||
{
|
||||
title = $"{name} : {element.TextContent.Trim()}";
|
||||
item.Title = new TextSyndicationContent(title);
|
||||
}
|
||||
}
|
||||
{
|
||||
if (elemArticle.QuerySelector(".e-date") is IHtmlSpanElement element)
|
||||
{
|
||||
var updateTime = DateTime.Now;
|
||||
if (DateTime.TryParse(element.TextContent.Trim(), out DateTime itemTime))
|
||||
{
|
||||
updateTime = itemTime;
|
||||
}
|
||||
item.LastUpdatedTime = updateTime;
|
||||
}
|
||||
}
|
||||
|
||||
var body = new StringBuilder();
|
||||
{
|
||||
//if (elemArticle.QuerySelector(".image") is IHtmlImageElement element)
|
||||
//{
|
||||
// var imageUri = !string.IsNullOrEmpty(element.Source) ? new Uri(element.Source) : null;
|
||||
// var title = element.AlternativeText ?? "";
|
||||
|
||||
// body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||
//}
|
||||
{
|
||||
var docContents = await CmnUtil.GetDocument(client, href);
|
||||
var divDetail = docContents.QuerySelector("article")!;
|
||||
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
||||
}
|
||||
}
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
// ID
|
||||
item.Id = CmnUtil.CreateGuid($"{href}");
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
CmnUtil.ExportXMLFile("ci_en.xml", feed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
AddLog($"[エラー] [ci_en]:{ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,174 @@
|
||||
using AngleSharp.Html.Dom;
|
||||
using AngleSharp.Html.Parser;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
|
||||
namespace rss_generator.Class.RSS.hitomi_la;
|
||||
|
||||
internal class index_japanese
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var pageMaster = "https://hitomi.la/index-japanese.html";
|
||||
|
||||
try
|
||||
{
|
||||
var linkList = new List<string>();
|
||||
for (int pageId = 1; pageId <= 10; pageId++)
|
||||
{
|
||||
var pageURL = $"{pageMaster}/feed/atom/{(pageId > 1 ? $"?paged={pageId}" : "")}";
|
||||
linkList.Add(pageURL);
|
||||
}
|
||||
|
||||
var tasks = linkList.Select(url => CmnUtil.GetFeedItems(client, url)).ToList();
|
||||
var results = await Task.WhenAll(tasks);
|
||||
var allItems = results.SelectMany(items => items).ToList();
|
||||
|
||||
// 簡潔なRSSに整形
|
||||
var simplifiedItems = allItems.OrderByDescending(x => x.PublishDate).Select(originalItem =>
|
||||
{
|
||||
List<SyndicationCategory> getAddCategory()
|
||||
{
|
||||
List<SyndicationCategory> result = new List<SyndicationCategory>();
|
||||
|
||||
string orgText = originalItem.Summary.Text;
|
||||
var parser = new HtmlParser();
|
||||
var document = parser.ParseDocument(orgText);
|
||||
|
||||
var firstP = document.QuerySelector("p");
|
||||
if (firstP != null)
|
||||
{
|
||||
var targetText = firstP.TextContent;
|
||||
int tagIndex = targetText.IndexOf("【タグ】");
|
||||
if (tagIndex >= 0)
|
||||
{
|
||||
// 【タグ】が見つかった場合、そこから前の文字列だけを残す
|
||||
targetText = targetText.Substring(0, tagIndex);
|
||||
}
|
||||
// ----------------------------------------------------
|
||||
// 正規表現で各項目の値を抽出する
|
||||
// ----------------------------------------------------
|
||||
// パターン解説:
|
||||
// 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】)
|
||||
// ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ)
|
||||
string pattern = @"【[^】]+】([^【]*)";
|
||||
var matches = Regex.Matches(targetText, pattern);
|
||||
|
||||
foreach (Match match in matches)
|
||||
{
|
||||
// match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります
|
||||
// (項目の中身が空の場合は空文字になります)
|
||||
string valuesStr = match.Groups[1].Value;
|
||||
|
||||
if (string.IsNullOrWhiteSpace(valuesStr))
|
||||
{
|
||||
continue; // 中身が空の場合はスキップ
|
||||
}
|
||||
|
||||
// ----------------------------------------------------
|
||||
// 3. カンマで分割し、前後の空白を除去してカテゴリに追加
|
||||
// ----------------------------------------------------
|
||||
// ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します
|
||||
string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries);
|
||||
|
||||
foreach (var val in splitValues)
|
||||
{
|
||||
// 前後の半角・全角スペースを取り除く
|
||||
string categoryName = val.Trim();
|
||||
|
||||
// 空でなければカテゴリとして追加
|
||||
if (!string.IsNullOrEmpty(categoryName))
|
||||
{
|
||||
// domain属性なし(前回回答の手法)でカテゴリを追加
|
||||
result.Add(new SyndicationCategory(categoryName));
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
return result;
|
||||
}
|
||||
|
||||
var newItem = new SyndicationItem()
|
||||
{
|
||||
// タイトルは TextSyndicationContent でラップする必要があります
|
||||
Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title")
|
||||
,
|
||||
Id = CmnUtil.CreateGuid(originalItem.Id)
|
||||
,
|
||||
PublishDate = originalItem.PublishDate
|
||||
,
|
||||
LastUpdatedTime = originalItem.LastUpdatedTime
|
||||
|
||||
// 元のコンテンツをそのまま引き継ぐ
|
||||
// , Content = originalItem.Content
|
||||
// , Summary = originalItem.Summary
|
||||
};
|
||||
|
||||
// リンクを引き継ぐ
|
||||
var link = originalItem.Links.FirstOrDefault()?.Uri;
|
||||
if (link != null)
|
||||
{
|
||||
newItem.Links.Add(new SyndicationLink(link));
|
||||
}
|
||||
// カテゴリに本文内の作者などの情報を追加する
|
||||
foreach (var category in getAddCategory())
|
||||
{
|
||||
newItem.Categories.Add(category);
|
||||
}
|
||||
// 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
|
||||
foreach (var category in originalItem.Categories)
|
||||
{
|
||||
category.Scheme = null;
|
||||
newItem.Categories.Add(category);
|
||||
}
|
||||
foreach (var author in originalItem.Authors)
|
||||
{
|
||||
newItem.Authors.Add(author);
|
||||
}
|
||||
|
||||
var body = new StringBuilder();
|
||||
var originalSummary = originalItem.Summary.Text;
|
||||
body.Append(originalSummary);
|
||||
if (link != null)
|
||||
{
|
||||
var task = CmnUtil.GetDocument(client, link.ToString());
|
||||
task.Wait();
|
||||
var docContents = task.Result;
|
||||
var imgElements = docContents.QuerySelectorAll("#post-hentai img");
|
||||
foreach (var img in imgElements)
|
||||
{
|
||||
var src = img.GetAttribute("src");
|
||||
if (!string.IsNullOrEmpty(src))
|
||||
{
|
||||
// 相対URLの場合も考慮して、絶対URLに解決する
|
||||
if (Uri.TryCreate(link, src, out var absoluteUri))
|
||||
{
|
||||
body.Append($"<img src=\"{absoluteUri}\" />");
|
||||
break;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
newItem.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
return newItem;
|
||||
});
|
||||
// 新しい統合フィードを作成
|
||||
var mergedFeed = new SyndicationFeed(
|
||||
"momon-ga.com",
|
||||
"",
|
||||
new Uri("https://momon-ga.com/magazine/"),
|
||||
simplifiedItems
|
||||
);
|
||||
|
||||
CmnUtil.ExportXMLFile("momonga-magazine.xml", mergedFeed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] momonga-magazine:{ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,94 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class javtwi
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var baseURL = "https://javtwi.com/new.html";
|
||||
var feed = new SyndicationFeed("javtwi", "", new Uri(baseURL));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
var document = await CmnUtil.GetDocument(client, baseURL);
|
||||
|
||||
var linkList = new List<string>();
|
||||
if (document == null)
|
||||
{
|
||||
return;
|
||||
}
|
||||
|
||||
var elements = document.QuerySelectorAll("div.center_contents a.center_contents");
|
||||
foreach (var linkElement in elements)
|
||||
{
|
||||
var imgElement = linkElement.QuerySelector("a img");
|
||||
|
||||
var linkHref = linkElement?.GetAttribute("href") ?? string.Empty;
|
||||
var imageSrc = (imgElement as IHtmlImageElement)!.Source;
|
||||
if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
||||
{
|
||||
if (linkHref.Last() == '?')
|
||||
{
|
||||
linkHref = linkHref.TrimEnd('?');
|
||||
}
|
||||
// 重複行は追加しない
|
||||
if (linkList.Contains(linkHref))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
linkList.Add(linkHref);
|
||||
}
|
||||
else
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
if (itemUri == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
if (itemUri.AbsolutePath.Contains("404."))
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var title = CmnUtil.GetLastPathPart(linkHref);
|
||||
|
||||
var body = new StringBuilder();
|
||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||
|
||||
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
CmnUtil.CreateGuid(linkHref),
|
||||
DateTime.Now // 取得できた公開日時があればそれをセット
|
||||
);
|
||||
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
||||
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
||||
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
|
||||
feed.Items = items;
|
||||
|
||||
CmnUtil.ExportXMLFile("javtwi.xml", feed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] javtwi:{ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,125 @@
|
||||
using AngleSharp.Dom;
|
||||
using AngleSharp.Html.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class kimochiinfo
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var baseURL = "https://kimochi.info/browse/";
|
||||
var query = "?platform=windows";
|
||||
|
||||
var feed = new SyndicationFeed("kimochi.info", "", new Uri($"{baseURL}{query}"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
// 複数ページをまとめる場合に先に取得する
|
||||
var docList = new List<IDocument>();
|
||||
for (int pageId = 1; pageId <= 5; pageId++)
|
||||
{
|
||||
var pageURL = $"{baseURL}{(pageId > 1 ? $"/page/{pageId}{query}" : query)}";
|
||||
var document = await CmnUtil.GetDocument(client, pageURL);
|
||||
docList.Add(document);
|
||||
}
|
||||
|
||||
var linkList = new List<string>();
|
||||
foreach (var document in docList)
|
||||
{
|
||||
if (document == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var elements = document.QuerySelectorAll("main article>a");
|
||||
foreach (var linkElement in elements)
|
||||
{
|
||||
var imgElement = linkElement.QuerySelector("img");
|
||||
var imageSrc = (imgElement as IHtmlImageElement)!.Source;
|
||||
var linkHref = linkElement.GetAttribute("href") ?? string.Empty;
|
||||
if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
||||
{
|
||||
if (linkHref.Last() == '?')
|
||||
{
|
||||
linkHref = linkHref.TrimEnd('?');
|
||||
}
|
||||
linkList.Add(linkHref);
|
||||
}
|
||||
else
|
||||
{
|
||||
continue;
|
||||
}
|
||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
if (itemUri == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var divVerElems = linkElement.QuerySelectorAll("div>div.tracking-wider");
|
||||
var versionText = "v1.0.0";
|
||||
foreach (var divVerElem in divVerElems)
|
||||
{
|
||||
versionText = Regex.Replace(divVerElem.TextContent, @"\s+", "");
|
||||
break;
|
||||
}
|
||||
|
||||
var h3Elem = linkElement.QuerySelector("h3");
|
||||
var title = $"{h3Elem!.TextContent.Replace("\t", "").Replace("\r", "").Replace("\n", "").Trim()} {versionText}";
|
||||
|
||||
var divContents = linkElement.QuerySelectorAll("h3+div>div");
|
||||
var isJP = false;
|
||||
if (divContents!.Length > 2)
|
||||
{
|
||||
var span = divContents[1];
|
||||
if (span.TextContent.Contains("JP"))
|
||||
{
|
||||
isJP = true;
|
||||
}
|
||||
}
|
||||
if (isJP == false)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
var docContents = await CmnUtil.GetDocument(client, linkHref);
|
||||
var divDetail = docContents.QuerySelector("main>div>div")!;
|
||||
var metaPubDate = CmnUtil.GetPublishedTimeAsJst(docContents);
|
||||
var metaModDate = CmnUtil.GetModifiedTimeAsJst(docContents);
|
||||
|
||||
var body = new StringBuilder();
|
||||
|
||||
body.Append($@"<div>バージョン:{versionText}</div>");
|
||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||
body.Append(CmnUtil.GetHtmlWithoutJavaScript(divDetail));
|
||||
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
CmnUtil.CreateGuid(linkHref),
|
||||
metaModDate ?? (metaPubDate ?? DateTime.Now) // 取得できた公開日時があればそれをセット
|
||||
);
|
||||
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
||||
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
||||
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
CmnUtil.ExportXMLFile("kimochiinfo.xml", feed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] kimochiinfo:{ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,90 @@
|
||||
using AngleSharp;
|
||||
using AngleSharp.Dom;
|
||||
using NpgsqlTypes;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Diagnostics;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Xml;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal static class missav
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var feed = new SyndicationFeed("missav.ai", "", new Uri("https://missav.ai/ja/new"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
// 複数ページをまとめる場合に先に取得する
|
||||
var docList = new List<IDocument>();
|
||||
for (int pageId = 1; pageId <= 2; pageId++)
|
||||
{
|
||||
var pageURL = $"https://missav.ai/ja/new{(pageId > 1 ? $"?page={pageId}" : "")}";
|
||||
var rssUrl = $"https://freshrss.armonica-vps.work/api/misc.php/FreshRss FlareSolverr?raw=1&feed={pageURL}";
|
||||
var document = await CmnUtil.GetDocument(client, rssUrl);
|
||||
docList.Add(document);
|
||||
}
|
||||
|
||||
var linkList = new List<string>();
|
||||
foreach (var document in docList)
|
||||
{
|
||||
if (document == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var elements = document.QuerySelectorAll("div.thumbnail.group");
|
||||
var targetDivs = elements.Where(e => e.ClassList.Length == 2).ToList();
|
||||
foreach (var div in targetDivs)
|
||||
{
|
||||
var titleElement = div.QuerySelector(".text-secondary");
|
||||
var linkElement = div.QuerySelector(".text-secondary");
|
||||
var imgElement = div.QuerySelector("img");
|
||||
|
||||
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
|
||||
var linkHref = linkElement?.GetAttribute("href") ?? string.Empty;
|
||||
var imageSrc = imgElement?.GetAttribute("data-src");
|
||||
if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
||||
{
|
||||
linkList.Add(linkHref);
|
||||
}
|
||||
else
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
|
||||
var body = new StringBuilder();
|
||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
CmnUtil.CreateGuid(linkHref),
|
||||
DateTime.Now // 取得できた公開日時があればそれをセット
|
||||
);
|
||||
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
||||
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
||||
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
CmnUtil.ExportXMLFile("missav.xml", feed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] missav:{ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,93 @@
|
||||
using AngleSharp.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class missav123
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var pageMaster = "https://123av.com";
|
||||
|
||||
var feed = new SyndicationFeed("123av.com", "", new Uri($"{pageMaster}/ja/recent"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
// 複数ページをまとめる場合に先に取得する
|
||||
var docList = new List<IDocument>();
|
||||
for (int pageId = 1; pageId <= 2; pageId++)
|
||||
{
|
||||
var pageURL = $"{pageMaster}/ja/recent{(pageId > 1 ? $"?page={pageId}" : "")}";
|
||||
var rssUrl = $"https://freshrss.armonica-vps.work/api/misc.php/FreshRss FlareSolverr?raw=1&feed={pageURL}";
|
||||
var document = await CmnUtil.GetDocument(client, pageURL);
|
||||
docList.Add(document);
|
||||
}
|
||||
|
||||
var linkList = new List<string>();
|
||||
foreach (var document in docList)
|
||||
{
|
||||
if (document == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var pageTitle = document.QuerySelector("title")?.TextContent;
|
||||
if (pageTitle == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
var elements = document.QuerySelectorAll("div.card");
|
||||
var targetDivs = elements.Where(e => e.ClassList.Length == 1).ToList();
|
||||
foreach (var div in targetDivs)
|
||||
{
|
||||
var titleElement = div.QuerySelector("a.card__link");
|
||||
var linkElement = div.QuerySelector("a.card__link");
|
||||
var imgElement = div.QuerySelector("img");
|
||||
|
||||
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
|
||||
var linkHref = $"{pageMaster}{linkElement?.GetAttribute("href")}";
|
||||
var imageSrc = imgElement?.GetAttribute("src");
|
||||
if (linkHref != string.Empty && !linkList.Contains(linkHref))
|
||||
{
|
||||
linkList.Add(linkHref);
|
||||
}
|
||||
else
|
||||
{
|
||||
continue;
|
||||
}
|
||||
|
||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
|
||||
var body = new StringBuilder();
|
||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
CmnUtil.CreateGuid(linkHref),
|
||||
DateTime.Now // 取得できた公開日時があればそれをセット
|
||||
);
|
||||
// item.Content = SyndicationContent.CreateHtmlContent(body.ToString());
|
||||
// ※ RSS 2.0の場合は Content よりも Summary(<description>タグ)が使われることが多いため、
|
||||
// 両方に設定しておくか、Summary側にHTMLを設定すると大半のリーダーで確実です。
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
CmnUtil.ExportXMLFile("123av.xml", feed);
|
||||
}
|
||||
catch(Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] 123av:{ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,188 @@
|
||||
using AngleSharp.Html.Parser;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class momonga_fanzine
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var pageMaster = "https://momon-ga.com/fanzine";
|
||||
|
||||
try
|
||||
{
|
||||
var linkList = new List<string>();
|
||||
for (int pageId = 1; pageId <= 50; pageId++)
|
||||
{
|
||||
var pageURL = $"{pageMaster}/feed/atom/{(pageId > 1 ? $"?paged={pageId}" : "")}";
|
||||
linkList.Add(pageURL);
|
||||
}
|
||||
|
||||
var tasks = linkList.Select(url => CmnUtil.GetFeedItems(client, url)).ToList();
|
||||
var results = await Task.WhenAll(tasks);
|
||||
var allItems = results.SelectMany(items => items).ToList();
|
||||
|
||||
// 簡潔なRSSに整形
|
||||
var simplifiedItems = allItems.OrderByDescending(x => x.PublishDate).Select(originalItem =>
|
||||
{
|
||||
List<SyndicationCategory> getAddCategory()
|
||||
{
|
||||
List<SyndicationCategory> result = new List<SyndicationCategory>();
|
||||
|
||||
string orgText = originalItem.Summary.Text;
|
||||
var parser = new HtmlParser();
|
||||
var document = parser.ParseDocument(orgText);
|
||||
|
||||
var firstP = document.QuerySelector("p");
|
||||
if (firstP != null)
|
||||
{
|
||||
var targetText = firstP.TextContent;
|
||||
int tagIndex = targetText.IndexOf("【タグ】");
|
||||
if (tagIndex >= 0)
|
||||
{
|
||||
// 【タグ】が見つかった場合、そこから前の文字列だけを残す
|
||||
targetText = targetText.Substring(0, tagIndex);
|
||||
}
|
||||
// ----------------------------------------------------
|
||||
// 正規表現で各項目の値を抽出する
|
||||
// ----------------------------------------------------
|
||||
// パターン解説:
|
||||
// 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】)
|
||||
// ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ)
|
||||
string pattern = @"【[^】]+】([^【]*)";
|
||||
var matches = Regex.Matches(targetText, pattern);
|
||||
|
||||
foreach (Match match in matches)
|
||||
{
|
||||
// match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります
|
||||
// (項目の中身が空の場合は空文字になります)
|
||||
string valuesStr = match.Groups[1].Value;
|
||||
|
||||
if (string.IsNullOrWhiteSpace(valuesStr))
|
||||
{
|
||||
continue; // 中身が空の場合はスキップ
|
||||
}
|
||||
|
||||
// ----------------------------------------------------
|
||||
// 3. カンマで分割し、前後の空白を除去してカテゴリに追加
|
||||
// ----------------------------------------------------
|
||||
// ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します
|
||||
string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries);
|
||||
|
||||
foreach (var val in splitValues)
|
||||
{
|
||||
// 前後の半角・全角スペースを取り除く
|
||||
string categoryName = val.Trim();
|
||||
|
||||
// 空でなければカテゴリとして追加
|
||||
if (!string.IsNullOrEmpty(categoryName))
|
||||
{
|
||||
// domain属性なし(前回回答の手法)でカテゴリを追加
|
||||
result.Add(new SyndicationCategory(categoryName));
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
return result;
|
||||
}
|
||||
|
||||
var newItem = new SyndicationItem()
|
||||
{
|
||||
// タイトルは TextSyndicationContent でラップする必要があります
|
||||
Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title")
|
||||
, Id = CmnUtil.CreateGuid(originalItem.Id)
|
||||
, PublishDate = originalItem.PublishDate
|
||||
, LastUpdatedTime = originalItem.LastUpdatedTime
|
||||
// 元のコンテンツをそのまま引き継ぐ
|
||||
// , Content = originalItem.Content
|
||||
// , Summary = originalItem.Summary
|
||||
};
|
||||
|
||||
// リンクを引き継ぐ
|
||||
var link = originalItem.Links.FirstOrDefault()?.Uri;
|
||||
if (link != null)
|
||||
{
|
||||
newItem.Links.Add(new SyndicationLink(link));
|
||||
}
|
||||
// カテゴリに本文内の作者などの情報を追加する
|
||||
foreach (var category in getAddCategory())
|
||||
{
|
||||
newItem.Categories.Add(category);
|
||||
}
|
||||
// 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
|
||||
foreach (var category in originalItem.Categories)
|
||||
{
|
||||
category.Scheme = null;
|
||||
newItem.Categories.Add(category);
|
||||
}
|
||||
foreach (var author in originalItem.Authors)
|
||||
{
|
||||
newItem.Authors.Add(author);
|
||||
}
|
||||
|
||||
var body = new StringBuilder();
|
||||
var originalSummary = originalItem.Summary.Text;
|
||||
body.Append(originalSummary);
|
||||
if (link != null)
|
||||
{
|
||||
var task = CmnUtil.GetDocument(client, link.ToString());
|
||||
task.Wait();
|
||||
var docContents = task.Result;
|
||||
var imgElements = docContents.QuerySelectorAll("#post-hentai img");
|
||||
foreach (var img in imgElements)
|
||||
{
|
||||
var src = img.GetAttribute("src");
|
||||
if (!string.IsNullOrEmpty(src))
|
||||
{
|
||||
// 相対URLの場合も考慮して、絶対URLに解決する
|
||||
if (Uri.TryCreate(link, src, out var absoluteUri))
|
||||
{
|
||||
string encoded = ToBase64Url(link.AbsoluteUri);
|
||||
string downloadUrl = $"https://apicien.armonica-vps.work/fanzine/{encoded}";
|
||||
|
||||
body.Append($"<div>");
|
||||
body.Append($"<a href=\"{downloadUrl}\">[Download]</a>");
|
||||
body.Append($"</div>");
|
||||
body.Append($"<div>");
|
||||
body.Append($"<img src=\"{absoluteUri}\" />");
|
||||
body.Append($"</div>");
|
||||
break;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
newItem.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
return newItem;
|
||||
});
|
||||
// 新しい統合フィードを作成
|
||||
var mergedFeed = new SyndicationFeed(
|
||||
"momon-ga.com",
|
||||
"",
|
||||
new Uri("https://momon-ga.com/fanzine/"),
|
||||
simplifiedItems
|
||||
);
|
||||
|
||||
CmnUtil.ExportXMLFile("momonga-fanzine.xml", mergedFeed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] momonga-fanzine:{ex.Message}");
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// 文字列をURLセーフなBase64(Base64URL)に変換します (RFC 4648 準拠)
|
||||
/// </summary>
|
||||
static string ToBase64Url(string plainText)
|
||||
{
|
||||
byte[] bytes = Encoding.UTF8.GetBytes(plainText);
|
||||
return Convert.ToBase64String(bytes)
|
||||
.Replace('+', '-') // '+' を '-' に置換
|
||||
.Replace('/', '_') // '/' を '_' に置換
|
||||
.TrimEnd('='); // 末尾のパディング '=' を削除
|
||||
}
|
||||
|
||||
}
|
||||
@@ -0,0 +1,168 @@
|
||||
using AngleSharp.Html.Parser;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class momonga_magazine
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var pageMaster = "https://momon-ga.com/magazine";
|
||||
|
||||
try
|
||||
{
|
||||
var linkList = new List<string>();
|
||||
for (int pageId = 1; pageId <= 10; pageId++)
|
||||
{
|
||||
var pageURL = $"{pageMaster}/feed/atom/{(pageId > 1 ? $"?paged={pageId}" : "")}";
|
||||
linkList.Add(pageURL);
|
||||
}
|
||||
|
||||
var tasks = linkList.Select(url => CmnUtil.GetFeedItems(client, url)).ToList();
|
||||
var results = await Task.WhenAll(tasks);
|
||||
var allItems = results.SelectMany(items => items).ToList();
|
||||
|
||||
// 簡潔なRSSに整形
|
||||
var simplifiedItems = allItems.OrderByDescending(x => x.PublishDate).Select(originalItem =>
|
||||
{
|
||||
List<SyndicationCategory> getAddCategory()
|
||||
{
|
||||
List<SyndicationCategory> result = new List<SyndicationCategory>();
|
||||
|
||||
string orgText = originalItem.Summary.Text;
|
||||
var parser = new HtmlParser();
|
||||
var document = parser.ParseDocument(orgText);
|
||||
|
||||
var firstP = document.QuerySelector("p");
|
||||
if (firstP != null)
|
||||
{
|
||||
var targetText = firstP.TextContent;
|
||||
int tagIndex = targetText.IndexOf("【タグ】");
|
||||
if (tagIndex >= 0)
|
||||
{
|
||||
// 【タグ】が見つかった場合、そこから前の文字列だけを残す
|
||||
targetText = targetText.Substring(0, tagIndex);
|
||||
}
|
||||
// ----------------------------------------------------
|
||||
// 正規表現で各項目の値を抽出する
|
||||
// ----------------------------------------------------
|
||||
// パターン解説:
|
||||
// 【[^】]+】 : 「【」で始まり、「】以外の文字」が続き、「】」で終わる文字列 (例: 【パロディ】)
|
||||
// ([^【]*) : その後、「【」以外の文字が続く限り取得する (Group1としてキャプチャ)
|
||||
string pattern = @"【[^】]+】([^【]*)";
|
||||
var matches = Regex.Matches(targetText, pattern);
|
||||
|
||||
foreach (Match match in matches)
|
||||
{
|
||||
// match.Groups[1].Value には "パロ1, パロ 2 " などの値が入ります
|
||||
// (項目の中身が空の場合は空文字になります)
|
||||
string valuesStr = match.Groups[1].Value;
|
||||
|
||||
if (string.IsNullOrWhiteSpace(valuesStr))
|
||||
{
|
||||
continue; // 中身が空の場合はスキップ
|
||||
}
|
||||
|
||||
// ----------------------------------------------------
|
||||
// 3. カンマで分割し、前後の空白を除去してカテゴリに追加
|
||||
// ----------------------------------------------------
|
||||
// ※もし全角カンマ「、」も考慮したい場合は new[] { ',', '、' } と記述します
|
||||
string[] splitValues = valuesStr.Split(new[] { ',' }, StringSplitOptions.RemoveEmptyEntries);
|
||||
|
||||
foreach (var val in splitValues)
|
||||
{
|
||||
// 前後の半角・全角スペースを取り除く
|
||||
string categoryName = val.Trim();
|
||||
|
||||
// 空でなければカテゴリとして追加
|
||||
if (!string.IsNullOrEmpty(categoryName))
|
||||
{
|
||||
// domain属性なし(前回回答の手法)でカテゴリを追加
|
||||
result.Add(new SyndicationCategory(categoryName));
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
return result;
|
||||
}
|
||||
|
||||
var newItem = new SyndicationItem()
|
||||
{
|
||||
// タイトルは TextSyndicationContent でラップする必要があります
|
||||
Title = new TextSyndicationContent(originalItem.Title?.Text ?? "No Title")
|
||||
, Id = CmnUtil.CreateGuid(originalItem.Id)
|
||||
, PublishDate = originalItem.PublishDate
|
||||
, LastUpdatedTime = originalItem.LastUpdatedTime
|
||||
|
||||
// 元のコンテンツをそのまま引き継ぐ
|
||||
// , Content = originalItem.Content
|
||||
// , Summary = originalItem.Summary
|
||||
};
|
||||
|
||||
// リンクを引き継ぐ
|
||||
var link = originalItem.Links.FirstOrDefault()?.Uri;
|
||||
if (link != null)
|
||||
{
|
||||
newItem.Links.Add(new SyndicationLink(link));
|
||||
}
|
||||
// カテゴリに本文内の作者などの情報を追加する
|
||||
foreach (var category in getAddCategory())
|
||||
{
|
||||
newItem.Categories.Add(category);
|
||||
}
|
||||
// 【追加】元のRSSが持っていたカテゴリ(タグ)をそのまま引き継ぐ
|
||||
foreach (var category in originalItem.Categories)
|
||||
{
|
||||
category.Scheme = null;
|
||||
newItem.Categories.Add(category);
|
||||
}
|
||||
foreach (var author in originalItem.Authors)
|
||||
{
|
||||
newItem.Authors.Add(author);
|
||||
}
|
||||
|
||||
var body = new StringBuilder();
|
||||
var originalSummary = originalItem.Summary.Text;
|
||||
body.Append(originalSummary);
|
||||
if (link != null)
|
||||
{
|
||||
var task = CmnUtil.GetDocument(client, link.ToString());
|
||||
task.Wait();
|
||||
var docContents = task.Result;
|
||||
var imgElements = docContents.QuerySelectorAll("#post-hentai img");
|
||||
foreach (var img in imgElements)
|
||||
{
|
||||
var src = img.GetAttribute("src");
|
||||
if (!string.IsNullOrEmpty(src))
|
||||
{
|
||||
// 相対URLの場合も考慮して、絶対URLに解決する
|
||||
if (Uri.TryCreate(link, src, out var absoluteUri))
|
||||
{
|
||||
body.Append($"<img src=\"{absoluteUri}\" />");
|
||||
break;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
newItem.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
return newItem;
|
||||
});
|
||||
// 新しい統合フィードを作成
|
||||
var mergedFeed = new SyndicationFeed(
|
||||
"momon-ga.com",
|
||||
"",
|
||||
new Uri("https://momon-ga.com/magazine/"),
|
||||
simplifiedItems
|
||||
);
|
||||
|
||||
CmnUtil.ExportXMLFile("momonga-magazine.xml", mergedFeed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] momonga-magazine:{ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,75 @@
|
||||
using AngleSharp.Dom;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.ServiceModel.Syndication;
|
||||
using System.Text;
|
||||
|
||||
namespace rss_generator.Class.RSS;
|
||||
|
||||
internal class npb_6
|
||||
{
|
||||
public static async Task CreateRSSAsync(HttpClient client)
|
||||
{
|
||||
var feed = new SyndicationFeed("広島東洋カープ - プロ野球 - スポーツナビ", "", new Uri("https://baseball.yahoo.co.jp/npb/teams/6/top"));
|
||||
var items = new List<SyndicationItem>();
|
||||
try
|
||||
{
|
||||
var pageURL = $"https://baseball.yahoo.co.jp/npb/teams/6/top";
|
||||
var rssUrl = $"https://freshrss.armonica-vps.work/api/misc.php/FreshRss FlareSolverr?raw=1&feed={pageURL}";
|
||||
var document = await CmnUtil.GetDocument(client, rssUrl);
|
||||
|
||||
var linkList = new List<string>();
|
||||
if (document != null)
|
||||
{
|
||||
var elements = document.QuerySelectorAll("li.sn-timeLine__item");
|
||||
foreach (var div in elements)
|
||||
{
|
||||
var linkElement = div.QuerySelector("a");
|
||||
if (linkElement == null)
|
||||
{
|
||||
continue;
|
||||
}
|
||||
var titleElement = div.QuerySelector(".sn-timeLine__itemTitle");
|
||||
var imgElement = div.QuerySelector("img");
|
||||
var elemCredit = div.QuerySelector(".sn-timeLine__itemCredit");
|
||||
var elemTime = div.QuerySelector(".sn-timeLine__itemTime");
|
||||
|
||||
var title = titleElement?.TextContent?.Trim() ?? "タイトルなし";
|
||||
var linkHref = linkElement?.GetAttribute("href") ?? string.Empty;
|
||||
var imageSrc = imgElement?.GetAttribute("src");
|
||||
|
||||
var itemUri = !string.IsNullOrEmpty(linkHref) ? new Uri(linkHref) : null;
|
||||
var imageUri = !string.IsNullOrEmpty(imageSrc) ? new Uri(imageSrc) : null;
|
||||
|
||||
var body = new StringBuilder();
|
||||
body.Append($@"<div><a href=""{itemUri}"">{title}</a></div>");
|
||||
body.Append($@"<div><img src=""{imageUri}"" alt=""{title}"" style=""max-width: 100%; height: auto;"" /></div>");
|
||||
|
||||
var updateTime = DateTime.Now;
|
||||
if (DateTime.TryParse(elemTime?.TextContent?.Trim(), out DateTime itemTime))
|
||||
{
|
||||
updateTime = itemTime;
|
||||
}
|
||||
var item = new SyndicationItem(
|
||||
title,
|
||||
string.Empty,
|
||||
itemUri,
|
||||
CmnUtil.CreateGuid(linkHref),
|
||||
updateTime
|
||||
);
|
||||
item.Authors.Add(new SyndicationPerson() { Name = elemCredit?.TextContent?.Trim() ?? "" });
|
||||
item.Summary = new TextSyndicationContent(body.ToString(), TextSyndicationContentKind.Html);
|
||||
|
||||
items.Add(item);
|
||||
}
|
||||
}
|
||||
feed.Items = items;
|
||||
|
||||
CmnUtil.ExportXMLFile("npb_6.xml", feed);
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
LogManager.AddLog($"[エラー] npb_6:{ex.Message}");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,99 @@
|
||||
using AngleSharp.Dom;
|
||||
using Microsoft.Extensions.DependencyInjection;
|
||||
using rss_generator.Class;
|
||||
using rss_generator.Class.RSS;
|
||||
using rss_generator.Class.RSS.hitomi_la;
|
||||
using rss_generator.Class.RSS.X;
|
||||
using System.Diagnostics;
|
||||
|
||||
var services = new ServiceCollection();
|
||||
// 2. IHttpClientFactory の登録とクッキーの有効化設定(名前付きクライアント)
|
||||
services.AddHttpClient("webClient");
|
||||
// コンテナをビルド
|
||||
var serviceProvider = services.BuildServiceProvider();
|
||||
// ファクトリインスタンスを取り出す
|
||||
var httpClientFactory = serviceProvider.GetRequiredService<IHttpClientFactory>();
|
||||
|
||||
LogManager.AddLog($"[情報] rss-generatorの起動");
|
||||
|
||||
// 実行したい指定の「分」を配列で設定(例:毎時 0分 と 30分)
|
||||
int[] targetMinutes = new int[] { 0, 30 };
|
||||
|
||||
while (true)
|
||||
{
|
||||
var nowDate = DateTime.Now;
|
||||
|
||||
#if DEBUG
|
||||
#else
|
||||
// 次に実行すべき指定時刻を取得
|
||||
var nextRunTime = CmnUtil.GetNextTargetTime(nowDate, targetMinutes);
|
||||
// 次の時刻までの待ち時間(TimeSpan)を計算
|
||||
TimeSpan delay = nextRunTime - nowDate;
|
||||
|
||||
LogManager.AddLog($"[情報] 次回実行予定: {nextRunTime:HH:mm:ss} (あと {delay.TotalMinutes:F1} 分待機)");
|
||||
|
||||
// 指定時刻まで完全に処理を停止(非同期スリープ)
|
||||
await Task.Delay(delay);
|
||||
#endif
|
||||
|
||||
// 指定時刻になったら処理を実行
|
||||
var sw = new Stopwatch();
|
||||
sw.Restart();
|
||||
try
|
||||
{
|
||||
using var client = httpClientFactory.CreateClient("webClient");
|
||||
client.DefaultRequestHeaders.UserAgent.Clear();
|
||||
// ここでブラウザのUser-Agentを偽装(最新のChromeを偽装)
|
||||
client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
|
||||
// サイトによってはAcceptヘッダーがないと弾く場合もあるため、念のため追加
|
||||
client.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
|
||||
|
||||
var tasks = new List<Task>();
|
||||
|
||||
var from = new DateTime(nowDate.Year, nowDate.Month, nowDate.Day, 5, 0, 0);
|
||||
var to = new DateTime(nowDate.Year, nowDate.Month, nowDate.Day, 7, 15, 0);
|
||||
if (from < nowDate && nowDate < to)
|
||||
{
|
||||
tasks.Add(momonga_fanzine.CreateRSSAsync(client));
|
||||
tasks.Add(momonga_magazine.CreateRSSAsync(client));
|
||||
}
|
||||
tasks.Add(Youtube.CreateRSSAsync(client));
|
||||
tasks.Add(x_list.CreateRSSAsync(client));
|
||||
tasks.Add(javtwi.CreateRSSAsync(client));
|
||||
tasks.Add(kimochiinfo.CreateRSSAsync(client));
|
||||
tasks.Add(missav.CreateRSSAsync(client));
|
||||
tasks.Add(missav123.CreateRSSAsync(client));
|
||||
tasks.Add(npb_6.CreateRSSAsync(client));
|
||||
tasks.Add(ci_en.CreateRSSAsync(client));
|
||||
//tasks.Add(index_japanese.CreateRSSAsync(client));
|
||||
|
||||
await Task.WhenAll(tasks);
|
||||
|
||||
sw.Stop();
|
||||
LogManager.AddLog($"[情報] RSS生成完了 実行時間:{sw.Elapsed.TotalSeconds}秒");
|
||||
sw.Restart();
|
||||
|
||||
// /bin/bash /usr/local/bin/update_rss.sh
|
||||
#if DEBUG
|
||||
sw.Stop();
|
||||
LogManager.AddLog($"[情報] 実行完了 実行時間:{sw.Elapsed.TotalSeconds}秒");
|
||||
|
||||
await LogManager.FlushAndCloseAsync();
|
||||
break;
|
||||
#else
|
||||
LogManager.AddLog($"[情報] FreshRSS 更新開始");
|
||||
await CmnUtil.RunCommandAsync("/bin/bash", "/usr/local/bin/update_rss.sh", "");
|
||||
|
||||
sw.Stop();
|
||||
LogManager.AddLog($"[情報] FreshRSS 更新完了 実行時間:{sw.Elapsed.TotalSeconds}秒");
|
||||
#endif
|
||||
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
// 途中でエラーが起きてもプログラム全体がクラッシュして止まらないように保護
|
||||
LogManager.AddLog($"[エラー] main:{ex.Message}");
|
||||
LogManager.AddLog($"{ex.StackTrace}");
|
||||
//await LogManager.FlushAndCloseAsync();
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,11 @@
|
||||
<?xml version="1.0" encoding="utf-8"?>
|
||||
<!-- https://go.microsoft.com/fwlink/?LinkID=208121. -->
|
||||
<Project>
|
||||
<PropertyGroup>
|
||||
<Configuration>Release</Configuration>
|
||||
<Platform>Any CPU</Platform>
|
||||
<PublishDir>bin\publish\</PublishDir>
|
||||
<PublishProtocol>FileSystem</PublishProtocol>
|
||||
<_TargetId>Folder</_TargetId>
|
||||
</PropertyGroup>
|
||||
</Project>
|
||||
@@ -0,0 +1,30 @@
|
||||
<Project Sdk="Microsoft.NET.Sdk">
|
||||
|
||||
<PropertyGroup>
|
||||
<OutputType>Exe</OutputType>
|
||||
<TargetFramework>net10.0</TargetFramework>
|
||||
<RootNamespace>rss_generator</RootNamespace>
|
||||
<ImplicitUsings>enable</ImplicitUsings>
|
||||
<Nullable>enable</Nullable>
|
||||
</PropertyGroup>
|
||||
|
||||
<ItemGroup>
|
||||
<PackageReference Include="AngleSharp" Version="1.7.1" />
|
||||
<PackageReference Include="AngleSharp.Xml" Version="1.1.0" />
|
||||
<PackageReference Include="Dapper" Version="2.1.79" />
|
||||
<PackageReference Include="Microsoft.Extensions.DependencyInjection" Version="10.0.11" />
|
||||
<PackageReference Include="Microsoft.Extensions.Http" Version="10.0.11" />
|
||||
<PackageReference Include="Npgsql" Version="10.0.3" />
|
||||
<PackageReference Include="PuppeteerSharp" Version="25.6.0" />
|
||||
<PackageReference Include="SSH.NET" Version="2026.0.0" />
|
||||
<PackageReference Include="System.ServiceModel.Syndication" Version="10.0.11" />
|
||||
</ItemGroup>
|
||||
|
||||
<Target Name="PostPublishDeploy" AfterTargets="Publish">
|
||||
<Message Text="=== [VPS Deploy] Starting Deploy via MSBuild ===" Importance="high" />
|
||||
<Exec Command="ssh -p 22321 armonica@162.43.79.113 "mkdir -p /home/armonica/docker/rss-generator/app"" />
|
||||
<Exec Command="scp -P 22321 -r "$(ProjectDir)bin\publish\*" armonica@162.43.79.113:/home/armonica/docker/rss-generator/app/" />
|
||||
<Exec Command="ssh -p 22321 armonica@162.43.79.113 "cd /home/armonica/docker/rss-generator && docker compose up -d --build rss-generator"" />
|
||||
<Message Text="=== [VPS Deploy] All processes completed successfully! ===" Importance="high" />
|
||||
</Target>
|
||||
</Project>
|
||||
Reference in new issue
Block a user