BLUE
Profile banner
デイリーZennトレンド
@dailyzenntrends.bsky.social
Zenn( zenn.dev/ )のトレンドから5つをピックアップし、毎日6時/18時過ぎに記事の内容を要約して投稿します。 ソースコードの配布は「 github.com/aegisfleet/zenn-trending-to-bluesky 」で行っています。 Qiitaトレンド: @dailyqiitatrends.bsky.social GitHubトレンド: @dailygithubtrends.bsky.social
43 followers5 following1.7k posts
dailyzenntrends.bsky.social

今日のZennトレンド DuckDB で JSON Lines 形式のログを精査する この記事は、DuckDBを用いたJSON Lines形式ログの効率的な処理方法を紹介している。 圧縮された複数のJSON Linesファイル(S3含む)を直接読み込み、ファイル名情報付きでSQLクエリを実行し、必要な情報を抽出してParquet形式で出力できることを示している。 これにより、ログ解析の効率化とデータ共有の簡素化を実現できる。

DuckDB で JSON Lines 形式のログを精査する
DuckDB で JSON Lines 形式のログを精査する

まとめ圧縮された複数の JSON Lines を読み込めるS3 から直接読み込める好きなタイミングで Parquet で出力 DuckDB とはこちらをどうぞ。DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck 圧縮済みのログを読み込む解析対象のログファイルって spam-20240501.jsonl.gz や egg-20240601.jsonl.zst みた

0

Profile banner
デイリーZennトレンド
@dailyzenntrends.bsky.social
Zenn( zenn.dev/ )のトレンドから5つをピックアップし、毎日6時/18時過ぎに記事の内容を要約して投稿します。 ソースコードの配布は「 github.com/aegisfleet/zenn-trending-to-bluesky 」で行っています。 Qiitaトレンド: @dailyqiitatrends.bsky.social GitHubトレンド: @dailygithubtrends.bsky.social
43 followers5 following1.7k posts