はじめに マイクロアドでサーバサイドエンジニアをしているタカギです。 この記事は、JSON形式の生ログをParquet形式へ変換する際に発生する膨大なI/Oを削減した話になります。 背景 マイクロアドではデータ基盤移行プロジェクトを進めてきました。 様々な検…

マイクロアドでサーバサイドエンジニアをしているタカギです。 今回はデータ基盤移行とPySparkについての話になります。 目次 目次 データ基盤移行の概要 データ基盤移行後のバッチ処理 Spark Connectを導入する Spark Connectの問題点 まとめ 補足 データ基…