はじめに マイクロアドでサーバーサイドエンジニアをしている高橋です。 Apache Spark SQL connector for Google BigQuery（以下spark-bigquery-connector）でSparkからBigQueryにデータを転送する際に、ドキュメント通りでもうまくいかない部分がありました…

はじめに マイクロアドでサーバサイドエンジニアをしているタカギです。 今回はPythonアプリから参照するデータをMySQLからBigQuery1へ切り替えた話になります。 背景 マイクロアドでは様々なデータを扱っています。 広告配信で発生するログはCDH2に蓄積およ…