Akka Streamsで例外を扱う時の注意

Scala Akka Streams Tips

マイクロアドのサーバサイドエンジニアの松宮です。本日は技術Tips記事ということで、Akka Streamsで例外を扱う時の注意点についてのお話です。 Akka Streamsはフローを分岐した複雑なグラフを作る事が簡単に出来ます。また、例外についても捕捉する手段はい…

Spark Streaming と Kryo シリアライザーの話

Spark Streaming Scala Tips

マイクロアドでアプリケーションエンジニアをしている「G」です。日々、バッチを作ったり WEB アプリケーションを作ったりしています。今回はライトに Spark Streaming でカスタム Kryo （クライオ）シリアライザーが必要になってしまったお話を書いていき…

Redis Message Pack Tips

こんにちは。マイクロアドでアプリケーションエンジニアをしている新卒1年目の武井です。今回は私が最近の案件で Redis と MessagePackを使った開発のお話をさせていただければと思います。 Redis と MessagePack まず題名のRedisとMessagePackのそれぞれ…

Hive Tips

こんにちは。マイクロアドでサーバーサイドエンジニアをしている大澤です。今回はApache HiveでComplex型(ARRAY, STRUCT, MAP, UNION)を使用している際に発生した問題と解決方法について紹介します。問題の内容 Hive上に下記の様なテーブルが存在する場合…

DSP Digdag ワークフローエンジン Tips

はじめまして。アプリケーションエンジニアの中野です。以前、MicroAdのデータ基盤の記事で紹介されていましたが、マイクロアドではデータ基盤刷新のタイミングでワークフロー管理ツールのDigdagを採用しました。今回の記事では、Digdag採用の経緯やワーク…

Spark Scala Spark Streaming Tips

マイクロアドのサーバサイドエンジニアの松宮です。今回はプログラミングのTips的な記事になります。タイトルの通り、「SparkでGeoIP2を使うとjava.lang.NoSuchMethodErrorが発生する問題の回避方法」を説明したいと思っておりまして、というのも、SparkでG…