はじめに Apache Iceberg とは Icebergのメタデータは、どこを見れば分かるのか 検証内容 検証環境 1. INSERT 後に生成されるメタデータを確認する 2. UPDATE後にメタデータがどのように変化するのかを確認する 3. 実データファイルを大量に作り、コンパクシ…

はじめに プラットフォームエンジニアリングチームの齊藤（id:saitoperf）です。 マイクロアドでは、Kubernetes (K8s) クラスタのライフサイクル管理に Rancher を使用しています。 Rancher は、OSS の K8s クラスタ管理ツールで、クラスタの構築・可視化・…

はじめに 監視要件の整理 APIの基本監視 ML特有の監視 オンライン評価指標 ビジネス指標 監視基盤の構成 ダッシュボード設計 Latency・Traffic・Errors Saturation アラート設計 今後の展望 ビジネス指標のダッシュボード監視 動的なアラート条件の導入 まと…

はじめに こんにちは、マイクロアドでアプリケーションエンジニアをしている渡部です。 12月初旬に、会社で契約しているGoogle Workspaceのユーザーのみが使用できるGoogleカレンダーアドオンを公開しました。 アドオンの目的と機能 開発の背景 マイクロアド…

はじめに こんにちは、マイクロアドで機械学習エンジニアをしている木村です。 この記事では、マイクロアドにおける ML（Machine Learning）モデル学習バッチのログ設計とその監視について紹介します。 また、後半では実際のダッシュボードを用いた運用事例…

マイクロアドでフロントエンドエンジニアをしている大石です。 フロントエンド領域で欠くことのできない"デザイン"に課題はありませんか？ 仮実装フェーズから最終成果物まで、非デザイナーでもデザインを行うケースは多々あります。 非デザイナーのフロント…

TL;DR Trinoで時々発生するメモリ管理関連のタイムアウトエラーは、ドキュメントに記載されていない memory-manager.http-client.request-timeout パラメータを設定することで解決できることがあります。 # config.properties（Coordinatorのみ） memory-man…

はじめに プラットフォームエンジニアリングユニットの齊藤（id:saitoperf）です。 マイクロアドでは、複数の Kubernetes (K8s) クラスタを Rancher から構築・管理しています。 Rancher は、OSS の K8s クラスタ管理ツールで、クラスタの状況確認や UI 上か…

マイクロアドで広告配信システムのバックエンド開発をしている飛田です。 私たちの開発チームでは、GitHub Copilotを中心としたAIアシスタントを活用しています。試行錯誤を重ねる中で効果的だったプラクティスを、今回はいくつかご紹介します。 まだまだ模…