2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.07 14:56
Apache Airflow でタスクスケジューリングしてみた ～タスク開発のポイント～
Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
2018.02.24 13:36
Apache Airflow でタスクスケジューリングしてみた ～ログを退避させる～
外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2016.11.16 08:12
データベースを”倉庫”ではなく”道具”として使う発想 ～データベース上で分析データを下ごしらえする～
データベースの特性を活かすことで "誰でも"、"確実に" データ分析が行える データ分析 ＝ データベース。こんな公式を書いて何の違和感もないほど、データベースは、データ分析のために「なくてはならない存在」です。まさに、両者は切っても切れ...
2017.05.18 17:31
クラウドサーバーが、常にオンプレミスより優れているとは限らない ～スモールローカルサーバーという新たな選択肢～
クラウドサービスの空白地帯を考えたオンプレミスの導入 Amazon社がクラウドサービスの Amazon Web Services (通称、AWS)を公開して10年。新規システムならクラウドサービス内で作るのが当たり前となり、既存のオンプレ...
2017.10.27 07:17
AWS Glue を使ってみた ～ETLツールではなくETL支援サービスとしての役割～
AWS Glue がフルマージドしているのはETLのプロセスではなく動作環境 データ分析ではデータベースを使うことが多く、そのデータベースにデータを入れるためにはETL処理は必要不可欠な処理です。ETL処理をフルスクラッチでプログラミング...
2020.01.22 08:21
DOCOMO Open House 2020に、「トチカチ」を出展しています。
DOCOMO Open House2020（ドコモオープンハウス2020）に出展中 現在、βリリースでサービス提供中の ”エリア価値可視化ツール”「トチカチ」を、現在、東京ビッグサイトで開催中（※一般公開は明日(1/23)から）のD...
2020.12.24 09:38
React + TypeScript + Cypress で始める E2E テスト
この記事は GiXo アドベントカレンダー の 24 日目の記事です。昨日は、 React で作る中規模 SPA のレイヤードアーキテクチャ でした。 MLOps Div. の濱田です。本日は 12 月 24 日ですね。学校では期末...
RECOMMEND
SERVICE
SERVICE
