2017.12.25 12:07
Apache Airflow でタスクスケジューリングしてみた ～Airflowによって開発負荷が変わる～
Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
2018.02.07 14:56
Apache Airflow でタスクスケジューリングしてみた ～タスク開発のポイント～
Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
2018.02.24 13:36
Apache Airflow でタスクスケジューリングしてみた ～ログを退避させる～
外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2014.01.29 09:02
ビッグデータ活用事例（1）流行予測/会社を強くするビッグデータ活用
この連載では「会社を強くする ビッグデータ活用入門 -基本知識から分析の実践まで-」で取り上げたビッグデータやアナリティクスの活用事例を抜粋し、ご紹介していきます。 書籍の中では大きく2つの場合で事例を区分しており、まずは4回に渡って...
2014.12.15 08:59
2次属性データとクロス集計で事業構造分析を行う
2次属性データとクロス集計は最強の組み合わせである ビッグデータブームはデータが大量に発生し始めている事に加えて、その大量に発生したデータを処理する環境が整ってきたからにほかなりません。個人的には、ビッグデータに注力してもよいと考えるきっか...
2015.10.19 07:00
リフレクション解説第二回～プログラムの内部構造をデータとして取得～｜オブジェクト指向プログラミング(OOP)をおさらいしよう（８）
プログラムも「一個のデータ」です。 こんにちは。技術チームの岩谷です。本連載ではオブジェクト指向プログラミング(OOP)をおさらいする連載を書かせていただいています。前回「リフレクション」について説明させていただいたのですが、その中で ...
2020.05.19 08:26
マイクロサービスのための設計パターン (1) – Strangler Application
昨今では、サービス開発において「マイクロサービスアーキテクチャ」を採用することも珍しくなくなりました。 マイクロサービスアーキテクチャを採用する利点についてはもはや改めて語るまでもないですが、何となくマイクロサービスで始めてみたが後悔した...
2021.12.02 08:30
React + Typescript で時間対効果が高い Lint 構成を考える
この記事は GiXo アドベントカレンダー の 2 日目の記事です。昨日は、「GiXo Advent Calendar 2021」でした。 Data-Informed 事業本部 / Technology Div. の濱田です。Rea...
RECOMMEND
SERVICE
SERVICE
