2017.12.25 12:07
Apache Airflow でタスクスケジューリングしてみた ～Airflowによって開発負荷が変わる～
Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.07 14:56
Apache Airflow でタスクスケジューリングしてみた ～タスク開発のポイント～
Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2014.01.13 12:58
Quick Startのための分析ツールとは｜ギックスのビッグデータ分析体系 ⑧
手軽に利用できるビッグデータ分析ツール ここまで７回にわたってギックスのビッグデータ分析体系の中の分析プロセスについて説明しました。本日は分析体系の中の「ギックスで利用するビッグデータ分析ツール」の紹介に進みます。ビックデータ分析体系の中...
2014.02.14 09:03
ビッグデータ活用事例（12）アフターサービス/会社を強くするビッグデータ活用
この連載では「会社を強くする ビッグデータ活用入門 -基本知識から分析の実践まで-」で取り上げたビッグデータやアナリティクスの活用事例を抜粋し、ご紹介していきます。 書籍の中では大きく2つの場合で事例を区分しており、合計8回にわたり、...
2014.03.20 14:41
巷で”噂”のビッグデータ分析ツール「Microsoft Power BI」を使ってみた
Microsoft Power BIは、データアーティストの活躍の場を拡げる 本稿は、エクセルアドイン版のPower BI = Power BI for Office365 に関する記事です。 2015/4/24にPower BI...
2020.12.09 07:54
Apache Superset の可視化例紹介
この記事は GiXo アドベントカレンダー の 9 日目の記事です。昨日は、SPA の First View 表示速度を改善するでした。 Technology Div.の幸田です。本記事では、OSSのBIツールであるApache S...
2021.12.15 09:00
コロナ禍におけるD&Sチームのリモートワーク活用記
この記事は GiXo アドベントカレンダー の 15 日目の記事です。昨日は、Business Planning Div. 紹介でした。 はじめまして、Design & Science Div.の田原です。DIコンサルティン...
RECOMMEND
SERVICE
SERVICE
