2017.12.25 12:07
Apache Airflow でタスクスケジューリングしてみた ～Airflowによって開発負荷が変わる～
Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.07 14:56
Apache Airflow でタスクスケジューリングしてみた ～タスク開発のポイント～
Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2013.12.30 13:05
もう一歩踏み込みたい方は「モデリング」を学ぼう｜ギックスのビッグデータ分析体系 ⑥
分析の花形のモデリング 前回の第５回までで、「ビジネスの理解」「データの準備・理解」「2次属性の作成」「セグメントの特徴把握」というビックデータ分析を試みる際に、まず実施すべき一連の流れをご紹介しました。ここまでのプロセスは数学的にみると...
2014.05.08 12:08
エンジニアの感じる「Microsoft Power BI」のインパクト｜第2回：お手軽導入（PowerPivot）のインパクト
表計算ソフトからの”脱皮” BIシーンに大きなインパクトをもたらす可能性を秘めた「Power BI」。ギックスでも、これまで何度も取り上げてきました。（関連記事リスト：Microsoft Power BIはデータアーティストの武器となる ...
2014.07.30 09:08
”R”で実践する統計分析｜回帰分析編：①単回帰分析【外部寄稿】
Rによる回帰分析の実施手順を紹介 本日からRの使い方の実践として、「回帰分析」について紹介していきます。なお、回帰分析の理論については、こちらの特集内の【寄稿】回帰分析とその応用を参照ください。 『”R”で実践する統計分析｜回帰分析...
2015.05.23 09:01
「フルマネージド」クラウドサービス～第五回・クラウドサービスは「フルマネージド(Fully Managed)」へ～
「フルマネージド(Fully Managed)のクラウドサービス」これからの展望 これまで四回に渡って「フルマネージド(Fully Managed)のクラウドサービス」について書かせていただきました。前々回・前回は「フルマネージドのアプリ...
2015.06.11 14:35
最速！アプリ開発マニュアル「これだけ読めば、すぐにつくれる！」～Watsonをクラウドサービス「Bluemix」から使う(第二回)
20分で作るWatson連携アプリ 前回は連載第一回として「Watson・Bluemix・クラウド」の関係を簡単に説明させていただきました。その中で高度な質疑応答システムであるWatsonの機能をクラウドサービスのBluemixから利用で...
RECOMMEND
SERVICE
SERVICE
