2017.12.25 12:07
Apache Airflow でタスクスケジューリングしてみた ～Airflowによって開発負荷が変わる～
Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.24 13:36
Apache Airflow でタスクスケジューリングしてみた ～ログを退避させる～
外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2014.01.22 09:02
ビッグデータとは/会社を強くするビッグデータ活用
ビッグデータの4タイプ 「ビッグデータ」とは何者かを考えていきましょう。世の中の「ビッグデータ」という言葉の使われ方から、その定義は大きく4つに分けられることがわかります。 1.単純にデータ量が大きいと述べているもの 2.デー...
2015.03.11 08:52
グループによる2次属性づけ｜プロ野球データでクロス集計with Tableau 第9回
2014年のプロ野球全打席データをクロス集計していきます 2014年のプロ野球の打席データを全量（約6.6万件)手元に置き、さまざまな切り口でクロス集計して、プロ野球全体の打席の傾向を見ていく「プロ野球データでクロス集計 with Tab...
2015.04.25 21:57
Power BIスマホアプリでデータを見る | ブラウザで動く新Power BIを使ってみた
小さなスマホ画面でもしっかりデータが見れるPower BIスマホアプリ Power BIブラウザ版のデータを参照するためのスマホアプリ「Microsoft Power BI app for iOS」も無料でダウンロードできます。前回、Po...
2015.06.18 14:50
Amazon Redshiftを利用料金そのままでds1.xlarge(旧：dw1.xlarge)からds2.xlargeにアップグレードしてみた｜AWSを使い倒せ
ds2.xlargeは、従来のCPU性能、メモリ容量が2倍、I/Oが1.5倍！なのにお値段そのまま！！ 先日(2015/6/9)、AmazonよりRedshiftの新しいインスタンスタイプ「DS2」が発表されました。DS2インスタンスは、...
2015.10.26 07:00
オブジェクト指向プログラミング(OOP)をおさらいしよう～自分のプログラムが「他者をより便利にする」という願い～
すべては効率化のための「配慮」へつながる こんにちは。技術チームの岩谷です。本連載ではオブジェクト指向プログラミング(OOP)をおさらいする連載を書かせていただいています。今回は過去の連載で説明させていただいたOOPの要素を振り返る形でO...
RECOMMEND
SERVICE
