2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.07 14:56
Apache Airflow でタスクスケジューリングしてみた ～タスク開発のポイント～
Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
2018.02.24 13:36
Apache Airflow でタスクスケジューリングしてみた ～ログを退避させる～
外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2014.02.04 09:04
ビッグデータ活用事例（5）経営管理領域/会社を強くするビッグデータ活用
この連載では「会社を強くする ビッグデータ活用入門 -基本知識から分析の実践まで-」で取り上げたビッグデータやアナリティクスの活用事例を抜粋し、ご紹介していきます。 書籍の中では大きく2つの場合で事例を区分しており、合計8回にわたり、...
2014.06.18 12:04
Microsoft Power BI 導入レポート：本格導入③ ～クラウド環境へのSQL Serverのインストール／セットアップ～
Power BI本格導入(=SQL Server 導入)をしてみよう クラウド環境にSQL Serverを導入する 前回は、SQL Serverをオンプレ環境に構築する手順を紹介しましたが、今回はSQL Serverをクラウド環境（Mi...
2014.08.07 09:02
「Tableau(タブロー)」を使ってみた|利用頻度の高いグラフ作成② ～累積日次数値の対前年同月比較
利用頻度の高いグラフを作成し、Tableauの操作チップスを紹介する こちらの記事でご紹介したとおり、Tableauは感覚的に操作でき試行錯誤しながらグラフを作れる、自由度の高いソフトです。ただ「試行錯誤でき自由度が高い」という優位性のト...
2014.10.21 08:56
（2）統計家の視点で読み解く：データサイエンス、統計学からみるか？機械学習からみるか？｜ギックスの本棚／戦略的データサイエンス入門 ~ビジネスに活かすコンセプトとテクニック~ （O’REILLY/オライリー）
1990年代に統計を学んだ統計専門家が「戦略的データサイエンス入門」を読んで感じたこと 本稿では、統計学の専門家（Statistician）が、『戦略的データサイエンス入門』をどう読んだかについて、述べていきたいと思います。同書を「ビジネ...
2015.01.19 08:52
カウント別打率ランキング 【パリーグ】｜プロ野球データでクロス集計 with Tableau 第4回
2014年のプロ野球全打席データをクロス集計していきます 2014年のプロ野球の打席データを全量（約6.6万件)手元に置き、さまざまな切り口でクロス集計して、プロ野球全体の打席の傾向を見ていく「プロ野球データでクロス集計 with Tab...
RECOMMEND
SERVICE
