2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.07 14:56
Apache Airflow でタスクスケジューリングしてみた ～タスク開発のポイント～
Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
2018.02.24 13:36
Apache Airflow でタスクスケジューリングしてみた ～ログを退避させる～
外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2014.01.15 09:05
ビッグデータ活用のケイパビリティ/会社を強くするビッグデータ活用
ビッグデータ活用に求められる”ケイパビリティ”とは？ ビッグデータを活用して事業をいかに高度化するか、は戦略スタッフである経営企画部や営業企画部、マーケティング企画部などの事業企画部に求められる役割です。 では、事業企画部に求められるビ...
2014.05.15 08:59
回帰分析とその応用④ ～スコアリング
各種回帰分析の実施方法を解説 本連載では、回帰分析の実施方法について、5日間に渡り説明してまいります。第4回目の本日は、ロジスティック回帰分析を使ったスコアリングを紹介します。 ロジスティック回帰分析によるスコアリング マーケティング...
2014.08.13 09:05
”R”で実践する統計分析｜回帰分析編：③ロジスティック回帰分析【外部寄稿】
Rによる回帰分析の実施手順を紹介 本日は、Rの使い方の実践として、「回帰分析」について紹介していきます。なお、回帰分析の理論については、こちらの特集内の【寄稿】回帰分析とその応用を参照ください。 『”R”で実践する統計分析｜回帰分析...
2014.09.08 09:04
Geek at GiXoの分析ツール使いこなし術｜TableauとRの連携 第1回
[ギックス流]での分析ツール活用をお伝えします 私が分析ツールアドバイザーを務める「株式会社ギックス」は、クライアントの事業を高度化するための分析を実施することを主業務の一つと置いており、また、その実現にあたっては「分析の目的にマッチし、...
2014.12.23 09:04
Python+Anaconda+Eclipseのインストール手順/PythonとRのビッグデータ統計分析の比較 第2回
AnacondaとEclipseの導入・連携の手順 前回の記事では、統計モデルを構築する上でRの他にPythonを利用する方法があることや、その環境を構築する上で必要となるモジュール群の概要を説明しました。今回は、AnacondaとEcl...
RECOMMEND
SERVICE
SERVICE
