2017.12.25 12:07
Apache Airflow でタスクスケジューリングしてみた ～Airflowによって開発負荷が変わる～
Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
2018.02.07 14:56
Apache Airflow でタスクスケジューリングしてみた ～タスク開発のポイント～
Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
2018.02.24 13:36
Apache Airflow でタスクスケジューリングしてみた ～ログを退避させる～
外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2014.01.31 09:00
ビッグデータ活用事例（3）情報共有による効率化/会社を強くするビッグデータ活用
この連載では「会社を強くする ビッグデータ活用入門 -基本知識から分析の実践まで-」で取り上げたビッグデータやアナリティクスの活用事例を抜粋し、ご紹介していきます。 書籍の中では大きく2つの場合で事例を区分しており、まずは4回に渡って...
2014.06.16 09:08
Microsoft Power BI 導入レポート：本格導入① ～SQL Serverの構成を知ろう～
Power BI本格導入(=SQL Server 導入)してみよう Power BIの本格導入とは? これまで、Microsoft Office 365+Office 365 ProPlusをインストールするだけで使える『お手軽導入編』...
2014.12.29 09:03
第3回 Rでの実装｜POSデータでマーケットバスケット分析の実践 with R
POSデータでマーケットバスケット分析をした結果を公開していきます 本連載では、4回にわたり、ある書店の実際のPOSデータをもとに、マーケットバスケット分析の事例をRで実装しながら紹介します。マーケットバスケット分析について紹介した本やW...
2015.02.24 09:02
第6回 STEP3 分析方針の検討｜POSデータで事業構造分析 with Power BI
Power BIで実践するPOSデータの事業構造分析を公開 この連載では、2013年11月に弊社CEOの網野が出版した「会社を強くするビッグデータ分析」「Part２ 分析の実践」の部分を「Power BIでPOSデータを使って事業構造分析...
2015.06.13 09:50
データレイクはビッグデータのストレージ：データウェアハウス(DWH)やデータマートへの取込口です
データレイク(Data Lake)はファイル置き場 こんにちは、技術チームの岩谷です。先日とある方より「このごろデータレイクって言葉をよく聞くけど、"Data Lake→データの湖"ってどういう事？」という質問をいただきました。この場を借...
RECOMMEND
SERVICE
SERVICE
