2017.12.25 12:07
Apache Airflow でタスクスケジューリングしてみた ～Airflowによって開発負荷が変わる～
Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.24 13:36
Apache Airflow でタスクスケジューリングしてみた ～ログを退避させる～
外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2014.05.13 08:57
回帰分析とその応用② ～重回帰分析
各種回帰分析の実施方法を解説 本連載では、回帰分析の実施方法について、5日間に渡り説明してまいります。第2回目の本日は、重回帰分析について説明していきます。 回帰分析における回帰直線の引き方 重回帰分析に入る前に、まず重回帰分析の理解...
2014.08.06 09:03
”R”で実践する統計分析｜回帰分析編：②重回帰分析【外部寄稿】
Rによる回帰分析の実施手順を紹介 本日は、Rの使い方の実践として、「回帰分析」について紹介していきます。なお、回帰分析の理論については、こちらの特集内の【寄稿】回帰分析とその応用を参照ください。 『”R”で実践する統計分析｜回帰分析...
2015.02.20 09:05
第6回・JSONファイル｜CSV、XML、JSON…データフォーマットの変遷について考える
フォーマット解説の第四弾(最後)はJSONフォーマットです 前回(第5回)は、各フォーマットを説明していく第三弾としてXMLフォーマットについて説明しました。今回は第四弾としてJSONフォーマットについて説明します。JSONは第4回(フォ...
2015.08.24 08:44
Amazon Redshiftの利用料金を半額にしよう！～自動シャットダウン/リストアのノウハウ公開～｜AWSを使い倒せ
Redshiftの起動時間を減らす シャットダウン&リストア・バッチプログラム Amazonのビッグデータ専用のDBであるAmazon Redshift(以下、Redshift)は、自社でオンプレミスのサーバー環境を構築する場合に...
2016.11.09 15:54
Power BI を使うことで手軽にブラウザベースでレポート共有が行える ～有償版への乗り換えポイントは？～
Power BI は無料からレポート共有ができるお手軽BIツール 一般企業でもデータ分析が行われるようになった今、データ分析を行うための「BIツール」と呼ばれる製品は非常に多く発表されています。弊社でもメジャーなBIツールを検証した結果、...
RECOMMEND
SERVICE
SERVICE
