Tech & Science 2017.12.25 12:07 Apache Airflow でタスクスケジューリングしてみた ~Airflowによって開発負荷が変わる~ Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
Tech & Science 2018.01.30 22:33 Apache Airflow でタスクスケジューリングしてみた ~公式ドキュメントの読み解き方~ Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう!」っと思ってもAirflow公式ドキュメント...
Tech & Science 2018.02.24 13:36 Apache Airflow でタスクスケジューリングしてみた ~ログを退避させる~ 外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
Tech & Science 2020.02.10 09:06 Cloud Composer と GKE を活用して機械学習のワークフローを構築する GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
Tech & Science 2020.04.13 08:07 機械学習基盤における Cloud Dataflow の活用 Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
Others 2014.01.15 09:05 ビッグデータ活用のケイパビリティ/会社を強くするビッグデータ活用 ビッグデータ活用に求められる”ケイパビリティ”とは? ビッグデータを活用して事業をいかに高度化するか、は戦略スタッフである経営企画部や営業企画部、マーケティング企画部などの事業企画部に求められる役割です。 では、事業企画部に求められるビ...
Tech & Science 2014.05.15 08:59 回帰分析とその応用④ ~スコアリング 各種回帰分析の実施方法を解説 本連載では、回帰分析の実施方法について、5日間に渡り説明してまいります。第4回目の本日は、ロジスティック回帰分析を使ったスコアリングを紹介します。 ロジスティック回帰分析によるスコアリング マーケティング...
Tech & Science 2014.08.13 09:05 ”R”で実践する統計分析|回帰分析編:③ロジスティック回帰分析【外部寄稿】 Rによる回帰分析の実施手順を紹介 本日は、Rの使い方の実践として、「回帰分析」について紹介していきます。なお、回帰分析の理論については、こちらの特集内の【寄稿】回帰分析とその応用を参照ください。 『”R”で実践する統計分析|回帰分析...
Tech & Science 2015.02.20 09:05 第6回・JSONファイル|CSV、XML、JSON…データフォーマットの変遷について考える フォーマット解説の第四弾(最後)はJSONフォーマットです 前回(第5回)は、各フォーマットを説明していく第三弾としてXMLフォーマットについて説明しました。今回は第四弾としてJSONフォーマットについて説明します。JSONは第4回(フォ...
Tech & Science 2015.09.28 07:00 リフレクションとは?~文字列で指定されたクラスのメソッドを実行~|オブジェクト指向プログラミング(OOP)をおさらいしよう(7) 実行するクラスやメソッド名をURLなどのパラメータから取得して動的に制御したい。 こんにちは。技術チームの岩谷です。本連載ではオブジェクト指向プログラミング(OOP)をおさらいする連載を書かせていただいています。今回は第七回として「リフレ...