2017.12.25 12:07
Apache Airflow でタスクスケジューリングしてみた ～Airflowによって開発負荷が変わる～
Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.24 13:36
Apache Airflow でタスクスケジューリングしてみた ～ログを退避させる～
外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2013.11.25 09:00
”Technology & Science” Blog
Technology & Science のHow-Toをご紹介 Technology & Scienceブログでは、4つのCMOケイパビリティのうち、「マーケティング・テクノロジスト＝テクノロジー活用スキル」と「...
2014.01.20 08:04
Quick Startのための分析インフラとは｜ギックスのビッグデータ分析体系 ⑨
ビッグデータを分析するためのインフラ ここまで8回にわたってギックスのビッグデータ分析体系について説明してきました。今回が本連載の最終回となります。本日は「分析インフラ」についてご紹介します。ビックデータ分析体系の中では以下の赤枠の部分に...
2014.02.16 13:51
会社を強くするビッグデータ活用入門：書籍のご紹介 ｜あなたの会社に眠る”宝の山”を武器にする
会社を強くするビッグデータ活用入門 のご紹介 会社を強くする ビッグデータ活用入門 基本知識から分析の実践まで ギックス代表取締役CEO 網野知博の著書「ビッグデータ活用入門」のエッセンスを紹介しています。 書籍のご紹介エント...
2014.11.11 08:43
【企画部のためのシステム講座】クラウドとオンプレミスは、果たして何が違うのか？
「クラウド」は「オンプレ」に比べて、何が優れているのか？ 近年、クラウドという言葉が良く使われています。実際、読者の皆さんも、新聞やニュースなどで、その言葉を目にしない日は無いと思います。しかし、「クラウドが登場する前」と「クラウドが登場...
2015.01.09 09:06
第1回 進化するフォーマット｜CSV、XML、JSON…データフォーマットの変遷について考える
CSV、XML、JSON…、データフォーマットも進化している 我々Gixoではいろいろなデータの分析や加工処理を行っています。私も日々データと格闘しているわけですが、私が学生のころと比べるとITをとりまくいろいろな事が進化していると感じま...
RECOMMEND
SERVICE
