2017.12.25 12:07
Apache Airflow でタスクスケジューリングしてみた ～Airflowによって開発負荷が変わる～
Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.07 14:56
Apache Airflow でタスクスケジューリングしてみた ～タスク開発のポイント～
Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2014.11.11 08:43
【企画部のためのシステム講座】クラウドとオンプレミスは、果たして何が違うのか？
「クラウド」は「オンプレ」に比べて、何が優れているのか？ 近年、クラウドという言葉が良く使われています。実際、読者の皆さんも、新聞やニュースなどで、その言葉を目にしない日は無いと思います。しかし、「クラウドが登場する前」と「クラウドが登場...
2015.01.09 09:06
第1回 進化するフォーマット｜CSV、XML、JSON…データフォーマットの変遷について考える
CSV、XML、JSON…、データフォーマットも進化している 我々Gixoではいろいろなデータの分析や加工処理を行っています。私も日々データと格闘しているわけですが、私が学生のころと比べるとITをとりまくいろいろな事が進化していると感じま...
2015.04.08 09:26
スマホを取り巻く環境を見てみよう｜スマホアプリ開発を考える（第1回）
業務アプリもゲームもスマホに移行。その中で開発会社には厳しい状態に立たされている。 今回は、序章として、スマホによって、社会がどう変わったか考え、それによって、開発会社の悩みについて触れたいと思います。 スマホの登場とビジネス/生活スタ...
2015.06.25 12:37
Amazon Elastic File System (EFS)が登場｜新しいクラウドストレージでセキュリティ強化がさらに確実に｜AWSを使い倒せ
Amazon Elastic File System (EFS)の登場はかゆいところにより手が届く 2015年4月、AWSから新しいクラウドストレージサービスAmazon Elastic File System (EFS)が登場しました...
2015.08.29 09:36
Amazon Redshiftへのデータインポートを2つのコンポーネントだけで行う ~TOSからAWSを操作~｜Talend Open Studio によるビッグデータ分析(第7回)
tRedshiftOutputBulkExecコンポーネントを使用すれば、Amazon Redshiftのインポート処理を一括で行える Amazon Redshift(以下、Redshift)は、ビッグデータに特化したDBとして広く知られ...
RECOMMEND
SERVICE
