2017.12.25 12:07
Apache Airflow でタスクスケジューリングしてみた ～Airflowによって開発負荷が変わる～
Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.07 14:56
Apache Airflow でタスクスケジューリングしてみた ～タスク開発のポイント～
Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2015.06.11 14:25
人間のように答えるアプリをあなたも作れる？～Watsonをクラウドサービス「Bluemix」から使う(第一回)
「質問をするとコンピュータが答えてくれる」という機能を「クラウド上のサービス」として使う。 こんにちは、技術チームの岩谷です。今日から新しい連載が始まります。本連載ではIBMの質疑応答システムである「Watson(ワトソン)」を、同じくI...
2015.07.30 08:55
「今年の夏は暑い」は本当か？(1)：身近なネタで考えるグラフの使い方｜冷やしデータ分析はじめました
夏といえば、やっぱりデータ分析だよね！ 暑い日が続きますね。こんな日はアイスクリーム片手に「データ分析」するに限りますね。ということで、この連載では、「猛暑を乗り切る楽しいデータ分析」をテーマに、いろんな分析に取り組んでみたいと思います。...
2015.09.04 21:57
Azure SQL DWのパフォーマンス測定｜13億行のデータで検索と集計処理時間を計測【2015.09.29更新】：Microsoft Azure SQL Data Warehouse を使ってみた(2)
Azure SQL Data Warehouseのキャッシュ機能がスゴイ！Redshiftと性能比較した --------- 2015.09.29. 更新：Amazon Redshift のソートキーが効かない事象に対して、対策を講...
2016.08.22 07:48
Azure Media Analytics で動画のモーション検知をやってみた ～動画は分析データとして使えるか？～
Azure Media Services によって動画処理のクラウドサービスが始まっていた 近年、ビッグデータ分析として、既存のデータベース内のデータだけでなく、非構造のログや自然言語などの幅広いデータも分析データとして扱われるようになっ...
2020.12.16 08:22
Firestore のデータを TypeScript と Security Rules で安全に扱う話
この記事は GiXo アドベントカレンダー の 16 日目の記事です。昨日は、TableauのLOD表現で注意すべきことでした。 MLOps Div. の堀越です。突然ですがみなさん Firestore は好きですか？私は好きです。...
RECOMMEND
SERVICE
SERVICE
