2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.07 14:56
Apache Airflow でタスクスケジューリングしてみた ～タスク開発のポイント～
Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
2018.02.24 13:36
Apache Airflow でタスクスケジューリングしてみた ～ログを退避させる～
外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2014.01.27 08:58
大きなPDSと小さなPD(CA)∞サイクルを回す/会社を強くするビッグデータ活用
早い・正しい・細かいデータに基づき、大きなPDS/小さなPD(CA)∞サイクルを回す ビッグデータ活用には大きく2つの方向性があります。 競争力強化にビッグデータを織り込む 早い・正しい・細かいデータに基づき、大きなPDS/小...
2014.03.27 23:09
Microsoft Power BI 導入レポート：お手軽ベーシックの導入 ～Power BI for Office 365 + Office 365 ProPlusをインストールしてみよう～
Power BI 「お手軽ベーシック導入」をやってみよう 前回の記事でPower BIは3種類の導入形態があることを紹介しました。今回はそのうち、弊社が実施した『お手軽ベーシック導入』の導入手順を紹介します。今回の紹介箇所は、以下の図の赤...
2014.11.25 09:00
第2回：CRISP-DMとギックス分析プロセスの違い (1/2)｜ギックスのビッグデータ分析体系2.0
データマイニングだけでなく、仮説検証にも活用したい 前回の記事で紹介したように、2014年10月にギックスの分析体系を更新しました。その更新に伴い、弊社の分析業務を棚卸しすると同時に、様々な文献をあたり、また専門家と議論しながら改めて分析...
2020.12.14 08:04
トチカチを支える技術
この記事は GiXo アドベントカレンダー の 14 日目の記事です。昨日は、すごいぞ Dataform でした。 MLOps Div. の廣津です。本記事では、弊社が提供しているサービスであるトチカチについて、裏側でどのような技術...
2021.12.18 08:47
GitHub で TypeScript 関連リポジトリのトレンドを調査する
この記事は GiXo アドベントカレンダー の 18 日目の記事です。昨日は、「DIとDXは何が違うんでしたっけ？(2)」 でした。 Data-Informed 事業本部 / Technology Div. の濱田です。今回は Gi...
RECOMMEND
SERVICE
