Tech & Science 2020.02.10 09:06 Cloud Composer と GKE を活用して機械学習のワークフローを構築する GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
Tech & Science 2020.12.07 08:19 機械学習基盤 “Refeed” のアーキテクチャ この記事は GiXo アドベントカレンダー の 7日目の記事です。昨日は、Business Optimization Div. 紹介でした。 MLOps Div. の廣津です。本記事では、弊社の機械学習基盤である Refeed につ...
Corporate 2020.12.02 08:36 MLOps Div. の紹介 この記事は GiXo アドベントカレンダー の 2日目の記事です。昨日は、GiXo Advent Calenar 2020 でした。 MLOps Div. の廣津です。本記事では、私が所属する MLOps Div. の紹介ということ...
Tech & Science 2017.12.25 12:07 Apache Airflow でタスクスケジューリングしてみた ~Airflowによって開発負荷が変わる~ Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
Tech & Science 2018.01.30 22:33 Apache Airflow でタスクスケジューリングしてみた ~公式ドキュメントの読み解き方~ Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう!」っと思ってもAirflow公式ドキュメント...
Tech & Science 2018.02.07 14:56 Apache Airflow でタスクスケジューリングしてみた ~タスク開発のポイント~ Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
Tech & Science 2020.05.19 08:26 マイクロサービスのための設計パターン (1) – Strangler Application 昨今では、サービス開発において「マイクロサービスアーキテクチャ」を採用することも珍しくなくなりました。 マイクロサービスアーキテクチャを採用する利点についてはもはや改めて語るまでもないですが、何となくマイクロサービスで始めてみたが後悔した...
Tech & Science 2020.12.10 07:56 非エンジニアの Kaggler がエンジニア指南を受けて気づいた、たった1つのこと この記事は GiXo アドベントカレンダー の 10 日目の記事です。昨日は、「Apache Superset の可視化例紹介」 でした。 MLOps Div. の濱田です。皆さん、Kaggle をご存知でしょうか?ざっくりいうと、...
Tech & Science 2020.12.08 08:18 SPA の First View 表示速度を改善する この記事は GiXo アドベントカレンダー の 8日目の記事です。昨日は、機械学習基盤 “Refeed” のアーキテクチャでした。 MLOps Div. の堀越です。本記事では、SPA(シングルページアプリケーション)で実装された ...
Tech & Science 2020.12.16 08:22 Firestore のデータを TypeScript と Security Rules で安全に扱う話 この記事は GiXo アドベントカレンダー の 16 日目の記事です。昨日は、TableauのLOD表現で注意すべきことでした。 MLOps Div. の堀越です。突然ですがみなさん Firestore は好きですか?私は好きです。...