2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2020.12.07 08:19
機械学習基盤 “Refeed” のアーキテクチャ
この記事は GiXo アドベントカレンダー の 7日目の記事です。昨日は、Business Optimization Div. 紹介でした。 MLOps Div. の廣津です。本記事では、弊社の機械学習基盤である Refeed につ...
2020.12.02 08:36
MLOps Div. の紹介
この記事は GiXo アドベントカレンダー の 2日目の記事です。昨日は、GiXo Advent Calenar 2020 でした。 MLOps Div. の廣津です。本記事では、私が所属する MLOps Div. の紹介ということ...
2020.12.22 08:35
少人数の開発で Kubernetes を活用するための設計戦略
この記事は GiXo アドベントカレンダー の 22 日目の記事です。昨日は、 ギックスの考えるデータサイエンスとは でした。 MLOps Div. の廣津です。最初に断っておきますが、タイトルは半分釣りのポエム記事です。 本...
2017.10.24 10:35
Google Cloud Machine Learning Engine は“エンジン”であって開発環境ではない ～制約に気を付けよう～
Cloud Machine Learning Engine は実行環境を提供するだけ 数年前まで機械学習は導入のハードルが高く、誰でもできるものではありませんでした。しかし、Python言語の機械学習用の機能追加などによって、高度な専門知識...
2017.12.25 12:07
Apache Airflow でタスクスケジューリングしてみた ～Airflowによって開発負荷が変わる～
Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
2018.01.24 12:13
BigQueryの標準SQL対応によって競合サービスからの乗り換えが発生するか？ ～Redshiftと使用感を比較してみた～
分析の試行錯誤フェーズではRedshift。分析の”型”が決まったらBigQuery。 ビッグデータ分析においてデータベースは必要不可欠であることは言うまでもありません。これらのビックデータ向けデータベースの代表格としてオンプレミスではO...
2020.05.19 08:26
マイクロサービスのための設計パターン (1) – Strangler Application
昨今では、サービス開発において「マイクロサービスアーキテクチャ」を採用することも珍しくなくなりました。 マイクロサービスアーキテクチャを採用する利点についてはもはや改めて語るまでもないですが、何となくマイクロサービスで始めてみたが後悔した...
2020.12.10 07:56
非エンジニアの Kaggler がエンジニア指南を受けて気づいた、たった1つのこと
この記事は GiXo アドベントカレンダー の 10 日目の記事です。昨日は、「Apache Superset の可視化例紹介」 でした。 MLOps Div. の濱田です。皆さん、Kaggle をご存知でしょうか？ざっくりいうと、...
2020.12.17 08:18
クラウドデータ基盤をTerraformを使ってIaC化 & 量産する
この記事は GiXo アドベントカレンダー の 17 日目の記事です。昨日は、Firestore のデータを TypeScript と Security Rules で安全に扱う話 でした。 Technology Div. ...
RECOMMEND
SERVICE
SERVICE
