Tech & Science 2020.04.13 08:07 機械学習基盤における Cloud Dataflow の活用 Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
Tech & Science 2020.12.07 08:19 機械学習基盤 “Refeed” のアーキテクチャ この記事は GiXo アドベントカレンダー の 7日目の記事です。昨日は、Business Optimization Div. 紹介でした。 MLOps Div. の廣津です。本記事では、弊社の機械学習基盤である Refeed につ...
Corporate 2020.12.02 08:36 MLOps Div. の紹介 この記事は GiXo アドベントカレンダー の 2日目の記事です。昨日は、GiXo Advent Calenar 2020 でした。 MLOps Div. の廣津です。本記事では、私が所属する MLOps Div. の紹介ということ...
Tech & Science 2020.12.22 08:35 少人数の開発で Kubernetes を活用するための設計戦略 この記事は GiXo アドベントカレンダー の 22 日目の記事です。昨日は、 ギックスの考えるデータサイエンスとは でした。 MLOps Div. の廣津です。最初に断っておきますが、タイトルは半分釣りのポエム記事です。 本...
Tech & Science 2017.07.08 13:10 次のデータクレンジングのトレンドは”グリッドビュー”かもしれない ~ETLツールの新たなカタチを勝手に推測~ 先頭は Talend Data Preparation。それに追随する Google Cloud Dataprep と Tableau Project Maestro の登場でグリッドクレンジングツール戦線は激化する データ分析にとってデ...
Tech & Science 2018.02.07 14:56 Apache Airflow でタスクスケジューリングしてみた ~タスク開発のポイント~ Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
Tech & Science 2018.02.24 13:36 Apache Airflow でタスクスケジューリングしてみた ~ログを退避させる~ 外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
Biz 2020.01.22 08:21 DOCOMO Open House 2020に、「トチカチ」を出展しています。 DOCOMO Open House2020(ドコモオープンハウス2020)に出展中 現在、βリリースでサービス提供中の ”エリア価値可視化ツール”「トチカチ」を、現在、東京ビッグサイトで開催中(※一般公開は明日(1/23)から)のD...
Biz 2020.12.14 08:04 トチカチを支える技術 この記事は GiXo アドベントカレンダー の 14 日目の記事です。昨日は、すごいぞ Dataform でした。 MLOps Div. の廣津です。本記事では、弊社が提供しているサービスであるトチカチについて、裏側でどのような技術...
Tech & Science 2020.12.24 09:38 React + TypeScript + Cypress で始める E2E テスト この記事は GiXo アドベントカレンダー の 24 日目の記事です。昨日は、 React で作る中規模 SPA のレイヤードアーキテクチャ でした。 MLOps Div. の濱田です。本日は 12 月 24 日ですね。学校では期末...