Tech & Science 2020.02.10 09:06 Cloud Composer と GKE を活用して機械学習のワークフローを構築する GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
Tech & Science 2020.04.13 08:07 機械学習基盤における Cloud Dataflow の活用 Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
Tech & Science 2020.12.22 08:35 少人数の開発で Kubernetes を活用するための設計戦略 この記事は GiXo アドベントカレンダー の 22 日目の記事です。昨日は、 ギックスの考えるデータサイエンスとは でした。 MLOps Div. の廣津です。最初に断っておきますが、タイトルは半分釣りのポエム記事です。 本...
Tech & Science 2014.01.22 09:02 ビッグデータとは/会社を強くするビッグデータ活用 ビッグデータの4タイプ 「ビッグデータ」とは何者かを考えていきましょう。世の中の「ビッグデータ」という言葉の使われ方から、その定義は大きく4つに分けられることがわかります。 1.単純にデータ量が大きいと述べているもの 2.デー...
Tech & Science 2015.03.11 08:52 グループによる2次属性づけ|プロ野球データでクロス集計with Tableau 第9回 2014年のプロ野球全打席データをクロス集計していきます 2014年のプロ野球の打席データを全量(約6.6万件)手元に置き、さまざまな切り口でクロス集計して、プロ野球全体の打席の傾向を見ていく「プロ野球データでクロス集計 with Tab...
Tech & Science 2015.04.25 21:57 Power BIスマホアプリでデータを見る | ブラウザで動く新Power BIを使ってみた 小さなスマホ画面でもしっかりデータが見れるPower BIスマホアプリ Power BIブラウザ版のデータを参照するためのスマホアプリ「Microsoft Power BI app for iOS」も無料でダウンロードできます。前回、Po...
Tech & Science 2016.02.01 08:46 Azure SQL DWパフォーマンスチューニング(ハッシュ分散編):Microsoft Azure SQL Data Warehouse を使ってみた(7) 大量データのテーブル結合時はテーブル結合に最適な形に保存先を分散させることが重要 前回は、Azure SQL Data Warehouse(以下、SQL DW)のリソースクラスの変更により、並列処理ができるクエリーのパフォーマンスチューニ...
Others 2017.07.04 09:00 書籍紹介「ゼロから作るDeep Learning」|文系”非”エンジニアがディープラーニングを学ぶブログ 文系・非エンジニアに差し述べられた救いの手 本稿ではディープラーニングの入門書である「ゼロから作る Deep Learning」について紹介を行います。 ※タイトルにある通り、本シリーズでは文系(文学部出身)、非エンジニア(システム開発等...
Tech & Science 2020.12.08 08:18 SPA の First View 表示速度を改善する この記事は GiXo アドベントカレンダー の 8日目の記事です。昨日は、機械学習基盤 “Refeed” のアーキテクチャでした。 MLOps Div. の堀越です。本記事では、SPA(シングルページアプリケーション)で実装された ...
Tech & Science 2021.12.13 09:05 React 18を受けて現状の SPA ルーティング設計を見直した この記事は GiXo アドベントカレンダー の13日目の記事です。 昨日は「BigQueryスロット利用量の数え方・考え方」でした。 Technology Div. の堀越です。React 18 は先月 Beta になりましたが、早...