Tech & Science 2020.02.10 09:06 Cloud Composer と GKE を活用して機械学習のワークフローを構築する GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
Tech & Science 2020.04.13 08:07 機械学習基盤における Cloud Dataflow の活用 Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
Tech & Science 2020.12.22 08:35 少人数の開発で Kubernetes を活用するための設計戦略 この記事は GiXo アドベントカレンダー の 22 日目の記事です。昨日は、 ギックスの考えるデータサイエンスとは でした。 MLOps Div. の廣津です。最初に断っておきますが、タイトルは半分釣りのポエム記事です。 本...
Tech & Science 2013.12.23 13:08 クロス集計で「セグメント間の違い」を見出せ|ギックスのビッグデータ分析体系 ⑤ セグメントの特徴把握 前回はギックスならではの分析プロセス「2次属性の作成」について説明しました。今回はその付けられた2次属性を利用して、2次属性がついた人や製品の特徴を知るというプロセス、「セグメントの特徴把握」について紹介します。ギッ...
Tech & Science 2014.01.22 09:02 ビッグデータとは/会社を強くするビッグデータ活用 ビッグデータの4タイプ 「ビッグデータ」とは何者かを考えていきましょう。世の中の「ビッグデータ」という言葉の使われ方から、その定義は大きく4つに分けられることがわかります。 1.単純にデータ量が大きいと述べているもの 2.デー...
Tech & Science 2015.03.11 08:52 グループによる2次属性づけ|プロ野球データでクロス集計with Tableau 第9回 2014年のプロ野球全打席データをクロス集計していきます 2014年のプロ野球の打席データを全量(約6.6万件)手元に置き、さまざまな切り口でクロス集計して、プロ野球全体の打席の傾向を見ていく「プロ野球データでクロス集計 with Tab...
Tech & Science 2015.04.25 21:57 Power BIスマホアプリでデータを見る | ブラウザで動く新Power BIを使ってみた 小さなスマホ画面でもしっかりデータが見れるPower BIスマホアプリ Power BIブラウザ版のデータを参照するためのスマホアプリ「Microsoft Power BI app for iOS」も無料でダウンロードできます。前回、Po...
Tech & Science 2015.06.18 14:50 Amazon Redshiftを利用料金そのままでds1.xlarge(旧:dw1.xlarge)からds2.xlargeにアップグレードしてみた|AWSを使い倒せ ds2.xlargeは、従来のCPU性能、メモリ容量が2倍、I/Oが1.5倍!なのにお値段そのまま!! 先日(2015/6/9)、AmazonよりRedshiftの新しいインスタンスタイプ「DS2」が発表されました。DS2インスタンスは、...
Tech & Science 2015.10.26 07:00 オブジェクト指向プログラミング(OOP)をおさらいしよう~自分のプログラムが「他者をより便利にする」という願い~ すべては効率化のための「配慮」へつながる こんにちは。技術チームの岩谷です。本連載ではオブジェクト指向プログラミング(OOP)をおさらいする連載を書かせていただいています。今回は過去の連載で説明させていただいたOOPの要素を振り返る形でO...
Tech & Science 2020.12.05 08:06 Connected Sheets を用いたビッグデータ分析(後編) この記事は GiXo アドベントカレンダー の5日目の記事です。昨日は、Connected Sheets を用いたビッグデータ分析(前編)でした。 Technology Div. の緒方です。 前回は Connected Sh...