Tech & Science 2015.05.22 09:02 「フルマネージド」クラウドサービス~第四回・実例2「Microsoft Power BI」~ フルマネージドのアプリケーションサービス。今回は「Microsoft Power BI」を紹介します 本連載は全五回で「フルマネージド(Fully Managed)のクラウドサービス」について書かせていただいています。前々回(第二回)でフ...
Tech & Science 2015.08.29 09:36 Amazon Redshiftへのデータインポートを2つのコンポーネントだけで行う ~TOSからAWSを操作~|Talend Open Studio によるビッグデータ分析(第7回) tRedshiftOutputBulkExecコンポーネントを使用すれば、Amazon Redshiftのインポート処理を一括で行える Amazon Redshift(以下、Redshift)は、ビッグデータに特化したDBとして広く知られ...
Tech & Science 2016.05.25 08:49 Redshiftのインポート/エクスポート権限をIAMロールに変更する|AWSを使い倒せ DBユーザーとIAMユーザーの権限を分けることでセキュリティ強化を行う AWSのビッグデータ用DBのAmazon Redshift(以下、Redshift)に大量データを登録する場合は、クラウドストレージのAmazon S3(以下、S3)...
Tech & Science 2017.10.27 07:17 AWS Glue を使ってみた ~ETLツールではなくETL支援サービスとしての役割~ AWS Glue がフルマージドしているのはETLのプロセスではなく動作環境 データ分析ではデータベースを使うことが多く、そのデータベースにデータを入れるためにはETL処理は必要不可欠な処理です。ETL処理をフルスクラッチでプログラミング...
Corporate 2020.12.02 08:36 MLOps Div. の紹介 この記事は GiXo アドベントカレンダー の 2日目の記事です。昨日は、GiXo Advent Calenar 2020 でした。 MLOps Div. の廣津です。本記事では、私が所属する MLOps Div. の紹介ということ...
Tech & Science 2020.12.11 08:21 pandas でヘッダーが複数ある POS データを縦持ち横持ち変換する(前編) この記事は GiXo アドベントカレンダー の11日目の記事です。昨日は、非エンジニアの Kaggler がエンジニア指南を受けて気づいた、たった1つのことでした。 Technology div. の緒方です。 本記事では、 ...
Tech & Science 2020.12.07 08:19 機械学習基盤 “Refeed” のアーキテクチャ この記事は GiXo アドベントカレンダー の 7日目の記事です。昨日は、Business Optimization Div. 紹介でした。 MLOps Div. の廣津です。本記事では、弊社の機械学習基盤である Refeed につ...
Tech & Science 2020.12.12 07:45 pandas でヘッダーが複数ある POS データを縦持ち横持ち変換する(後編) この記事は GiXo アドベントカレンダー の12日目の記事です。昨日は、pandas でヘッダーが複数ある POS データを縦持ち横持ち変換する(前編)でした。 Technology div. の緒方です。 本記事では前回の...
Tech & Science 2020.12.22 08:35 少人数の開発で Kubernetes を活用するための設計戦略 この記事は GiXo アドベントカレンダー の 22 日目の記事です。昨日は、 ギックスの考えるデータサイエンスとは でした。 MLOps Div. の廣津です。最初に断っておきますが、タイトルは半分釣りのポエム記事です。 本...
Tech & Science 2021.12.04 08:31 感動したLooker機能についてご紹介【Liquid Parameter編】 この記事は GiXo アドベントカレンダー の 4日目の記事です。昨日は、Design & Science Div. 紹介 2021 でした。 Technology Div. の谷田部です。本記事では、Lookerを触って...