Amazon Athena と Redshift Spectrum をParquet形式にファイル変換してレスポンスとコストを改善する

PythonプログラミングだけでParquet形式にファイル変換 AWS（Amazon Web Services）にはクラウドストレージの Amazon S3 に溜まったデータファイルをSQL命令で参照できるデータレイクサービスとして、Am...

データレイクとクラウドサービス　～③クラウドストレージの賢い管理方法～

データレイクサービスを賢く安く使うポイント 前回の連載ではクラウドサービス上のデータレイクサービスについてご説明しました。その中でデータレイクサービスはデータベースサービスのように起動時間による課金が発生しない分、データ参照時の参照先のデ...

データレイクとクラウドサービス　～②クラウドサービスが支えるこれからのデータレイク～

クラウドサービス進化によってデータレイクの運命が決まる 前回、データレイクとはどういうものか、データベースと何が違うかについて触れました。今回はクラウドサービスがデータレイクにどの様に影響しているか、そして、今後、データレイクはどの様に変...

データレイクとクラウドサービス　～①データレイクの今までをおさらい～

データレイクはビッグデータ分析とともに常に進化している ちょうど2年前。弊社ブログで「データレイク(Data Lake)」について取り上げさせていただきました。その当時「データレイク」という言葉だけが先行し、何を使えばよいか、どんな場面で...

Amazon Redshift Spectrum を使ってみた ～Redshift Spectrum は Redshift のデータレイクの入り口になる～

Amazon Redshift Spectrum によってデータ分析の業務フローが変わる 先日、サンフランシスコで開催された AWS Summit 2017(2017.4.18 - 19)で Amazon Redshift(以下、Reds...

Amazon Athena の分析サービスとしての位置付けについて考えてみる

Amazon Athena は Google BigQuery と MS PolyBase を足して2で割ったようなサービス 昨年末、Amazon Web Services(以下、AWS)が主催したAWS re:Invent 2016から...

「データレイク」のコンセプトを理解しよう｜Treasure Data（トレジャーデータ）は、まさにデータレイクだ

データレイクは登場したばかり。既存のサービスと比べて理解を深めよう！ こんにちは、技術チームの岩谷です。前回、データレイクについての記事を執筆させていただきましたところ、何人かの方々から「それならデータレイクはトレジャーデータのソリューシ...

データレイクはビッグデータのストレージ：データウェアハウス(DWH)やデータマートへの取込口です

データレイク(Data Lake)はファイル置き場 こんにちは、技術チームの岩谷です。先日とある方より「このごろデータレイクって言葉をよく聞くけど、"Data Lake→データの湖"ってどういう事？」という質問をいただきました。この場を借...