Tech & Science 2017.04.24 15:26 Amazon Redshift Spectrum を使ってみた ~Redshift Spectrum は Redshift のデータレイクの入り口になる~ Amazon Redshift Spectrum によってデータ分析の業務フローが変わる 先日、サンフランシスコで開催された AWS Summit 2017(2017.4.18 - 19)で Amazon Redshift(以下、Reds...
Tech & Science 2017.06.05 07:58 データレイクとクラウドサービス ~①データレイクの今までをおさらい~ データレイクはビッグデータ分析とともに常に進化している ちょうど2年前。弊社ブログで「データレイク(Data Lake)」について取り上げさせていただきました。その当時「データレイク」という言葉だけが先行し、何を使えばよいか、どんな場面で...
Tech & Science 2017.06.12 08:35 データレイクとクラウドサービス ~②クラウドサービスが支えるこれからのデータレイク~ クラウドサービス進化によってデータレイクの運命が決まる 前回、データレイクとはどういうものか、データベースと何が違うかについて触れました。今回はクラウドサービスがデータレイクにどの様に影響しているか、そして、今後、データレイクはどの様に変...
Tech & Science 2017.07.01 06:28 データレイクとクラウドサービス ~③クラウドストレージの賢い管理方法~ データレイクサービスを賢く安く使うポイント 前回の連載ではクラウドサービス上のデータレイクサービスについてご説明しました。その中でデータレイクサービスはデータベースサービスのように起動時間による課金が発生しない分、データ参照時の参照先のデ...
Tech & Science 2017.12.05 11:52 Redshiftの弱点をRDSとRedshift Spectrumでカバーする ~SQL命令だけでデータ分析ができる環境を考える~ RDSの機能を使えばRedshiftのデータを使用したGIS環境も構築できる クラウド上のデータベース(クラウドデータベース)は、非常に高性能、かつ安定していながら、費用的や技術的にも容易に環境構築することが可能です。しかし、これらの利点...
Tech & Science 2015.01.05 09:02 第1回 事業構造分析と分析ステップ|POSデータで事業構造分析 with Power BI Power BIで実践するPOSデータの事業構造分析を公開 2013年11月に弊社CEOの網野が「会社を強くするビッグデータ活用入門」を出版しました。後半の約100ページは「Part2 分析の実践」が掲載されていますが、この本の出版以降も...
Tech & Science 2015.01.27 09:11 第3回 Power BIのコンポーネント|POSデータで事業構造分析 with Power BI Power BIで実践するPOSデータの事業構造分析を公開 この連載では、2013年11月に弊社CEOの網野が出版した「会社を強くするビッグデータ分析」「Part2 分析の実践」の部分を「Power BIでPOSデータを使って事業構造分析...
Tech & Science 2015.06.18 14:50 Amazon Redshiftを利用料金そのままでds1.xlarge(旧:dw1.xlarge)からds2.xlargeにアップグレードしてみた|AWSを使い倒せ ds2.xlargeは、従来のCPU性能、メモリ容量が2倍、I/Oが1.5倍!なのにお値段そのまま!! 先日(2015/6/9)、AmazonよりRedshiftの新しいインスタンスタイプ「DS2」が発表されました。DS2インスタンスは、...
Tech & Science 2015.08.24 08:44 Amazon Redshiftの利用料金を半額にしよう!~自動シャットダウン/リストアのノウハウ公開~|AWSを使い倒せ Redshiftの起動時間を減らす シャットダウン&リストア・バッチプログラム Amazonのビッグデータ専用のDBであるAmazon Redshift(以下、Redshift)は、自社でオンプレミスのサーバー環境を構築する場合に...
Tech & Science 2018.04.03 12:17 Amazon Athena と Redshift Spectrum をParquet形式にファイル変換してレスポンスとコストを改善する PythonプログラミングだけでParquet形式にファイル変換 AWS(Amazon Web Services)にはクラウドストレージの Amazon S3 に溜まったデータファイルをSQL命令で参照できるデータレイクサービスとして、Am...