Tech & Science 2014.03.09 10:56 「確率がとても低い事象の分析」に全量データ分析は威力を発揮|ビッグデータ分析の留意点② 「ロングテール」に代表される確率が低い事象には全量データ分析 本日は、全量データ分析の優位性①にあたる、以下のポイントについて説明します。 優位性①:確率が低い事象を扱う場合に、サンプルデータでは得られない知見が得られるという点で、...
Tech & Science 2014.03.16 11:08 全量データで多重クロス集計を行い、擬似相関を見破り、交互作用を発見|ビッグデータ分析の留意点③ 本日は、全量分析の優位性②にあたる、以下のポイントについて説明します。 優位性②:性別、年齢、居住地、嗜好など、非常に多くの要素による多重クロス集計を行うことができる。 購買行動や意識などを分析する時、性・年代別ごとのクロス集計を取...
Tech & Science 2014.03.23 11:01 べき分布のデータには注意しよう|ビッグデータ分析の留意点④ 購買系のビッグデータには「べき分布」が多く注意が必要 (第2回)と(第3回)で全量分析の優位点について紹介しました。本日からは、全量データに注意すべき点を説明します。本日は注意点①の以下のポイントです。 注意点①:サンプルデータは中...
Tech & Science 2014.03.30 11:04 ビッグデータでは統計的検定は意味がない|ビッグデータ分析の留意点⑤ 統計的検定とは? (第2回)と(第3回)で全量分析の優位点について、(第4回)で全量データを分析する際の注意点①を紹介しました。本日は、2つ目の注意すべき点である以下について説明します・ 注意点②:標本統計を前提とした統計的検定は、ビッ...
Tech & Science 2013.12.16 13:13 2次属性を理解しよう|ギックスのビッグデータ分析体系 ④ ギックスならではの分析プロセス 「2次属性の作成」 前回は分析プロセスの最初の段階となる「ビジネスの理解」と「データの理解・準備」のプロセスについてご説明しました。今回は、いよいよギックスデータ分析体系ならではの分析プロセスであたる「2次...
Tech & Science 2014.04.03 12:08 Microsoft Power BI 活用レポート:Power Pivotを使ってみた① ~データ処理速度は「実用に耐える」~ Power Pivot の「処理速度」は実用レベルとしては十分 ギックスでは、従来より「Aktblitz(アクトブリッツ)」という高速データ処理ソフトウェアを活用しています。今回は、こちらと比較しながら、処理性能について考察を進めていきま...
Tech & Science 2015.02.23 09:03 第5回 STEP2 データの格納・確認・前処理|POSデータで事業構造分析 with Power BI Power BIで実践するPOSデータの事業構造分析を公開 この連載では、2013年11月に弊社CEOの網野が出版した「会社を強くするビッグデータ分析」「Part2 分析の実践」の部分を「Power BIでPOSデータを使って事業構造分析...
Tech & Science 2015.03.11 08:52 グループによる2次属性づけ|プロ野球データでクロス集計with Tableau 第9回 2014年のプロ野球全打席データをクロス集計していきます 2014年のプロ野球の打席データを全量(約6.6万件)手元に置き、さまざまな切り口でクロス集計して、プロ野球全体の打席の傾向を見ていく「プロ野球データでクロス集計 with Tab...
Tech & Science 2015.06.18 14:50 Amazon Redshiftを利用料金そのままでds1.xlarge(旧:dw1.xlarge)からds2.xlargeにアップグレードしてみた|AWSを使い倒せ ds2.xlargeは、従来のCPU性能、メモリ容量が2倍、I/Oが1.5倍!なのにお値段そのまま!! 先日(2015/6/9)、AmazonよりRedshiftの新しいインスタンスタイプ「DS2」が発表されました。DS2インスタンスは、...
Tech & Science 2018.01.24 12:13 BigQueryの標準SQL対応によって競合サービスからの乗り換えが発生するか? ~Redshiftと使用感を比較してみた~ 分析の試行錯誤フェーズではRedshift。分析の”型”が決まったらBigQuery。 ビッグデータ分析においてデータベースは必要不可欠であることは言うまでもありません。これらのビックデータ向けデータベースの代表格としてオンプレミスではO...