Tech & Science 2014.03.02 10:58 ビックデータを全量分析できる時代になった|ビッグデータ分析の留意点① サンプル分析から全量分析へ 近代統計学の学問体系は、無限に近い大規模な母集団から無作為に抽出された、数百から数万のサンプルデータが持つ統計的な性質を中心に論じられてきました。たとえば、内閣府が行っている「社会意識に関する世論調査」では、1...
Tech & Science 2014.03.09 10:56 「確率がとても低い事象の分析」に全量データ分析は威力を発揮|ビッグデータ分析の留意点② 「ロングテール」に代表される確率が低い事象には全量データ分析 本日は、全量データ分析の優位性①にあたる、以下のポイントについて説明します。 優位性①:確率が低い事象を扱う場合に、サンプルデータでは得られない知見が得られるという点で、...
Tech & Science 2014.03.16 11:08 全量データで多重クロス集計を行い、擬似相関を見破り、交互作用を発見|ビッグデータ分析の留意点③ 本日は、全量分析の優位性②にあたる、以下のポイントについて説明します。 優位性②:性別、年齢、居住地、嗜好など、非常に多くの要素による多重クロス集計を行うことができる。 購買行動や意識などを分析する時、性・年代別ごとのクロス集計を取...
Tech & Science 2014.03.23 11:01 べき分布のデータには注意しよう|ビッグデータ分析の留意点④ 購買系のビッグデータには「べき分布」が多く注意が必要 (第2回)と(第3回)で全量分析の優位点について紹介しました。本日からは、全量データに注意すべき点を説明します。本日は注意点①の以下のポイントです。 注意点①:サンプルデータは中...
Tech & Science 2013.11.25 13:00 PC上で数千万件データを手軽に扱える時代がやってきた|ギックスのビッグデータ分析体系 ① ギックスのビックデータ分析体系 ギックスはTeam CMOというサービスを提供しており、様々なお客様と顧客分析・会員分析を実施してきました。それらの経験の中から、以下の図で示すような独自の顧客データのビックデータ分析体系を持っています。こ...
Tech & Science 2013.12.23 13:08 クロス集計で「セグメント間の違い」を見出せ|ギックスのビッグデータ分析体系 ⑤ セグメントの特徴把握 前回はギックスならではの分析プロセス「2次属性の作成」について説明しました。今回はその付けられた2次属性を利用して、2次属性がついた人や製品の特徴を知るというプロセス、「セグメントの特徴把握」について紹介します。ギッ...
Tech & Science 2014.03.24 18:12 Microsoft Power BI 導入レポート:導入の全体像 ~要件にあわせて「お手軽」か「本格」かを選ぼう~ Microsoft Power BIの導入は「お手軽」と「本格」の2種類ある 今回は、Microsoft Power BIの導入についてご紹介します。 「分析要件」に応じたPower BIの”導入形態”を紹介いただく 前回の記事で、お...
Tech & Science 2014.04.24 12:05 Microsoft Power BI 活用レポート:Power Viewを使ってみた② ~BIツール初級版として最適 Power Viewの位置づけ=Tableauよりも廉価・シンプル 本特集では、Power BIの導入・活用についてレポートしています。前回はPower BIファミリーの一つのコンポーネントである、「Power View」で何ができるのか...
Tech & Science 2014.07.30 09:08 ”R”で実践する統計分析|回帰分析編:①単回帰分析【外部寄稿】 Rによる回帰分析の実施手順を紹介 本日からRの使い方の実践として、「回帰分析」について紹介していきます。なお、回帰分析の理論については、こちらの特集内の【寄稿】回帰分析とその応用を参照ください。 『”R”で実践する統計分析|回帰分析...
Tech & Science 2016.05.25 08:49 Redshiftのインポート/エクスポート権限をIAMロールに変更する|AWSを使い倒せ DBユーザーとIAMユーザーの権限を分けることでセキュリティ強化を行う AWSのビッグデータ用DBのAmazon Redshift(以下、Redshift)に大量データを登録する場合は、クラウドストレージのAmazon S3(以下、S3)...