Tech & Science 2014.03.02 10:58 ビックデータを全量分析できる時代になった|ビッグデータ分析の留意点① サンプル分析から全量分析へ 近代統計学の学問体系は、無限に近い大規模な母集団から無作為に抽出された、数百から数万のサンプルデータが持つ統計的な性質を中心に論じられてきました。たとえば、内閣府が行っている「社会意識に関する世論調査」では、1...
Tech & Science 2014.03.09 10:56 「確率がとても低い事象の分析」に全量データ分析は威力を発揮|ビッグデータ分析の留意点② 「ロングテール」に代表される確率が低い事象には全量データ分析 本日は、全量データ分析の優位性①にあたる、以下のポイントについて説明します。 優位性①:確率が低い事象を扱う場合に、サンプルデータでは得られない知見が得られるという点で、...
Tech & Science 2014.03.16 11:08 全量データで多重クロス集計を行い、擬似相関を見破り、交互作用を発見|ビッグデータ分析の留意点③ 本日は、全量分析の優位性②にあたる、以下のポイントについて説明します。 優位性②:性別、年齢、居住地、嗜好など、非常に多くの要素による多重クロス集計を行うことができる。 購買行動や意識などを分析する時、性・年代別ごとのクロス集計を取...
Tech & Science 2014.03.23 11:01 べき分布のデータには注意しよう|ビッグデータ分析の留意点④ 購買系のビッグデータには「べき分布」が多く注意が必要 (第2回)と(第3回)で全量分析の優位点について紹介しました。本日からは、全量データに注意すべき点を説明します。本日は注意点①の以下のポイントです。 注意点①:サンプルデータは中...
Tech & Science 2013.11.25 13:00 PC上で数千万件データを手軽に扱える時代がやってきた|ギックスのビッグデータ分析体系 ① ギックスのビックデータ分析体系 ギックスはTeam CMOというサービスを提供しており、様々なお客様と顧客分析・会員分析を実施してきました。それらの経験の中から、以下の図で示すような独自の顧客データのビックデータ分析体系を持っています。こ...
Tech & Science 2013.12.02 13:00 CRISP-DMをマーケティング領域へ適用させる|ギックスのビッグデータ分析体系 ② ギックスの分析プロセス ギックスのビックデータ分析体系の第一回では、「ぜひ企画部の皆様にビックデータ分析をしてみてほしい。テクノロジーが進歩してそういう環境が整ってきています」というお話をしました。 今回、第二回は、具体的にどのよう...
Tech & Science 2013.12.30 13:05 もう一歩踏み込みたい方は「モデリング」を学ぼう|ギックスのビッグデータ分析体系 ⑥ 分析の花形のモデリング 前回の第5回までで、「ビジネスの理解」「データの準備・理解」「2次属性の作成」「セグメントの特徴把握」というビックデータ分析を試みる際に、まず実施すべき一連の流れをご紹介しました。ここまでのプロセスは数学的にみると...
Tech & Science 2014.06.17 12:01 Microsoft Power BI 導入レポート:本格導入② ~オンプレミス環境へのSQL Serverのインストール/セットアップ~ Power BI本格導入(=SQL Server 導入)してみよう オンプレ環境にSQL Serverを導入する 前回はSQL Serverの構成について紹介しました。複雑なシステムでしたが、導入前に知っておくべきポイントは、「①RDB...
Tech & Science 2014.06.18 12:04 Microsoft Power BI 導入レポート:本格導入③ ~クラウド環境へのSQL Serverのインストール/セットアップ~ Power BI本格導入(=SQL Server 導入)をしてみよう クラウド環境にSQL Serverを導入する 前回は、SQL Serverをオンプレ環境に構築する手順を紹介しましたが、今回はSQL Serverをクラウド環境(Mi...
Tech & Science 2017.12.05 11:52 Redshiftの弱点をRDSとRedshift Spectrumでカバーする ~SQL命令だけでデータ分析ができる環境を考える~ RDSの機能を使えばRedshiftのデータを使用したGIS環境も構築できる クラウド上のデータベース(クラウドデータベース)は、非常に高性能、かつ安定していながら、費用的や技術的にも容易に環境構築することが可能です。しかし、これらの利点...