Tech & Science 2014.03.09 10:56 「確率がとても低い事象の分析」に全量データ分析は威力を発揮|ビッグデータ分析の留意点② 「ロングテール」に代表される確率が低い事象には全量データ分析 本日は、全量データ分析の優位性①にあたる、以下のポイントについて説明します。 優位性①:確率が低い事象を扱う場合に、サンプルデータでは得られない知見が得られるという点で、...
Tech & Science 2014.03.16 11:08 全量データで多重クロス集計を行い、擬似相関を見破り、交互作用を発見|ビッグデータ分析の留意点③ 本日は、全量分析の優位性②にあたる、以下のポイントについて説明します。 優位性②:性別、年齢、居住地、嗜好など、非常に多くの要素による多重クロス集計を行うことができる。 購買行動や意識などを分析する時、性・年代別ごとのクロス集計を取...
Tech & Science 2014.03.23 11:01 べき分布のデータには注意しよう|ビッグデータ分析の留意点④ 購買系のビッグデータには「べき分布」が多く注意が必要 (第2回)と(第3回)で全量分析の優位点について紹介しました。本日からは、全量データに注意すべき点を説明します。本日は注意点①の以下のポイントです。 注意点①:サンプルデータは中...
Tech & Science 2014.03.30 11:04 ビッグデータでは統計的検定は意味がない|ビッグデータ分析の留意点⑤ 統計的検定とは? (第2回)と(第3回)で全量分析の優位点について、(第4回)で全量データを分析する際の注意点①を紹介しました。本日は、2つ目の注意すべき点である以下について説明します・ 注意点②:標本統計を前提とした統計的検定は、ビッ...
Tech & Science 2014.05.16 08:58 回帰分析とその応用⑤ ~非線形回帰分析 各種回帰分析の実施方法を解説 本連載では、回帰分析の実施方法について、5日間に渡り説明してまいります。第5回目の本日は、非線形回帰式として、トービットモデルと二乗項や交互作用項の追加したモデルを紹介します。 トービット・モデル トービ...
Tech & Science 2014.07.29 09:02 「Tableau(タブロー)」を使ってみた|利用頻度の高いグラフ作成① ~月次数値の対前年比較 利用頻度の高いグラフを作成し、Tableauの操作チップスを紹介する 前回の記事でご紹介したとおり、Tableauは感覚的に操作でき試行錯誤しながらグラフを作れる、自由度の高いソフトです。ただ「試行錯誤でき自由度が高い」という優位性のトレ...
Tech & Science 2014.09.09 09:06 Geek at GiXoの分析ツール使いこなし術|TableauとRの連携 第2回 TableauとRを連携させる 前回は、TableauとR連携の準備を進めてきました。意外と簡単に設定が出来たかと思います。今回は、実際にTableau-R連携環境で何ができ、どのような仕組でTableauとRが連携されているのかを確認し...
Tech & Science 2017.02.08 09:02 Amazon Athena の分析サービスとしての位置付けについて考えてみる Amazon Athena は Google BigQuery と MS PolyBase を足して2で割ったようなサービス 昨年末、Amazon Web Services(以下、AWS)が主催したAWS re:Invent 2016から...
Tech & Science 2017.06.19 08:43 ETL処理とELT処理の違い ~ビッグデータ処理の新トレンド~ ELT処理はクラウドデータベースだから可能になった荒業 皆さんは「ELT処理」をご存知でしょうか? 決して「Every Little Thing」ではありません。 ELT処理は、ETL(Extract/Transform/Load)...
Tech & Science 2018.01.24 12:13 BigQueryの標準SQL対応によって競合サービスからの乗り換えが発生するか? ~Redshiftと使用感を比較してみた~ 分析の試行錯誤フェーズではRedshift。分析の”型”が決まったらBigQuery。 ビッグデータ分析においてデータベースは必要不可欠であることは言うまでもありません。これらのビックデータ向けデータベースの代表格としてオンプレミスではO...