Tech & Science 2014.03.02 10:58 ビックデータを全量分析できる時代になった|ビッグデータ分析の留意点① サンプル分析から全量分析へ 近代統計学の学問体系は、無限に近い大規模な母集団から無作為に抽出された、数百から数万のサンプルデータが持つ統計的な性質を中心に論じられてきました。たとえば、内閣府が行っている「社会意識に関する世論調査」では、1...
Tech & Science 2014.03.09 10:56 「確率がとても低い事象の分析」に全量データ分析は威力を発揮|ビッグデータ分析の留意点② 「ロングテール」に代表される確率が低い事象には全量データ分析 本日は、全量データ分析の優位性①にあたる、以下のポイントについて説明します。 優位性①:確率が低い事象を扱う場合に、サンプルデータでは得られない知見が得られるという点で、...
Tech & Science 2014.03.23 11:01 べき分布のデータには注意しよう|ビッグデータ分析の留意点④ 購買系のビッグデータには「べき分布」が多く注意が必要 (第2回)と(第3回)で全量分析の優位点について紹介しました。本日からは、全量データに注意すべき点を説明します。本日は注意点①の以下のポイントです。 注意点①:サンプルデータは中...
Tech & Science 2014.03.30 11:04 ビッグデータでは統計的検定は意味がない|ビッグデータ分析の留意点⑤ 統計的検定とは? (第2回)と(第3回)で全量分析の優位点について、(第4回)で全量データを分析する際の注意点①を紹介しました。本日は、2つ目の注意すべき点である以下について説明します・ 注意点②:標本統計を前提とした統計的検定は、ビッ...
Tech & Science 2014.05.16 08:58 回帰分析とその応用⑤ ~非線形回帰分析 各種回帰分析の実施方法を解説 本連載では、回帰分析の実施方法について、5日間に渡り説明してまいります。第5回目の本日は、非線形回帰式として、トービットモデルと二乗項や交互作用項の追加したモデルを紹介します。 トービット・モデル トービ...
Tech & Science 2014.07.29 09:02 「Tableau(タブロー)」を使ってみた|利用頻度の高いグラフ作成① ~月次数値の対前年比較 利用頻度の高いグラフを作成し、Tableauの操作チップスを紹介する 前回の記事でご紹介したとおり、Tableauは感覚的に操作でき試行錯誤しながらグラフを作れる、自由度の高いソフトです。ただ「試行錯誤でき自由度が高い」という優位性のトレ...
Tech & Science 2014.09.09 09:06 Geek at GiXoの分析ツール使いこなし術|TableauとRの連携 第2回 TableauとRを連携させる 前回は、TableauとR連携の準備を進めてきました。意外と簡単に設定が出来たかと思います。今回は、実際にTableau-R連携環境で何ができ、どのような仕組でTableauとRが連携されているのかを確認し...
Tech & Science 2014.09.10 09:08 Geek at GiXoの分析ツール使いこなし術|TableauとRの連携 第3回 TableauとRを連携させる 前回は、Tableauが提供しているパッケージワークブックを使い、TalbeauとRを連携させると何ができ、また具体的にどのようにTalbeuとRが連携されていくのかを見てきました。今回は、手持ちのデータを...
Tech & Science 2017.02.08 09:02 Amazon Athena の分析サービスとしての位置付けについて考えてみる Amazon Athena は Google BigQuery と MS PolyBase を足して2で割ったようなサービス 昨年末、Amazon Web Services(以下、AWS)が主催したAWS re:Invent 2016から...
Tech & Science 2017.06.19 08:43 ETL処理とELT処理の違い ~ビッグデータ処理の新トレンド~ ELT処理はクラウドデータベースだから可能になった荒業 皆さんは「ELT処理」をご存知でしょうか? 決して「Every Little Thing」ではありません。 ELT処理は、ETL(Extract/Transform/Load)...