Tech & Science 2014.03.09 10:56 「確率がとても低い事象の分析」に全量データ分析は威力を発揮|ビッグデータ分析の留意点② 「ロングテール」に代表される確率が低い事象には全量データ分析 本日は、全量データ分析の優位性①にあたる、以下のポイントについて説明します。 優位性①:確率が低い事象を扱う場合に、サンプルデータでは得られない知見が得られるという点で、...
Tech & Science 2014.03.16 11:08 全量データで多重クロス集計を行い、擬似相関を見破り、交互作用を発見|ビッグデータ分析の留意点③ 本日は、全量分析の優位性②にあたる、以下のポイントについて説明します。 優位性②:性別、年齢、居住地、嗜好など、非常に多くの要素による多重クロス集計を行うことができる。 購買行動や意識などを分析する時、性・年代別ごとのクロス集計を取...
Tech & Science 2014.03.23 11:01 べき分布のデータには注意しよう|ビッグデータ分析の留意点④ 購買系のビッグデータには「べき分布」が多く注意が必要 (第2回)と(第3回)で全量分析の優位点について紹介しました。本日からは、全量データに注意すべき点を説明します。本日は注意点①の以下のポイントです。 注意点①:サンプルデータは中...
Tech & Science 2014.03.30 11:04 ビッグデータでは統計的検定は意味がない|ビッグデータ分析の留意点⑤ 統計的検定とは? (第2回)と(第3回)で全量分析の優位点について、(第4回)で全量データを分析する際の注意点①を紹介しました。本日は、2つ目の注意すべき点である以下について説明します・ 注意点②:標本統計を前提とした統計的検定は、ビッ...
Tech & Science 2014.05.16 08:58 回帰分析とその応用⑤ ~非線形回帰分析 各種回帰分析の実施方法を解説 本連載では、回帰分析の実施方法について、5日間に渡り説明してまいります。第5回目の本日は、非線形回帰式として、トービットモデルと二乗項や交互作用項の追加したモデルを紹介します。 トービット・モデル トービ...
Tech & Science 2014.09.08 09:04 Geek at GiXoの分析ツール使いこなし術|TableauとRの連携 第1回 [ギックス流]での分析ツール活用をお伝えします 私が分析ツールアドバイザーを務める「株式会社ギックス」は、クライアントの事業を高度化するための分析を実施することを主業務の一つと置いており、また、その実現にあたっては「分析の目的にマッチし、...
Tech & Science 2015.03.04 08:49 計算フィールドの利用|プロ野球データでクロス集計with Tableau 第8回 2014年のプロ野球全打席データをクロス集計していきます 2014年のプロ野球の打席データを全量(約6.6万件)手元に置き、さまざまな切り口でクロス集計して、プロ野球全体の打席の傾向を見ていく「プロ野球データでクロス集計 with Tab...
Tech & Science 2015.11.04 08:24 データアレンジメントがビッグデータ時代の新潮流になる。|データクレンジングの限界を越えよう データを深掘るならデータアレンジメントのスキルが必要!! 「ビッグデータ」という言葉が一般的に使われるようになった近年、今まで分析できなかったデータウェアハウス(DWH)上の1TBを超えるような大量データもクラウドデータベースなどによって...
Tech & Science 2015.08.24 08:44 Amazon Redshiftの利用料金を半額にしよう!~自動シャットダウン/リストアのノウハウ公開~|AWSを使い倒せ Redshiftの起動時間を減らす シャットダウン&リストア・バッチプログラム Amazonのビッグデータ専用のDBであるAmazon Redshift(以下、Redshift)は、自社でオンプレミスのサーバー環境を構築する場合に...
Tech & Science 2017.06.05 07:58 データレイクとクラウドサービス ~①データレイクの今までをおさらい~ データレイクはビッグデータ分析とともに常に進化している ちょうど2年前。弊社ブログで「データレイク(Data Lake)」について取り上げさせていただきました。その当時「データレイク」という言葉だけが先行し、何を使えばよいか、どんな場面で...