Tech & Science 2014.03.02 10:58 ビックデータを全量分析できる時代になった|ビッグデータ分析の留意点① サンプル分析から全量分析へ 近代統計学の学問体系は、無限に近い大規模な母集団から無作為に抽出された、数百から数万のサンプルデータが持つ統計的な性質を中心に論じられてきました。たとえば、内閣府が行っている「社会意識に関する世論調査」では、1...
Tech & Science 2014.03.09 10:56 「確率がとても低い事象の分析」に全量データ分析は威力を発揮|ビッグデータ分析の留意点② 「ロングテール」に代表される確率が低い事象には全量データ分析 本日は、全量データ分析の優位性①にあたる、以下のポイントについて説明します。 優位性①:確率が低い事象を扱う場合に、サンプルデータでは得られない知見が得られるという点で、...
Tech & Science 2014.03.23 11:01 べき分布のデータには注意しよう|ビッグデータ分析の留意点④ 購買系のビッグデータには「べき分布」が多く注意が必要 (第2回)と(第3回)で全量分析の優位点について紹介しました。本日からは、全量データに注意すべき点を説明します。本日は注意点①の以下のポイントです。 注意点①:サンプルデータは中...
Tech & Science 2014.03.30 11:04 ビッグデータでは統計的検定は意味がない|ビッグデータ分析の留意点⑤ 統計的検定とは? (第2回)と(第3回)で全量分析の優位点について、(第4回)で全量データを分析する際の注意点①を紹介しました。本日は、2つ目の注意すべき点である以下について説明します・ 注意点②:標本統計を前提とした統計的検定は、ビッ...
Tech & Science 2014.03.27 23:09 Microsoft Power BI 導入レポート:お手軽ベーシックの導入 ~Power BI for Office 365 + Office 365 ProPlusをインストールしてみよう~ Power BI 「お手軽ベーシック導入」をやってみよう 前回の記事でPower BIは3種類の導入形態があることを紹介しました。今回はそのうち、弊社が実施した『お手軽ベーシック導入』の導入手順を紹介します。今回の紹介箇所は、以下の図の赤...
Tech & Science 2014.05.12 08:58 回帰分析とその応用① ~回帰分析は何のために行うのか? 各種回帰分析の実施方法を解説 本連載では、回帰分析の実施方法について、本日から5日間に渡り説明してまいります。第一回目は、回帰分析の目的、実施例および回帰分析の種類についての解説です。 回帰分析は何のために行うのか? そもそも、回帰分...
Tech & Science 2014.05.16 08:58 回帰分析とその応用⑤ ~非線形回帰分析 各種回帰分析の実施方法を解説 本連載では、回帰分析の実施方法について、5日間に渡り説明してまいります。第5回目の本日は、非線形回帰式として、トービットモデルと二乗項や交互作用項の追加したモデルを紹介します。 トービット・モデル トービ...
Tech & Science 2015.03.06 08:51 文字コードや文字化けを理解しよう(その1)|いまさら訊けないビッグデータ分析 文字コード?文字化け?このモヤモヤ、気になっていませんか? こんにちは、技術チームの岩谷です。前回のデータフォーマットに関する連載で私は文字コードについて少しだけふれました。あれから何人かの方から「文字コードについて"ああ~あらためて言わ...
Tech & Science 2017.06.19 08:43 ETL処理とELT処理の違い ~ビッグデータ処理の新トレンド~ ELT処理はクラウドデータベースだから可能になった荒業 皆さんは「ELT処理」をご存知でしょうか? 決して「Every Little Thing」ではありません。 ELT処理は、ETL(Extract/Transform/Load)...
Tech & Science 2020.12.15 08:58 TableauのLOD表現で注意すべきこと この記事は GiXo アドベントカレンダー の 15 日目の記事です。昨日は、トチカチを支える技術でした。 Design & Science Div.の松田です。本記事では、弊チームが利用しているBIツールの一つ「Table...