Tech & Science 2015.11.04 08:24 データアレンジメントがビッグデータ時代の新潮流になる。|データクレンジングの限界を越えよう データを深掘るならデータアレンジメントのスキルが必要!! 「ビッグデータ」という言葉が一般的に使われるようになった近年、今まで分析できなかったデータウェアハウス(DWH)上の1TBを超えるような大量データもクラウドデータベースなどによって...
Tech & Science 2016.11.16 08:12 データベースを”倉庫”ではなく”道具”として使う発想 ~データベース上で分析データを下ごしらえする~ データベースの特性を活かすことで "誰でも"、"確実に" データ分析が行える データ分析 = データベース。こんな公式を書いて何の違和感もないほど、データベースは、データ分析のために「なくてはならない存在」です。まさに、両者は切っても切れ...
Tech & Science 2017.06.05 07:58 データレイクとクラウドサービス ~①データレイクの今までをおさらい~ データレイクはビッグデータ分析とともに常に進化している ちょうど2年前。弊社ブログで「データレイク(Data Lake)」について取り上げさせていただきました。その当時「データレイク」という言葉だけが先行し、何を使えばよいか、どんな場面で...
Tech & Science 2017.06.12 08:35 データレイクとクラウドサービス ~②クラウドサービスが支えるこれからのデータレイク~ クラウドサービス進化によってデータレイクの運命が決まる 前回、データレイクとはどういうものか、データベースと何が違うかについて触れました。今回はクラウドサービスがデータレイクにどの様に影響しているか、そして、今後、データレイクはどの様に変...
Tech & Science 2014.01.20 08:04 Quick Startのための分析インフラとは|ギックスのビッグデータ分析体系 ⑨ ビッグデータを分析するためのインフラ ここまで8回にわたってギックスのビッグデータ分析体系について説明してきました。今回が本連載の最終回となります。本日は「分析インフラ」についてご紹介します。ビックデータ分析体系の中では以下の赤枠の部分に...
Tech & Science 2014.05.13 08:57 回帰分析とその応用② ~重回帰分析 各種回帰分析の実施方法を解説 本連載では、回帰分析の実施方法について、5日間に渡り説明してまいります。第2回目の本日は、重回帰分析について説明していきます。 回帰分析における回帰直線の引き方 重回帰分析に入る前に、まず重回帰分析の理解...
Tech & Science 2014.08.06 09:03 ”R”で実践する統計分析|回帰分析編:②重回帰分析【外部寄稿】 Rによる回帰分析の実施手順を紹介 本日は、Rの使い方の実践として、「回帰分析」について紹介していきます。なお、回帰分析の理論については、こちらの特集内の【寄稿】回帰分析とその応用を参照ください。 『”R”で実践する統計分析|回帰分析...
Tech & Science 2015.01.09 09:06 第1回 進化するフォーマット|CSV、XML、JSON…データフォーマットの変遷について考える CSV、XML、JSON…、データフォーマットも進化している 我々Gixoではいろいろなデータの分析や加工処理を行っています。私も日々データと格闘しているわけですが、私が学生のころと比べるとITをとりまくいろいろな事が進化していると感じま...
Tech & Science 2015.06.16 15:01 ”Talend”と”RapidMiner Studio”、2つのETLツールを比較してみた|Talend Open Studio によるビッグデータ分析(第1回) Talendはコンポーネント(機能)を追加、開発できる開発者好みのオープンソースETLツール データ分析するためには、データーベース(以下、DB)で取込める形に加工する必要があります。この加工には、高価なETLツールを使用するか、プログラ...
Tech & Science 2015.08.29 09:36 Amazon Redshiftへのデータインポートを2つのコンポーネントだけで行う ~TOSからAWSを操作~|Talend Open Studio によるビッグデータ分析(第7回) tRedshiftOutputBulkExecコンポーネントを使用すれば、Amazon Redshiftのインポート処理を一括で行える Amazon Redshift(以下、Redshift)は、ビッグデータに特化したDBとして広く知られ...