2015.11.04 08:24
データアレンジメントがビッグデータ時代の新潮流になる。｜データクレンジングの限界を越えよう
データを深掘るならデータアレンジメントのスキルが必要！！ 「ビッグデータ」という言葉が一般的に使われるようになった近年、今まで分析できなかったデータウェアハウス(DWH)上の1TBを超えるような大量データもクラウドデータベースなどによって...
2016.11.16 08:12
データベースを”倉庫”ではなく”道具”として使う発想 ～データベース上で分析データを下ごしらえする～
データベースの特性を活かすことで "誰でも"、"確実に" データ分析が行える データ分析 ＝ データベース。こんな公式を書いて何の違和感もないほど、データベースは、データ分析のために「なくてはならない存在」です。まさに、両者は切っても切れ...
2017.06.05 07:58
データレイクとクラウドサービス ～①データレイクの今までをおさらい～
データレイクはビッグデータ分析とともに常に進化している ちょうど2年前。弊社ブログで「データレイク(Data Lake)」について取り上げさせていただきました。その当時「データレイク」という言葉だけが先行し、何を使えばよいか、どんな場面で...
2017.06.12 08:35
データレイクとクラウドサービス ～②クラウドサービスが支えるこれからのデータレイク～
クラウドサービス進化によってデータレイクの運命が決まる 前回、データレイクとはどういうものか、データベースと何が違うかについて触れました。今回はクラウドサービスがデータレイクにどの様に影響しているか、そして、今後、データレイクはどの様に変...
2013.12.16 13:13
2次属性を理解しよう｜ギックスのビッグデータ分析体系 ④
ギックスならではの分析プロセス 「２次属性の作成」 前回は分析プロセスの最初の段階となる「ビジネスの理解」と「データの理解・準備」のプロセスについてご説明しました。今回は、いよいよギックスデータ分析体系ならではの分析プロセスであたる「2次...
2014.03.02 10:58
ビックデータを全量分析できる時代になった｜ビッグデータ分析の留意点①
サンプル分析から全量分析へ 近代統計学の学問体系は、無限に近い大規模な母集団から無作為に抽出された、数百から数万のサンプルデータが持つ統計的な性質を中心に論じられてきました。たとえば、内閣府が行っている「社会意識に関する世論調査」では、1...
2015.02.06 09:02
第4回・CSVファイル｜CSV、XML、JSON…データフォーマットの変遷について考える
フォーマット解説の第二弾はおなじみCSVフォーマットです 前回(第3回)は、各フォーマットを説明していく第一弾として「フラットフォーマット」について説明しました。今回は第二弾としてCSVフォーマットについて説明します。これまでの記事と同様...
2015.04.17 09:15
文字コードや文字化けを理解しよう(その2)|いまさら訊けないビッグデータ分析
第2回は「文字化けあるある」です。 前回は文字コード関する基本的な知識をまとめてみました。第2回の今回は「じゃあ文字化けはどういった場合に起こるの？」という場面についてパターン分けして説明していきたいと思います。皆さんも心当たりがあったら...
2015.04.03 09:08
カラムナー、キューブ、インメモリ…ビックデータ分析におけるデータベースのまとめ｜いまさら訊けないビッグデータ分析
データベースの「タイプ」を知ってますか？ こんにちは、ギックス技術チームの岩谷です。 先日とある方より「ビッグデータ分析処理で、Tableauはキューブを作成しないからシステムの運用がしやすいって聞いたんだけど、どういう事なのかな？...
2015.07.25 10:04
フィルタリングと文字列置換とプログラムによる変換方法｜Talend Open Studio によるビッグデータ分析(第5回)
フィルタリング(tFilterRow)と文字列置換(tReplace)とプログラムによる変換(tMap)を紹介 前回、Talendでフォルダ検索を行い、フォルダ中のファイルを1つのファイルに追記する方法までのジョブを作成しました。また、コ...
RECOMMEND
SERVICE
SERVICE
