Tech & Science 2015.06.21 10:07 Talendで簡単なジョブの作成|Talend Open Studio によるビッグデータ分析(第3回) Windowsで出力されたCSVファイルをエンコード(UTF-8)してDBに取込める形に変換する 前回は、Talend Open Studio(以下、Talend)のインストールと初期設定を解説しましたは、今回は、一般的なWindowsの...
Tech & Science 2015.08.15 10:24 DB間のデータコピーを2つのコンポーネントだけで行う|Talend Open Studio によるビッグデータ分析(第6回) プログラミング不要!? TalendがあればSQL知識だけでDB間のデータコピーが行える 企業内でデータ分析システムを構築した場合、業務DBと分析DBを分け、夜間バッチなどでDB間のデータコピーを行うことは多いと思います。ORACLE D...
Tech & Science 2015.07.25 10:04 フィルタリングと文字列置換とプログラムによる変換方法|Talend Open Studio によるビッグデータ分析(第5回) フィルタリング(tFilterRow)と文字列置換(tReplace)とプログラムによる変換(tMap)を紹介 前回、Talendでフォルダ検索を行い、フォルダ中のファイルを1つのファイルに追記する方法までのジョブを作成しました。また、コ...
Tech & Science 2015.07.18 10:20 フォルダ中のファイルを変換して1つにまとめる|Talend Open Studio によるビッグデータ分析(第4回) フォルダ検索(tFileList)の結果からファイル読込(tFileInputDelimited)の連携の方法を紹介 前回、Talendで簡単なジョブを作成しましたが、そのジョブに手を加え、変換処理を行うまでの手順を2回に分けて連載したい...
Tech & Science 2015.09.10 18:25 すばやい一時停止とパフォーマンス変更でコストを削減できる:Microsoft Azure SQL Data Warehouse を使ってみた(3) 検索が速いだけではない! Azure SQL DWの優れた機能をご紹介 前回は、Microsoft Azure SQL Data Warehouse(以下、Azure SQL DW)で13億件のデータを登録したテーブルに対して、検索と集計...
Tech & Science 2015.10.01 08:50 Talendの無償版(TOS)と有償版(Enterprise)の違い|Talend Open Studio によるビッグデータ分析(第9回) 基本的なバッチ処理の開発なら無償版で十分。チーム開発や処理速度を求めるなら有償版が必要 今回まで様々なTalendの機能について、ご紹介してきました。これらの機能は、全て無償のTalend Open Studio(略称:TOS)のBig ...
Tech & Science 2015.11.19 08:09 PolyBaseを使ったAzure SQL DWへの高速インポート ~図解で分かりやすく説明~:Microsoft Azure SQL Data Warehouse を使ってみた(5) PolyBaseは設定情報が複数に分かれる。それぞれの関係を正しく理解しよう 前回、PolyBaseから参照するネットワークストレージのAzure Storageをご紹介しました。今回は、実際にAzure SQL Data Warehou...
Tech & Science 2016.01.26 08:55 Azure SQL DWパフォーマンスチューニング(リソースクラス編):Microsoft Azure SQL Data Warehouse を使ってみた(6) DWUをスケールアップしてもDBの真の実力を発揮していない! リソースクラスも変更する必要がある Microsoft Azure SQL Data Warehouse(以下、SQL DW)は、SQL Data Warehouseユニット(...
Tech & Science 2016.02.01 08:46 Azure SQL DWパフォーマンスチューニング(ハッシュ分散編):Microsoft Azure SQL Data Warehouse を使ってみた(7) 大量データのテーブル結合時はテーブル結合に最適な形に保存先を分散させることが重要 前回は、Azure SQL Data Warehouse(以下、SQL DW)のリソースクラスの変更により、並列処理ができるクエリーのパフォーマンスチューニ...
Tech & Science 2016.05.05 19:24 TOSでギガ単位の適切なテストデータを作成する|Talend Open Studio によるビッグデータ分析(第11回) 手間がかかるテストデータもTOSを使えばノープログラミングで作成できる データ分析業務は、分析対象データが無いと始めることにはできません。しかし、提案段階でクライアントに分析結果イメージを提示する場合、または、分析対象データを受領してから...