2017.12.25 12:07
Apache Airflow でタスクスケジューリングしてみた ～Airflowによって開発負荷が変わる～
Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.07 14:56
Apache Airflow でタスクスケジューリングしてみた ～タスク開発のポイント～
Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2015.01.07 09:05
2014年全6.6万打席の紹介｜プロ野球データでクロス集計 with Tableau 第1回
2014年のプロ野球全打席データをクロス集計していきます 我々ギックスは、データ分析において「加工されていない生データを手元に持ちましょう」「複雑なモデルを作らなくてもクロス集計で十分なケースが多いです」「仮説を検証するための人間の頭で考...
2015.04.22 09:12
クロスプラットフォームアプリ開発の落とし穴｜スマホアプリ開発を考える（第3回）
クロスプラットフォームも万能ではない！知られざる落とし穴を解説。 前回は、Webアプリ開発者をスキルチェンジさせて、健全な開発方法として、クロスプラットフォームを紹介しました。今回は、私が開発者として経験した、クロスプラットフォームのデメ...
2015.05.15 09:07
Power BI DesignerからAmazon Redshiftに接続する | ブラウザで動く新Power BIを使ってみた
Power BI Designerを使用して直接データベースからデータ取得する 前回、Power BI Designer(Preview版)からAmazon RDS(Postgre SQL)への接続を試みましたが、データ取得に失敗しました...
2015.07.29 08:21
Power BIのラインアップは「デスクトップ」「ブラウザ」「スマホアプリ」の3種類｜新バージョン Power BI の紹介
データ分析基盤と分析結果共有基盤を手軽に構築できる こんにちは、分析チームの萩原です。 ギックスが以前から「安くて、早くて、易しいツール」の一つとして注目している分析ツール「Microsoft Power BI」の新バージョンがリリ...
2015.09.07 11:15
Wi-Fi無線LAN干渉とは何か？｜IoT・センサー環境敷設にあたっての注意点
IoT担当者必読！無線LAN設置には「配慮」が必要です。 こんにちは、技術チームの岩谷です。先日とある方より「Wi-Fiの電波干渉って何？無線LANが使えなくなっちゃうの？」という質問をいただきました。今回はこのお題についてちょっと説明を...
RECOMMEND
SERVICE
