Tech & Science 2017.12.25 12:07 Apache Airflow でタスクスケジューリングしてみた ~Airflowによって開発負荷が変わる~ Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
Tech & Science 2018.02.07 14:56 Apache Airflow でタスクスケジューリングしてみた ~タスク開発のポイント~ Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
Tech & Science 2018.02.24 13:36 Apache Airflow でタスクスケジューリングしてみた ~ログを退避させる~ 外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
Tech & Science 2020.02.10 09:06 Cloud Composer と GKE を活用して機械学習のワークフローを構築する GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
Tech & Science 2020.04.13 08:07 機械学習基盤における Cloud Dataflow の活用 Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
Tech & Science 2014.01.13 12:58 Quick Startのための分析ツールとは|ギックスのビッグデータ分析体系 ⑧ 手軽に利用できるビッグデータ分析ツール ここまで7回にわたってギックスのビッグデータ分析体系の中の分析プロセスについて説明しました。本日は分析体系の中の「ギックスで利用するビッグデータ分析ツール」の紹介に進みます。ビックデータ分析体系の中...
Tech & Science 2014.02.14 09:03 ビッグデータ活用事例(12)アフターサービス/会社を強くするビッグデータ活用 この連載では「会社を強くする ビッグデータ活用入門 -基本知識から分析の実践まで-」で取り上げたビッグデータやアナリティクスの活用事例を抜粋し、ご紹介していきます。 書籍の中では大きく2つの場合で事例を区分しており、合計8回にわたり、...
Tech & Science 2016.01.26 08:55 Azure SQL DWパフォーマンスチューニング(リソースクラス編):Microsoft Azure SQL Data Warehouse を使ってみた(6) DWUをスケールアップしてもDBの真の実力を発揮していない! リソースクラスも変更する必要がある Microsoft Azure SQL Data Warehouse(以下、SQL DW)は、SQL Data Warehouseユニット(...
Corporate 2020.12.06 07:39 Business Optimization Div. 紹介 この記事は GiXo アドベントカレンダー の 6 日目の記事です。昨日は、Connected Sheets を用いたビッグデータ分析(後編)でした。 Business Optimization Div. 所属の竹内です。本記事では...
Tech & Science 2021.12.10 08:38 非エンジニアばかりの分析チームで1年間 Dataform を運用してみた この記事は GiXo アドベントカレンダー の 10 日目の記事です。昨日は、GiXoの成長を支える制度についてでした。 Design & Science Div. の堀川です。Design & Science Di...