Tech & Science 2017.12.25 12:07 Apache Airflow でタスクスケジューリングしてみた ~Airflowによって開発負荷が変わる~ Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
Tech & Science 2018.01.30 22:33 Apache Airflow でタスクスケジューリングしてみた ~公式ドキュメントの読み解き方~ Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう!」っと思ってもAirflow公式ドキュメント...
Tech & Science 2018.02.07 14:56 Apache Airflow でタスクスケジューリングしてみた ~タスク開発のポイント~ Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
Tech & Science 2020.02.10 09:06 Cloud Composer と GKE を活用して機械学習のワークフローを構築する GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
Tech & Science 2020.04.13 08:07 機械学習基盤における Cloud Dataflow の活用 Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
Tech & Science 2015.06.11 14:35 最速!アプリ開発マニュアル「これだけ読めば、すぐにつくれる!」~Watsonをクラウドサービス「Bluemix」から使う(第二回) 20分で作るWatson連携アプリ 前回は連載第一回として「Watson・Bluemix・クラウド」の関係を簡単に説明させていただきました。その中で高度な質疑応答システムであるWatsonの機能をクラウドサービスのBluemixから利用で...
Tech & Science 2015.08.05 08:21 「今年の夏は暑い」は本当か?(2):身近なネタで考えるグラフの使い方|冷やしデータ分析はじめました ”何” と ”どう”比べて「暑い」と言っているのか? ますます暑い日が続きますね。暑さが過ぎると、アイスではなくかき氷が売れるようになるそうですよ。というわけで、前回に引き続き、「今年の夏が本当に暑いのか」をかき氷片手に考えてみたいと思い...
Tech & Science 2015.09.21 14:24 WebRTCとは?(1)|SkypeやLINE的なサービスが自社サービスとして構築可能に? WebRTCとは「リアルタイム通信サービス」を実現するための規格 ー※ー [2015/09/22 00:30] ネットの方々よりご指摘をいただいて、記載内容を修正いたします。私の不勉強で間違った説明をしたことをお詫びいたします。ご...
Tech & Science 2015.11.25 08:21 クラウド時代の技術者はコストを意識しなくてはいけない システムの動作環境はオンプレミスからクライドにシフトした。技術者の意識もシフトする必要がある 近年、Amazon Web Services(AWS)やMicrosoft、Googleなどが優れたクラウドサービスを提供することで、企業では自...
Tech & Science 2017.05.15 08:41 Tableau Desktopの裏技を探せ ~レポート定義情報を”XMLデータ”として読み書きする~ Tableauワークブックの定義情報を直接読書きできると作業効率が上がる 弊社では主力BIツールとしてTableauを長く使ってきました。Tableauは非常に高機能で様々な分析要望を実現してくれる優れたBIツールです。しかし、様々な分析...