Tech & Science 2017.12.25 12:07 Apache Airflow でタスクスケジューリングしてみた ~Airflowによって開発負荷が変わる~ Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
Tech & Science 2018.01.30 22:33 Apache Airflow でタスクスケジューリングしてみた ~公式ドキュメントの読み解き方~ Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう!」っと思ってもAirflow公式ドキュメント...
Tech & Science 2018.02.24 13:36 Apache Airflow でタスクスケジューリングしてみた ~ログを退避させる~ 外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
Tech & Science 2020.02.10 09:06 Cloud Composer と GKE を活用して機械学習のワークフローを構築する GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
Tech & Science 2020.04.13 08:07 機械学習基盤における Cloud Dataflow の活用 Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
Others 2014.12.21 09:07 (3)機械学習の学習者視点で読み解く|ギックスの本棚/戦略的データサイエンス入門 ~ビジネスに活かすコンセプトとテクニック~ (O’REILLY/オライリー) 機械学習を学ぶ者にとっての「戦略的データサイエンス入門」 これまで、「戦略的データサイエンス入門」(O'REILLY)をビジネス視点、統計学の視点から各エキスパートが語ってきたわけですが、今回は、機械学習を学んでいる者の視点から同書を紹介し...
Tech & Science 2014.12.30 08:59 Python vs R 実装方法の違い(ロジスティック回帰)/PythonとRのビッグデータ統計分析の比較 第3回 Python+Anaconda+Eclipseでロジスティック回帰プログラムを実行 前回の記事では、統計モデルを構築する上ために必要となるプログラム実行環境の構築手順を説明しました。今回は、実際にロジスティック回帰のプログラムを実行します...
Others 2015.04.27 16:07 Power BI無償化でビッグデータ戦略を強化するマイクロソフト/ニュースななめ斬りbyギックス Power BI無料版に関する記事が続々と 4月24日(金)に我々は「ブラウザで動く新Power BIを使ってみた」という記事を掲載しましたが、その4月24日(金)の夕刻からから本日4月27日(月)にかけて以下のように各メディアからマイク...
Tech & Science 2020.12.09 07:54 Apache Superset の可視化例紹介 この記事は GiXo アドベントカレンダー の 9 日目の記事です。昨日は、SPA の First View 表示速度を改善するでした。 Technology Div.の幸田です。本記事では、OSSのBIツールであるApache S...
Corporate 2021.12.15 09:00 コロナ禍におけるD&Sチームのリモートワーク活用記 この記事は GiXo アドベントカレンダー の 15 日目の記事です。昨日は、Business Planning Div. 紹介でした。 はじめまして、Design & Science Div.の田原です。DIコンサルティン...