Skip to main content

Horovod 分散学習フレームワークが LF Deep Learningの最新プロジェクトに

Uberによるコントリビューション、Horovodが分散ディープラーニングをスピーディーかつ簡単に

2018年12月13日 シアトル (KubeCon + CloudNativeCon North America) – The Linux Foundation 傘下で人工知能 (AI)、マシン ラーニング (ML)、ディープ ラーニング (DL) 分野のオープンソース イノベーションを支援し維持するLF Deep Learning Foundation は、Uberのコントリビューションによる最新プロジェクト「Horovod」を発表しました。Horovodは、TensorFlow、Keras、PyTorchに対応した分散学習フレームワークで、マシン ラーニングの学習におけるスピード、スケール、リソース配分を改善します。

The Linux Foundationのリサーチ担当ディレクターである Ibrahim Haddadは、次のように述べています。
「LF Deep Learning Foundationは、人工知能 / ディープ ラーニング / マシン ラーニング プロジェクトのエコシステムを構築することに重点を置いています。UberによるHorovodプロジェクトのコントリビューションという今回の発表は、このビジョンの達成に向けた大きな進展を表しています。本プロジェクトはマシン ラーニングモデルの迅速で効果的な学習に非常に有効であることが実証されています。私たちはHorovodコミュニティをさらに成長させ、この素晴らしいプロジェクトの導入を推進することを楽しみにしています。」

Horovodは、シングルGPUのTensorFlowプログラムを多数のGPUでより速く学習することを容易にします。さらにHorovodは、GPUリソース使用量を大幅に改善しました。本プロジェクトは、高度なアルゴリズムを使用し高性能ネットワークの機能を活用して、データ サイエンティスト、研究者、AI開発者にディープ ラーニングモデルを容易かつ高性能に拡張するツールを提供します。Harovodの標準的な分散TensorFlowに対するベンチマーク テストでは、Harovodのスケーリング処理能力の大幅な向上(約2倍)をUberが確認しました。

Uberは現実世界の活動で、自動運転車、不正検出、旅行予測などのサポートでHorovodを使用しています。Alibaba、Amazon、NVIDIA もまた Horovodを使用しています。UberのほかにAmazon、IBM、Intel、NVIDIAがプロジェクトに貢献しています。

Horovodプロジェクトのリーダーである Alex Sergeev氏は、次のように述べています。
「Uberは業界全体のAI研究者にとってディープ ラーニング モデル学習をより迅速かつ直感的に行えるようにHorovodを構築しました。こうしたスピリットの下、HorovodをLF Deep Learning Foundationの最新プロジェクトとしてディープ ラーニング コミュニティにコントリビュートすることを光栄に思います。Horovodはその機能とアプリケーションにおいて成長し続けており、今回のコラボレーションにより、私たちはAIの進化のためにオープンソース エコシステムにおけるHorovodのインパクトをさらに拡大することができます。」

Horovodは、LF Deep Learningプロジェクトである Acumos (プラットフォーム、オープンソースAIフレームワーク)、Angel (パラメータ サーバーを基盤にした高性能分散マシン ラーニング プラットフォーム)、EDL (クラウド サービス プロバイダーがディープ ラーニング フレームワークを用いてクラスター クラウド サービスを構築するのを支援するために設計されたエラスティック ディープ ラーニング フレームワーク) に加わります。Horovodはこれらの従来からのプロジェクトを補完し、将来的に協力していきます。

Horovod バックグラウンド

UberによりLF Deep Learning Foundationにコントリビューションされた本プロジェクトは、現在26人のコミッターから175コミットを得ており、Apache-2.0のもとライセンス管理されています。

Linux Foundation Core Infrastructure Initiative Best Practices Badgeを取得したHorovodは、AWS Deep Learning AMI、Azure Data Science VM、Databricks Runtime、GCP Deep Learning VM、IBM FfDL, IBM Watson Studio、NVIDIA GPU Cloudなどのディープ ラーニング ディストリビューションにも含まれています。Horovodに関する詳細は、Uberエンジニアリング ブログとHorovodクリエイターAlex Sergeev氏のインタビューをご覧ください。

UberがThe Linux Foundationゴールド メンバーに加盟した最近のニュース後も、Uberはオープンソース技術への取り組みを強化し続けています。他のUberによる代表的なオープンソース技術として、Cloud Native Computing FoundationプロジェクトのJaegerが挙げられます。

プロジェクトへのコントリビューションやLF Deep Learning Foundation詳細に興味のある開発者や組織は、こちら をご覧ください。

LF Deep Learningについて

Linux Foundationのプロジェクトである LF Deep Learning Foundationは、人工知能、マシン ラーニングおよびディープ ラーニング分野のオープンソース プロジェクトの進展を支援・維持します。同組織に属する Acumos AI Projectは、AIモデルの構築・共有・デプロイを容易にするプラットフォームおよびオープンソース フレームワークです。LF Deep Learningは、世界最大級のテクノロジー リーダー企業の支援を受け、AI、DL、MLイノベーションを前進させるための調和とエコシステム エンゲージメントに取り組む中立の場です。LF Deep Learning Foundationへの参加方法はこちらをご覧ください。

The Linux Foundationについて

The Linux Foundationは、オープン テクノロジの開発や企業展開を加速するエコシステム構築のための組織として、世界のトップクラスの開発者や企業から選ばれています。The Linux Foundationは世界中のオープンソース コミュニティと協力して、史上最大の共有技術投資を作り出すことにより、難解な技術問題を解決しています。2000年に創設されたThe Linux Foundationは、ツール、トレーニング、イベントなどを提供することでさまざまなオープンソース プロジェクトの成長を助け、企業単体では実現できない経済効果の創出に寄与しています。詳細については、www.linuxfoundation.org を参照してください。

###

The Linux Foundationはさまざまな商標を登録および使用しています。The Linux Foundationの商標一覧はこちらのページでご確認いただけます。LinuxはLinus Torvaldsの登録商標です。

 

The Linux Foundation
Follow Us
Latest posts by The Linux Foundation (see all)
Close Menu