IBM、Nvidia、そしてBloombergは、KServeがLF AI & Data Foundationの育成プロジェクトになることを強調しています。

この発表はKServe 0.8のリリースに先立って行われました。

IBMとBloombergは木曜日に、KServeがLF AI & Data Foundationに最新のインキュベーションプロジェクトとして参加することを発表しました。KServeは、任意のフレームワーク上で機械学習モデルを提供するためのKubernetesカスタムリソース定義を提供し、Watson Assistantを含むいくつかのIBM製品の基盤となっています。

シンは、IBMのModelMeshがオープンソースでKServeプロジェクトの一部として利用可能であり、高額なコンテナ管理の課題を解決し、わずかなフットプリントで単一のプロダクションデプロイメント内で数十万のモデルを実行できることを可能にすることを追加しました。

Nvidiaのアクセラレーテッドコンピューティングの製品管理シニアディレクターであるパレッシュ・カリヤは、Nvidia Triton Inference ServerがKServeと連携して、KubernetesでのAIのデプロイメントとスケーリングの複雑さをサーバーレス推論フレームワークを介してカプセル化することを説明しました。

「Nvidiaは、AI機械学習モデルのスケール展開を容易にするためのKServeオープンソースコミュニティプロジェクトに引き続き積極的に貢献しています。」とカリヤは述べました。

KServeは、ブルームバーグのAIエンジニアリング責任者であるアンジュ・カンバドゥールによると、ブルームバーグがBloomberg Terminalやその他のエンタープライズ製品でのAIの使用を拡大するのを支援しています。カンバドゥールは、ブルームバーグがアイデアからプロトタイプ、そして生産へ迅速に移行したいと考えており、一度構築したモデルがデータの変化に応じてシームレスに進化できるようにする必要があると説明しました。

「これは、より良い製品をより早く作るためだけでなく、AI研究者たちの創造的な潜在能力を解放し、膨大なボイラープレートコードを書くことで彼らを負担させないためにも重要です。この点に関して、私は興奮していると同時に感謝しています。ブルームバーグが設立を支援し、開発を主導したKServeがこのような進展を遂げたことに、」とカンバドゥールは述べました。

人気のある韓国の検索エンジンNaver Searchのソフトウェアエンジニア、マーク・ウィンターは、KServeのおかげでAIサービングインフラを近代化し、昼夜のトラフィックスケーリングの違いを処理するために必要なツールを提供できたと語った。

「KnativeとKubernetesの上に標準化されたインターフェースを提供することで、KServeは私たちのAI研究者がより良いモデルを作成し、彼らの努力を生産に移すことに集中できるようにし、高可用性のバックエンドサービスの提供と管理の専門家になる必要がありません」とウィンターは述べました。

この発表は、KServe 0.8のリリースに先立って行われたもので、広報担当者によれば、新しいServingRuntimeカスタムリソース、ModelMeshのマルチネームスペース調整、改善されたCloudEventおよびgRPCサポート、TorchServeとのKServe v2 REST API統合などの機能が含まれるとのことです。

広報によると、v1.0のロードマップには、ModelMeshと単一モデルのサービングデプロイメントを統合する安定化されたAPIと、より高度な推論グラフ機能が含まれています。