 |
- KV（キーバリュー）キャッシュソリューションは、Supermicro Petascaleストレージサーバー、IBM Storage Scaleソフトウェア、NVIDIA Dynamo推論ソフトウェア、およびNVIDIA Spectrum-X Ethernetスイッチを統合している
- パフォーマンステストの結果、KVキャッシュソリューションは、KVキャッシュのないシステムと比較して、ロングコンテキストウィンドウにおける最初のトークンまでの時間 (TTFT) を短縮することが示された
- 顧客は、GPU利用率、スループット、インフラストラクチャのスケーラビリティの向上により、推論効率を劇的に改善できる
カリフォルニア州サンノゼ, 2026年11月5日 /PRNewswire/ — データセンタービルディングブロックソリューション®（DCBBS）を特徴とする、AI、エンタープライズ、ストレージ、5G/エッジ分野のトータルITソリューションプロバイダーであるSupermicro, Inc.（NASDAQ：：SMCI）は、IBMおよびNVIDIAと共同で、新たなKVキャッシュストレージソリューションを発表しました。この共同ソリューションは、AMD EPYC 9005シリーズプロセッサ（「Turin」）を搭載したSupermicro Petascaleオールフラッシュストレージサーバー、IBM Storage Scaleソフトウェア、NVIDIA Dynamo推論フレームワークソフトウェア、およびSpectrum-X Ethernetネットワークを統合したものです。
KV Cache high-performance platform for large-scale AI inference
これらの技術を組み合わせることで、AIモデルが応答を生成するまでの時間を劇的に短縮することができ、企業がエージェント型AIワークフローや長期コンテキストAIワークフローを採用するうえで重要な利点となります。KVキャッシュの容量をローカルGPUメモリを超えて拡張することで、GPUの利用率と推論スループットを向上させると同時に、KVキャッシュコンテンツの高い可用性と、KVキャッシュ容量の非破壊的なスケーリングを実現できます。その結果、より拡張性と回復力に優れた推論アーキテクチャが実現し、より高速で応答性の高いAI体験を提供できるようになります。
「AIワークロードがトレーニングから推論へと拡大するにつれ、エージェント型AIやロングコンテキスト、マルチターン生成型AIに特徴的な高スループット推論ワークロードを展開する企業やネオクラウドは、GPU効率を向上させるためにボトルネックを解消する必要があります」と、Supermicroの社長兼CEOであるCharles Liangは述べています。「IBMおよびNVIDIAとの共同開発による当社のソリューションは、これらのパフォーマンス上の利点を明確に示しています。」
このリリースのビデオ概要をご覧になるには、こちらをクリックしてください。
推論ワークロードは、プリフィルとデコードという2つのフェーズで構成されています。事前入力の際、入力テキストはトークンに変換され、LLMによって処理されて、推論に必要な中間キー値（KV）状態が生成されます。以前に計算されたこれらのKV状態を永続的なKVキャッシュに保存することで、システムは後続のリクエストに対して同じコンテキストを再計算する代わりに、それらを再利用することができます。エージェント型ワークフロー、コーディングアシスタント、ロングコンテキストRAG、マルチモーダルAI、およびマルチターンアプリケーションは、大規模なコードベース、ドキュメント、会話、画像、その他のコンテキストを処理する際に、大量のKV状態を生成する可能性があり、GPUおよびCPUメモリをすぐに超過するため、KVキャッシュを大容量の共有ネットワークストレージにオフロードする必要が生じます。
Supermicro、IBM、NVIDIAが提供するKVキャッシュソリューションは、この永続ストレージ層を提供することで、推論効率、スループット、スケーラビリティを向上させ、冗長な計算を削減します。
KVキャッシュソリューションの主な顧客メリットは以下のとおりです。
- 共同ソリューション検証– Supermicro、IBM、NVIDIAは、高同時実行性やノイズの多い近隣ネットワークトラフィックのシナリオを含む、パフォーマンスを測定するための広範なクラスタレベルのテストを実施しました。
- 推論パフォーマンスが劇的に高速化され、一貫性も向上 – SupermicroとNVIDIAが共同で行ったテストでは、1,200億パラメータのLLMで、永続的なKVキャッシュにより、130,000トークンのプロンプトでTTFTが最大56倍高速化されました。[1] インプット・レングスが30,000トークンから130,000トークンに増加しても、KVキャッシュを使用した場合のTTFTの増加はわずか0.377秒で、使用しない場合の29.55秒と比較して、ロングコンテキストのワークロードでより一貫性のあるパフォーマンスを実現できます。
- GPU利用率とスループットの向上 – 頻繁に再利用されるコンテキストをGPUメモリの外で利用できるようにすることで、このソリューションはGPUのアイドル時間を短縮し、推論スループットを向上させ、GPUリソースを比例的に増加させることなく、より高い並列処理をサポートします。
- エンタープライズのレジリエンスと信頼できるAI運用 – 永続的で可用性の高い KVキャッシュは、キャッシュされた推論状態を保護しながら、GPUノードとクラスタ間で共有アクセスを提供し、より回復力が高くストレージ効率の高いAIサービスを大規模にサポートします。
- 検証済みのターンキーAIインフラストラクチャ – Supermicro、IBM、NVIDIAは、NVIDIA Dynamo、IBM Storage Scaleソフトウェア、Supermicro Petascale、サーバー、NVIDIA Spectrum-Xネットワーキングを組み合わせた統合アーキテクチャを、高同時実行性およびノイズの多い近隣環境シナリオで共同検証しました。
- 迅速な導入サービス – Supermicroの工場でのラック統合とオンサイト導入サービスにより、このソリューションの導入時間を数週間から数日に短縮できます。
「企業は、AI推論を拡張するための根本的に優れた方法を必要としています。IBM、Supermicro、NVIDIAは協力して、高性能でレジリエントなKVキャッシュソリューションを提供します。これにより、お客様はGPUへの投資を最大限に活用し、コンピューティングとは独立して拡張し、インフラストラクチャの効率を大幅に向上させることができます」と、IBMストレージ担当ゼネラルマネージャーのSam Wernerは述べています。「今回の提携は、企業向けAI推論の拡張性、信頼性、費用対効果を高めるための重要な一歩となります。」
「エージェント型AIやロングコンテキストアプリケーションは、多くのステップにわたってコンテキストを効率的に再利用することに依存しており、NVIDIA Dynamoは分散推論のオーケストレーションを支援することで、企業が各GPUからより多くの実用的なスループットを得られるようにします」と、NVIDIAのAI推論製品リーダーであるShruti Koparkar氏は述べています。「NVIDIA DynamoとSpectrum-X EthernetをSupermicro PetascaleストレージサーバーおよびIBM Storage Scaleと組み合わせることで、このKVキャッシュソリューションは、冗長な計算を削減し、最初のトークン取得までの時間を改善し、顧客がレジリエントなAI推論サービスを拡張できるように支援する、高性能な共有ストレージ層を構築します。」
SupermicroとIBMのソリューションに関する詳細については、こちらをクリックしてください。また、IBM Redbook『Context without Limits：A High-Performance KV Cache Platform for Large-Scale AI Inference』をご覧になるには、こちらをクリックしてください。
Super Micro Computer, Inc.について
Supermicro（NASDAQ：SMCI）は、アプリケーション最適化型トータルITソリューション分野のグローバルリーダーです。カリフォルニア州サンノゼで設立され、現在も同地で事業を展開するSupermicroは、エンタープライズ、クラウド、AI、5G通信事業者／エッジ向けITインフラにおいて、市場に先駆けたイノベーションの提供に注力しています。当社は、サーバー、AI、ストレージ、IoT、スイッチシステム、ソフトウェア、サポートサービスを提供するトータルITソリューションプロバイダーです。Supermicroが有するマザーボード、電源、シャーシの設計ノウハウにより、当社の開発・生産力がさらに高まり、世界中のお客様に向けてクラウドからエッジまでの次世代イノベーションを実現できます。当社製品は、米国、アジア、オランダで自社設計・自社製造されており、グローバルな事業運営を活用して規模と効率性を高めるとともに、TCOの改善と環境負荷の低減（グリーンコンピューティング）に向けて最適化されています。受賞歴のあるServer Building Block Solutions®のポートフォリオにより、お客様は、各種フォームファクター、プロセッサー、メモリー、GPU、ストレージ、ネットワーキング、電源、冷却ソリューション（空調、外気冷却、液冷）に対応する柔軟で再利用可能なビルディングブロックで構成された幅広いシステム群から選択することで、個々のワークロードやアプリケーションに最適な構成を実現できます。
Supermicro、Server Building Block Solutions、およびWe Keep IT Greenは、Super Micro Computer, Inc.の商標および／または登録商標です。
その他すべてのブランド、名称、商標は、それぞれの所有者に帰属します。
1IBM Redbookに詳細が記載されています。https://www.redbooks.ibm.com/docs/MD260021/MD260021.html