AI News

AIインフラの新時代:Inferact、vLLMを商用化するために1.5億ドルを確保

人工知能インフラのランドスケープにおける決定的な瞬間として、vLLMという広く採用されたオープンソース推論エンジンの作成者によって設立されたスタートアップ、Inferactが正式にステルスを脱して大規模な1.5億ドルのシードラウンド(Seed round)を発表しました。今回のラウンドは、新興企業の評価額を驚異の8億ドルに押し上げ、ベンチャーキャピタルの巨頭であるAndreessen Horowitz (a16z)Lightspeed Venture Partnersが共同リードしました。

この資金調達はシリコンバレー史上でも最大級のシードラウンドの一つを示しており、投資家の関心がモデルのトレーニングからモデルの提供(model serving)へと決定的にシフトしていることを示しています。生成型AI(Generative AI)が実験的な研究ラボから大規模な本番運用へ移行するにつれて、業界は新たなボトルネックに直面しています。それは推論の莫大なコストと遅延です。Inferactは、企業向けの「ユニバーサルな推論レイヤー」を構築することでこれを解決することを目指しており、vLLMの普及を活用して世界中でのAIモデルのデプロイ方法を標準化しようとしています。

このオーバーサブスクライブされたラウンドにはa16zとLightspeedに加えて、Sequoia CapitalAltimeter CapitalRedpoint Ventures、およびZhenFundが参加しており、推論レイヤーの戦略的重要性を強調する支援の連合が形成されています。

vLLM現象:バークレーの研究室から業界標準へ

この資金調達の規模を理解するには、Inferactを支える技術を見なければなりません。vLLM(Versatile Large Language Model)はUC Berkeleyでの研究プロジェクトとして始まり、Simon MoWoosuk KwonKaichao You、およびRoger Wangを含むチームによって開発されました。彼らの目的は、テキスト生成中に大規模言語モデル(Large Language Models、LLMs)がメモリを管理する際の重大な非効率性に対処することでした。

ブレイクスルーは、オペレーティングシステムの仮想メモリページングに触発されたアルゴリズムである**PagedAttention(PagedAttention)**という形で実現しました。従来のアテンション機構はメモリ断片化に苦しみ、GPUリソースの浪費を招きます。これは、H100 GPUが稀少で高価な時代における重大な問題です。PagedAttentionは、vLLMがアテンション用のキーとバリューを非連続のメモリブロックで管理できるようにし、スループットを劇的に向上させます。

オープンソースとしてリリースされて以来、vLLMはKubernetesやDockerの黎明期に匹敵するバイラルな採用指標を達成しています:

  • 400,000+ GPUs が推定で世界中で同時にvLLMを稼働させています。
  • 2,000人超 のコントリビューターがGitHubでプロジェクトに関与しています。
  • Meta、Google、Character.ai を含む主要テック企業による採用。

Inferactはこのオープンソース現象の管理を任されるとともに、企業がミッションクリティカルなアプリケーションで信頼できる商用プラットフォームを構築する任務を負っています。

資金調達の概要

以下の表はInferactの歴史的なシードラウンドの主要な詳細を示しています。

Metric Details Context
Round Size $150 Million One of the largest seed rounds in AI history
Valuation $800 Million Reflects high demand for inference optimization
Lead Investors Andreessen Horowitz (a16z), Lightspeed Leading top-tier deep tech firms
Key Participants Sequoia, Altimeter, Redpoint, ZhenFund Broad ecosystem support
Core Technology vLLM, PagedAttention High-throughput inference engine
Leadership Simon Mo, Woosuk Kwon, et al. Original creators of vLLM

---|---|---|

トレーニングから提供へ移行

Inferactのローンチのタイミングは、AI経済における根本的な転換と一致しています。過去2年間、資本支出はトレーニングに支配されてきました—GPT-4、Claude、Llama 3のような基盤モデルを作成するために巨大なクラスターを構築することです。しかし、これらのモデルが製品にデプロイされると、コスト構成は大きく推論へとシフトします。

業界アナリストはこれを「スループット時代("Throughput Era")」と呼んでおり、成功の主要な指標はもはや単にモデルの品質だけでなく、ドル当たりの秒あたりトークン数(tokens per second per dollar)になっています。数百万のユーザー向けにLlama-3-70Bのようなモデルを大規模に実行するには膨大な計算能力が必要です。非効率なソフトウェアスタックは遅延の急上昇やクラウド費用の高騰を招き、AIアプリケーションのユニットエコノミクスを事実上破壊してしまいます。

Andreessen Horowitzのパートナーは投資テーゼの中で「ソフトウェアはハードウェアよりも重要になりつつある」と述べています。基盤のソフトウェアスタックがGPUを30%の効率でしか使えていないなら、単にNVIDIA H100をさらに購入するだけではもはや有効な戦略ではありません。Inferactの価値提案は、高度なソフトウェアの最適化を通じて残りの70%の計算ポテンシャルを解放することであり、ハードウェア投資に対するフォースマルチプライヤーとして機能します。

オープンソースの商業化:「オープンコア(Open Core)」戦略

InferactはDatabricks(Spark)、Confluent(Kafka)、HashiCorp(Terraform)といった成功した商用オープンソース企業(COSS)の踏襲された道を進んでいます。企業は繁栄する無料コミュニティをサポートしつつ、支払う顧客向けに専有の価値を構築するという古典的な二重の課題に直面します。

CEOのSimon Moによれば、Inferactの商業戦略はエンタープライズグレードの信頼性とスケーラビリティに焦点を当てています。オープンソースのvLLMエンジンが生のエンジンパワーを提供する一方で、企業は以下を必要とします:

  • マネージドインフラストラクチャ: 自動スケーリング、マルチノードオーケストレーション、障害時のリカバリ。
  • セキュリティとコンプライアンス: SOC2準拠、プライベートクラウドへの導入、安全なモデルの取り扱い。
  • 最適化されたカーネル: 一般的なオープンソースサポートを超えた特定ハードウェア構成向けの専有最適化。
  • SLA保証: 重要なアプリケーションに対するスループットと遅延の保証。

この「オープンコア(Open Core)」モデルにより、InferactはvLLMを業界標準の「推論のLinux(Linux of Inference)」として維持しつつ、ダウンタイムや管理されていない複雑さを許容できない大規模組織から価値を抽出することができます。

技術的深掘り:なぜPagedAttentionが重要なのか

vLLMの支配力の秘密、そして拡大解釈すればInferactの評価額の核心は**PagedAttention(PagedAttention)**です。標準的なLLMのサービングにおいて、Key-Value(KV)キャッシュ—これまでの会話の「記憶」を格納する部分—は動的に増大します。従来のシステムはこの成長に対応するために連続したメモリチャンクを事前割り当てしなければならず、深刻な断片化を招きます。それは、たとえば各乗客が99人の友人を連れてくるかもしれないと仮定して100席のバスを毎回予約するようなものです。

**PagedAttention(PagedAttention)**はこれを解決します。KVキャッシュを非連続のメモリ空間に格納できる小さなブロックに分割するのです。vLLMエンジンはオペレーティングシステムがRAMを管理するのと同様に、これらのブロックを追跡する「ページテーブル」を維持します。

主な技術的利点:

  • 無駄ゼロ: 断片化によるメモリの無駄がほぼゼロ(<4%)に削減されます。
  • より大きなバッチサイズ: メモリがより効率的に使われるため、より多くのリクエストをバッチ処理できます。
  • スループットの向上: ベンチマークでは、vLLMは標準的なHuggingFace Transformersと比べて一貫して2x〜4xの高いスループットを提供し、レイテンシを犠牲にしません。

年間で推論計算に1,000万ドルを費やしている企業にとって、vLLMを導入することでソフトウェアの利用効率向上だけでその請求額を理論的に250万〜500万ドルに削減できる可能性があります。この直接的なROIこそが、Inferactを投資家および顧客にとって魅力的な存在にしているのです。

AIエコシステムへの戦略的含意

  1. クラウドプロバイダーへの圧力: 主要クラウドプロバイダー(AWS、Azure、Google Cloud)やモデルAPIプロバイダー(Anyscale、Together AI、Fireworks)は独自の推論スタックを構築することが多いです。Inferactはベンダーニュートラルな代替を提供し、どのクラウド上でも自社の推論スタックを所有できるようにします。
  2. 標準化: 推論エンジンの断片化(TensorRT-LLM、TGI、vLLM)は開発者にとって頭痛の種でした。Inferactへの資本投入は、vLLMが事実上の標準APIになる位置づけを示唆しており、開発者体験を簡素化します。
  3. 「ソフトウェア税」: ハードウェアがコモディティ化するにつれて、価値の獲得はそれをオーケストレーションするソフトウェア層に移ります。Inferactは、LLM用の「オペレーティングシステム」がそれらが動作するチップと同じくらい価値があると賭けているのです。

今後の展望

1.5億ドルの新たな資本を得て、Inferactはエンジニアリングチームを積極的に拡大する計画であり、特にカーネルハッカーや分散システムの専門家をターゲットにしています。さらに、Emergingなハードウェアアーキテクチャへのサポートを深め、vLLMが現在NVIDIAが支配する市場で最も汎用性の高いエンジンであり続けることを確実にする予定です。

AI業界が成熟するにつれて、インフラの「地味な」レイヤー—提供、スケーリング、および最適化—が最も儲かる分野になりつつあります。Inferactは単にソフトウェアを売っているのではありません。彼らはAIゴールドラッシュの次の段階で使われるピッケルとシャベルを売っているのです:デプロイメント(deployment)

コストやレイテンシの問題で自社の生成型AIパイロットを本番環境に移行できずに苦しむ企業にとって、Inferactは救命ロープを提供します。オープンソースコミュニティにとっては、今回の資金調達はvLLMの持続的な開発を約束するものであり、それが堅牢で最先端の状態に維持されることを保証します。推論レイヤーを支配するための競争は正式に始まり、Inferactは早期に有利なリードを取ったのです。

フィーチャー