AI ハードウェア パフォーマンスの次の 100 倍はさらに困難になる

ハードウェアが好きで、今週の Hot Chips 2023 カンファレンスで TPUv5e AI プロセッサーとその周辺システム、インターコネクト、ソフトウェア スタックに関する大々的な発表を期待していた人たちにとっては、最も有力な 2 人である Jeff Dean と Amin Vahdat によるオープニング基調講演が期待されます。 Google の重要な技術者たちは、少しがっかりしました。 しかし、Google の講演は、同様に AI の思考実験の材料を私たちに与えてくれました。

Google が生み出した非常に多くのテクノロジーに貢献してきたディーンが、おそらく飛行機に乗ったり、ロッククライミングに行くことを許されるべきではなかったが、紙切れで計算して次のことを見つけてから 10 年が経ちました。 Google がその名の検索エンジンに AI 機能を追加すると、データセンターの設置面積を 2 倍にする必要があり、Google はカスタムの Tensor Processing Unit (TPU) 行列演算エンジンを作成する道を歩むことになります。

10 年が経過し、AI はより複雑になり、計算量が多くなり、話題になっている TPUv4 鉄は、現在および今後何年にもわたって有用ではありますが、少し長くかかりそうです。 TPUv4 システムは TPUv5e によって強化されており、おそらく 5 ナノメートルのプロセスに基づいており、Google データセンターで実行される生のピーク パフォーマンスの少なくとも 2 倍を実現します。 (私たちは昨年 10 月に TPUv4 システムについて詳しく調査しましたが、今年初めに明らかになり、今週の Hot Chips で詳しく説明される光スイッチ相互接続ではまだこれを更新していません。)

そして予想通り、Hot Chips 2023 と同時に開催されていた Google Cloud Next 2023 イベントで、トレーニングと推論の両方に使用される TPUv5e バリアントに関する詳細の一部が明らかになりました。そのすべてについては間もなく説明します。 また、TPUv5e を実行するクラウド インスタンスが利用可能になると、Google Cloud 上の以前の TPUv4 インスタンスよりも約 30% 高い費用対効果が得られると予想しています。 費用対効果がさらに高くなる可能性もあります。 見てみる必要があります。

私たちが Google Next の基調講演ではなく、Hot Chips での Google の講演を選択したのは、Dean の講演にはシステム アーキテクトが耳を傾ける必要があるためです。 ディーンは、Google のコア テクノロジーのほぼすべてに携わってきました。ビッグ データを理解する MapReduce の方法、Spanner 分散ストレージ システムの BigTable リレーショナル オーバーレイ、PaLM ファミリーの最大の AI モデルを支える TensorFlow および Pathways ソフトウェア、 TPU ハードウェア、そして OpenAI の GPT-4 および GPT-5 モデルに利益をもたらすことになる Gemini ラージ言語モデル。 （まあ、誰もが半導体工場やハードウェアメーカー以外のどこかに資金があることを望んでいる。） ディーンは長年にわたり Google Research を運営し、最高の AI 研究者とその DeepMind 買収を結集させた Google Brain チームを共同設立した。彼は現在主任研究員です。

彼の基調講演は、ディーンと同じく Google フェローであり、現在同社のエンジニアリング担当副社長であるアミン・ヴァハダットと意見が分かれた。彼はカリフォルニア大学サンディエゴ校のコンピュータサイエンスとエンジニアリングの教授であり、同センターの所長でもあった。 2010 年に Google に入社する前はネットワーク システムの開発に携わり、そこでネットワークのテクニカル リードを務め、その後コンピューティング、ストレージ、ネットワーキングのテクニカル リードを務め、最近では現在、同社の機械学習、システム、クラウド AI チームを担当しています。 Google ではシステム研究の責任者でもあります。 MSCA は、CPU、TPU、GPU コンピューティング エンジンのスイートである Compute Engine と Borg、それらを結合するネットワーク、および Google とそのクラウド顧客が本番環境で使用する AI ソフトウェア スタック全体を開発および保守しています。

Dean と Vahdat は、Google インフラストラクチャをほとんど定義して作成しています。 Google フェローでもあり、同社のエンジニアリング担当初代副社長、その後検索担当副社長、そして 20 年以上にわたり技術インフラストラクチャ チームを担当するエンジニアリング担当上級副社長を務める Urs Hölzle 氏が現在どのような役割を果たしているのかは不明です。ニュージーランドのオークランドにある彼の新居。 Hot Chips では、ディーンが AI の領域を示し、ヴァハダットはその領域を横断するための需要の増加とハードウェアについて話しました。