Meta Llama 4 Behemoth 延期｜オープンソースAI戦略が直面した『2Tパラメータの壁』
アイ
目次
「オープンソースAIで一発逆転」の Meta が、壁にぶつかった話
Meta の Llama 4 Behemoth、いまだに一般公開されてない。これマジで予想外。
2025年4月の Llama 4 ローンチで「教師モデルとして Behemoth が訓練中」って発表されてから1年以上経つのに、2026年5月時点でも未公開っていう状況（Computerworld - Meta hits pause on Llama 4 Behemoth）。
しかも Meta は 正式にキャンセル発表してない。「延期中」のまま、宙ぶらりん。
これって何が衝撃かっていうと、「オープンソース AI の旗艦」だった Llama シリーズが、最強の Behemoth でつまづいたんだよね。Meta の戦略って「オープンで配って、エコシステムで勝つ」だったから、Behemoth が出ないと その戦略の核が崩れる。
わたし、これけっこうショックで。なぜなら、わたしたち学生の研究室レベルでも Llama 系って手軽に触れる AI だったから、「Meta = オープンソース AI の良心」みたいなイメージあったんだよね。それが揺らいでる。
そう考える4つの理由
理由1：MoE ルーティングの途中変更が訓練を壊した
まず技術的な話。なんで Behemoth が延期してるかというと、訓練の途中で MoE ルーティングを変更したのが原因らしい（Serenities AI - Llama 4 Behemoth Status）。
MoE っていうのは Mixture of Experts の略で、「いくつかの専門家モデル（experts）を持っておいて、入力に応じて適切な専門家にルーティングする」って仕組み。Llama 4 シリーズの肝。
世間では「MoE は効率的でスケールに強い」って言われてて、これがあれば 2兆パラメータでも動かせるはず、って期待されてた。
でも実際には、訓練の途中でルーティング方式を変えたことで、専門家の専門化（expert specialization）が崩壊しちゃった。つまり、各 expert がちゃんと別々の領域を担当できなくなって、性能が頭打ちになった。
これって例えるなら、大学のゼミで「物理ゼミ・化学ゼミ・生物ゼミ」って分けて勉強してたのに、途中で「もう全員ごちゃ混ぜにして」って言われたみたいな話。それぞれの専門性が薄まって、結局誰も深い知識を持てない状態。
Behemoth は 288B 活性化パラメータ／16 experts／約2T 総パラメータっていう超大型構成で、こういう設計変更の影響を一番受けやすかった。スケールがでかいほど、訓練中の設計変更の代償も大きいっていう教訓。
わたしは、これってAI研究の **「スケールの呪い」**だと思う。小さなモデルなら設計変更も気軽にできるけど、2T パラメータ級の MoE で「途中変更」は致命傷。
これから AI 研究の世界では、「最初から完璧な設計を決めてから、巨大訓練を始める」っていうハードルがめちゃくちゃ高くなる。Meta のミスは、業界全体への警鐘でもある。
理由2：Chunked-attention の境界ブラインドスポット問題
2つ目の技術問題、これも興味深い。
Llama 4 シリーズは chunked-attentionっていう attention 機構を使ってる。これは「長い入力を chunk（塊）に分けて、それぞれで attention を計算する」方式。
世間では「これで超長文（10M トークン）扱えるよ」ってアピールされてて、Llama 4 Scout は 10Mトークン context っていう史上最大の長さを実現してた（Meta AI Blog）。
でも問題は、chunk と chunk の境界で attention が途切れること。これによって、境界をまたぐ long-form reasoning に弱点が出ちゃう（Serenities AI）。
例えるなら、長い小説を「章ごと」に分けて読んで、章をまたぐストーリーの伏線が拾えないような感じ。Behemoth が「教師モデル」として推論力を担うはずだったのに、この弱点がモロに効いた。
ここで皮肉なのが、ライバルの Gemini や Claude も超長文 context を扱えること。Claude 4.5 は 200K-1M トークン、Grok 4.3 も 1M トークンを実現してる。長文 context の競争で、技術選択（chunked-attention）が逆風になった形。
わたしは、これってAI業界の「技術選択は何年も後で答えが出る」って恐ろしさを示してると思う。2024年に Meta が選んだ chunked-attention が、2026年に Behemoth で行き詰まる。逆に Anthropic が選んだ別方式が成功してる。
これから AI モデルを評価するときは、**「長文 context での reasoning 精度」を見るのが大事。「100万トークン対応」だけでなく、「100万トークン全部使ったときに、最初と最後の関係を正しく拾えるか」**が真の指標。
理由3：Muse Spark への戦略転換が「オープン路線終了」を示唆
3つ目、これが一番重要な経営判断の話。
Meta は2026年4月に Muse Spark っていうクローズドソースモデルをローンチしてる（Serenities AI）。これ、**Llama 系とは「別ライン」**で、「別の policy で運営」されてる。
世間ではあまり目立ってないニュースなんだけど、わたしはこれが Meta の戦略大転換の証拠だと思ってる。
なぜなら、Behemoth チームは Superintelligence Labs に吸収されてて、新しいフラッグシップは Muse 系。「オープンソースで配る」じゃなくて「クローズドで囲い込む」方向にシフトしてる。
これって Meta の歴史を考えると、めっちゃ大きい転換。Yann LeCun（Meta の AI 責任者）がずっと「オープンソース AI は世界を救う」って言ってきたのに、現実は **「商業的にはクローズドの方が儲かる」**って判断に傾いてる感がある。
世間では「Meta は引き続きオープンソース推進」って公式アナウンスしてるけど、Muse Spark のクローズド化と Behemoth 延期で、実質的な路線変更が進んでる（okoone - Meta puts Llama 4 Behemoth on hold）。
わたしは、これって **「オープンソース AI のリーダー不在時代」**の始まりだと思う。これまで Llama がオープンソース AI の旗艦だったから、研究者も企業も「Llama 改造で勝負」ってできてた。Llama 5 が出るかどうかも不明な状況で、オープンソース AI の主役が空白になる。
実際、5月のニュースで NVIDIA Nemotron 3 シリーズが Oracle OCI に統合された（夕方ニュース2本目）のは、まさにこの **「オープンソース AI 空白を Nemotron が埋めにきた」**動きと連動してる。
わたしたち AI 系の研究してる学生からすると、**「これからは Llama じゃなくて Nemotron で実験する」**ってシフトが起きる可能性大。研究室の選択にも影響する話だから、気にしといた方がいい。
理由4：オープンソース AI の主役交代 — Nemotron 3 の追い風
最後の話、これが Meta の延期の 業界全体への影響。
Llama 4 Behemoth が延期したことで、「オープンソース AI の主役」がポッカリ空いた。そこに NVIDIA Nemotron 3 がスッと入ってきた、っていうのが2026年5月の構図。
世間では「オープンソース AI ＝ Meta Llama」のイメージが強いんだけど、実は NVIDIA も「フルオープンソース」のマルチモーダルモデル Nemotron 3 Nano Omni を出してる（Oracle Blog - Nemotron 3 Nano Omni）。
これが Oracle OCI Enterprise AI に5/8に統合されたから、**「企業がオープンソース AI を使うなら、Llama じゃなくて Nemotron 3」**っていう流れが出来上がる。
NVIDIA の戦略的にすごいのは、「GPUを売る会社」が「AIモデルもオープンソースで配る会社」になったこと。これによって、**「NVIDIA GPU 上で動く NVIDIA モデル」**っていう自社完結エコシステムが完成する。
わたしはこれ、Meta の Llama 4 Behemoth 延期がなければ起きなかった逆転劇だと思う。Behemoth が予定通り出てたら、Nemotron がここまで注目されることはなかった。
つまり、2026年5月時点の業界構図は：
- クローズドハイエンド: OpenAI GPT-5.5、Anthropic Claude、Google Gemini
- オープンハイエンド: ← ここに Behemoth が入る予定だったけど空白
- オープン実用ライン: NVIDIA Nemotron 3、Llama 4 Maverick/Scout（既存）
ハイエンドのオープンモデルの空白を、Nemotron が埋めにきてるっていう状況。これからの1年で、**「企業のオープンソース AI ＝ Nemotron」**っていう常識ができる可能性高い。
わたしたち AI 学習する側からすると、**「Llama だけ勉強しといて大丈夫」**は終わり。Nemotron 系のドキュメントも追いかけないと、ガラパゴス化する。
まとめ：オープンソース AI の将来とわたしたちへの影響
Meta Llama 4 Behemoth の延期は、**「オープンソース AI の旗艦が研究フェーズで失速した」**っていう象徴的なニュース。技術的には MoE ルーティングと chunked-attention の問題、経営的には Muse Spark へのクローズド転換、業界的には Nemotron への主役交代の引き金、っていう3層構造で読み解ける。
わたしたちが今気にすべきこと、3つだけ。
ひとつ、「オープンソース AI ＝ Llama」の常識は崩れた。これから1年で Nemotron 3、その他のオープンモデルが台頭する可能性高い。AI 系の研究室では、もう Llama 一択じゃなくなる。
ふたつ、**「2T パラメータ級モデルは技術的にまだ難しい」**ってのが、Meta の失敗で証明された。これからは「でかいモデル一発勝負」より「適切なサイズのモデルを複数組み合わせる」設計が主流になる。Llama 4 Maverick (17B 活性化×128 experts) みたいな、小回り重視の MoE が生き残る。
みっつ、Meta は「オープンソース」じゃなくて「クローズドプロダクト」に重心移行してる。これは Meta の事業構造そのものの変化を示唆してる。SNS の会社から「AI 製品で稼ぐ会社」への変身が進む中で、Llama の意味合いも変わっていく。
そして明日朝の Google I/O 2026 で Gemini 4.0 がどう出てくるかで、クローズドハイエンド側の競争も決まる。**Behemoth 延期で空いた「オープンハイエンド枠」**を Google が突くのか、それとも GPT-5.5 / Claude が当面リードするのか。明日朝の記事で答え合わせ。
関連記事: オープンソースAI vs クローズドAI どっちを選ぶ？
ソース: