ループ型Transformerとは？同じ層を繰り返して計算を深くする仕組み

ループ型Transformer（Looped Transformer）は、同じTransformer層を繰り返し使って計算を深くする仕組みだ。

通常のTransformerでは、入力は異なる重みを持つ層を順番に通過する。層を増やせば、その層が持つAttention（注意機構）やMLPの重みも増える。

ループ型Transformerでは、同じ層や同じ層のまとまりを2回、3回と繰り返して使う。2周目でも別の重みを追加せず、1周目と同じパラメータを再利用する。

この考え方は「再帰的深度（Recurrent Depth）」と呼ばれることもある。どの範囲を繰り返すか、何回繰り返すか、KVキャッシュをどう扱うかはモデルごとに異なる。

図を拡大して見る

図1：通常のTransformerとループ型Transformerを単純化した比較。同じ重みを2回使えば、固有の層数を増やさず計算の段数を増やせる。

同じ層を繰り返して計算を深くする

4層のTransformerなら、通常は次のように処理する。

入力 → 層1 → 層2 → 層3 → 層4 → 出力

同じ4層を2周する場合はこうなる。

入力
  → 層1 → 層2 → 層3 → 層4
  → 層1 → 層2 → 層3 → 層4
  → 出力

後半の層1〜4は、新しく追加された別の層ではない。前半と同じ重みをもう一度使っている。

この例では固有のTransformer層は4層のままだが、入力から出力までに8回の層計算が行われる。

実際のモデルでは、全層ではなく中間部分だけを繰り返す設計もある。そのため、すべてのモデルで単純に「固有レイヤー数 × ループ回数」がそのまま計算の深さになるわけではない。

パラメータ数が同じでも計算量は同じとは限らない

ループ型Transformerでは、モデル名に付く3Bや8Bだけでは推論の重さを判断しにくい。

観点	一般的なTransformer	ループ型Transformer
計算を深くする方法	異なる層を追加する	同じ層や層のまとまりを繰り返す
保存する重み	層を増やすほど増える	繰り返す部分は共有できる
実際の層計算	固有レイヤー数でほぼ決まる	ループ回数でも増える
推論時の演算量	層数に応じて増える	ループ回数に応じても増える
実行時メモリ	重み以外にも左右される	KVキャッシュや実装方法にも左右される

同じ層を2回通れば、その層に対する演算も2回必要になる。実際の待ち時間がループ回数に完全比例するとは限らないが、同じ重みを使うからといって演算そのものが不要になるわけではない。

ループ型Transformerは「小さなモデルの軽さを保ったまま、無料で大きなモデル相当になる」仕組みではない。

正確には、保存する重みを大きく増やさず、推論時に追加の計算を使える設計と考える方が近い。

モデル名の「○B」とMoE・量子化の読み方で扱っているパラメータ数に加えて、「同じ重みを何回使うか」も確認する必要が出てくる。

長い思考文を出力する方法とは別の計算の増やし方

推論モデルでは、難しい問題ほど長い思考過程（Chain of Thought、CoT）を生成し、その分だけ推論時の計算を増やす方法が使われている。

CoTでは、中間の推論が文章のトークンとして順番に生成される。

問題 → 思考トークン → 思考トークン → 思考トークン → 答え

再帰的深度では、追加の計算をモデル内部の隠れ状態に使える。

問題 → 内部状態 → 同じ処理を反復 → 同じ処理を反復 → 答え

どちらも推論時の計算量を増やせるが、計算を使う場所が違う。

CoTは中間過程を文章として1トークンずつ生成する。一方、ループ型Transformerを使う研究では、同じ処理を内部表現へ繰り返し適用し、文章を長く出力しなくても追加計算を使える。

内部表現は高次元の数値であり、人間と同じ言葉で頭の中を考えているという意味ではない。

Huginnは3.5Bのまま推論時の計算を増やした

2025年に公開されたHuginnの研究では、3.5Bパラメータの再帰的深度モデルが800Bトークンで学習された。

Huginnは、同じ中間部分を推論時に繰り返し通すことで、出力する思考文を長くする方法とは別に計算量を増やす。

論文では、繰り返し回数を増やすことで複数の推論評価が改善し、最大では50Bパラメータのモデルを1回動かす場合に相当する計算量まで試されている。

この「50B」はHuginnのモデルサイズではない。保存されているパラメータが3.5Bから50Bへ増えたわけでも、50Bモデル全般と同じ性能になったという意味でもない。

示されたのは、同じ重みへ推論時の計算を追加することで、一部の推論問題では性能を伸ばせるという点だ。

深い計算に同じ数だけ別の重みが必要とは限らない

別の2025年研究では、k層のTransformerをL回繰り返したモデルと、異なる層をkL層持つモデルが比較された。

加算、複数段階の推論、数学問題などの一部では、浅いモデルを繰り返す構造が、同じ程度の計算深度を持つ通常のTransformerに近い性能を示した。実際の推論課題でも競争力を持つ例が報告されている。

これは「パラメータ数は重要ではない」という意味ではない。

知識の記憶、言語能力、長い文脈の処理、エージェント能力など、LLMに必要な機能すべてを繰り返し処理だけで置き換えられるとは確認されていない。

一方、繰り返し処理が効く問題では、必要な計算の深さと、必要な固有パラメータ数は同じではない可能性がある。

LOTUSは思考文を逐次生成しない推論を試した

Microsoft Researchが2026年6月に公開したLOTUSは、ループ型Transformerを使い、文章として思考過程を長く出力する代わりに内部表現へ計算を使う研究だ。

通常のCoTが中間ステップを1トークンずつ生成するのに対し、LOTUSは複数の内部表現を並列に持ち、同じ処理を繰り返しながら更新する。

Llama-3.2-3B-Instructを使った数学系の評価では、文章としてCoTを出す方法に近い精度を維持しながら、研究で「思考部分」と定義した区間の待ち時間を2.5〜6.9分の1に短縮した。

これはLLM全体が6.9倍高速になるという意味ではない。比較対象は研究条件で切り分けられた思考部分であり、最終回答の生成時間や別の用途へそのまま当てはめることはできない。

LOTUSでは、繰り返し処理後の内部表現を言語モデルの出力層へ通すと、正解へつながる中間ステップを読み出せる例も報告されている。

内部で文章を直接生成しない推論でも、内部表現からまったく情報を取り出せないと決まったわけではない。

Nanbeige4.2-3Bは22層を2周する

ループ型Transformerは研究用の試作だけではない。

2026年に公開されたNanbeige4.2-3Bは、公式モデルカードでループ型Transformerの採用を明記している。モデルカード上では総パラメータ数が4B、埋め込み層を除く部分が3Bとされている。

公開されているconfig.jsonには、次の設定がある。

num_hidden_layers: 22
num_loops: 2

標準設定では22個の固有デコーダー層を持ち、その層のまとまりを2回実行する。単純化すれば、22層分の重みを共有したまま44回のデコーダー層計算を行う構造になる。

このため、モデル名に3Bと書かれていても、一般的な3Bモデルと1トークンあたりの計算負荷まで同程度とは限らない。

一方、重み自体は22層分を再利用する。44個の異なるデコーダー層を持つモデルと同じ量の重みを保存しているわけではない。

パラメータ数と、実際に層を何回動かすかは別の数字になる。

重みを共有してもVRAM使用量まで単純には決まらない

ループ型Transformerを「重みを共有するからVRAMも同じ」と考えるのは危険だ。

LLMの実行時メモリには、重みのほかにKVキャッシュ、途中の計算結果、一時的な作業領域などが含まれる。LLMのファイルサイズとVRAM・RAMの違いで扱っている通り、モデルファイルの大きさだけから最大VRAM使用量を決めることはできない。

Nanbeige4.2の公式実装にも、複数回のループを考慮したDynamicCacheの処理と、KVキャッシュを共有するためのloop_share_kvが用意されている。

必要なVRAMは、主に次の条件で変わる。

• ループ回数と繰り返す範囲
• KVキャッシュを各周でどう保持するか
• コンテキスト長
• 量子化方式
• 使用する実行環境
• バッチサイズや生成条件

重みを節約できること、演算量が少ないこと、VRAM使用量が少ないことは同じ意味ではない。

ループ回数を増やせば無限に賢くなるわけではない

再帰的深度は、難しい問題ほど推論時の計算を増やせる可能性を持つ。

ただし、ループ回数を増やせば性能がそのまま伸び続けるわけではない。

追加の繰り返しを有効に使えるよう学習されている必要があり、学習時に想定していない回数まで増やしたときの挙動もモデルごとに異なる。通常のTransformerを学習後にそのまま2周させれば、同じ効果が得られる仕組みでもない。

ループ型Transformerは追加の計算深度を使える設計であり、その計算をどこまで性能へ変えられるかは学習方法とモデル設計に依存する。

GPT-6 Astraとの関係はまだ報道段階

2026年9月、The VergeはThe Informationの報道を踏まえ、GPT-6 Astraとループ型Transformer、再帰的深度をめぐる安全性の議論を報じた。

一方、今回確認したOpenAIのGPT-6 Astra公開システムカードでは、基盤アーキテクチャを「Looped Transformer」や「Recurrent Depth」と明記していない。

現時点では、Astraで同系統の仕組みが使われていると報じられているが、OpenAIの公開仕様としては確認できていないとするのが適切だ。

思考過程を出力しない条件でのAstraの数学評価では、GPT-5.6 Solより大きく伸びた評価結果を扱っている。

ただし、その伸びが再帰的深度によるものだとOpenAIが公表しているわけではない。Astraの能力向上とループ型Transformer採用報道を、直接の因果関係として結び付けることはできない。

「何Bか」だけではモデルの重さを判断しにくくなる

従来のローカルLLMでは、3B、8B、32B、70Bといったパラメータ数がモデル規模を把握する大きな手掛かりだった。

MoEでは、総パラメータ数と、その都度使われるパラメータ数を分けて見る必要がある。量子化では、同じパラメータ数でも重みの保存容量が変わる。

ループ型Transformerでは、さらに同じ重みを何回使うかが加わる。

確認項目	見る内容
パラメータ数	保存されている重みの規模
固有レイヤー数	異なる重みを持つTransformer層の数
ループ回数	同じ層のまとまりを何回実行するか
実際の計算深度	1トークンで何段階の層計算を通るか
量子化	重みの保存容量と精度
KVキャッシュ	長い文脈で増える実行時メモリ
実行環境の対応	ループ構造を正しく動かせるか
実測速度・VRAM	実際のPCでどの程度の負荷になるか

パラメータ数は今後も重要だが、それだけで推論時の計算量まで表すことは難しくなる。

ループ型Transformerが広がれば、ローカルAIでも「何Bか」に加えて、その重みを何回、どの深さまで使うモデルなのかを見る必要がある。