초록

루프형(recurrent-depth) 트랜스포머는 동일한 가중치 공유 블록을 토큰의 은닉 상태에 반복적으로 적용하며, "깊이"를 파라미터 수라는 고정된 속성에서 추론 시점에 소비할 수 있는 변수로 전환한다. 2024년 이후 이 아이디어는 이론적 구성과 소규모 시퀀스 모델 실험에서 수십억 파라미터 규모의 사전학습 언어 모델로, 그리고 비전, 확산, 플로우 매칭, 강화학습 백본으로 확장되었다. 본 서베이는 이 문헌을 largely 독립적인 것으로 드러나는 네 가지 질문을 축으로 정리한다. 즉 루프가 네트워크 어디에 위치하는가, 연속된 반복이 어떻게 서로 구별되는가, 반복 사이에 무엇이 상태로 전달되는가, 그리고 토큰이 얼마나 많은 반복을 받을지 누가 결정하는가이다. 우리는 이 분야의 핵심 설계 선택들이 이 네 축 위의 소수의 이산적 선택지로 가장 잘 기술된다는 점, 훈련 안정성—표현력이 아니라—이 구속 조건이 되어 왔다는 점, 그리고 루프를 지지하는 실증적 근거가 여전히 대부분 파라미터 일치 기준선 대비로 제시되고 연산 일치 기준선 대비로는 제시되지 않는다는 점을 보인다. 우리는 루프가 이제 고정 예산이 아니라 스케줄링할 자원으로 점점 더 사용되는 적응적 깊이 추론, 루프가 무엇을 모사할 수 있고 깊이 방향으로 얼마나 일반화하는지를 정립하는 이론, 개별 반복이 무엇을 계산하는지에 관한 기제적 증거, 그리고 이 아키텍처가 제기하는 시스템·안전·평가 문제를 검토한다. 우리는 연산 일치 대조군의 부족과 루프형 모델에 대한 합의된 추론 시점 스케일링 법칙의 부재를 포함하여, 우리가 가장 중대하다고 보는 미해결 문제들로 마무리한다.

---

범위와 증거 경계

본 서베이는 하나의 아키텍처 계열에 대한 서사적 검토이지, 잠재 추론 전반에 대한 체계적 검토가 아니다. 그 증거 기반은 여섯 가지 검색 경로의 합집합(의미 기반 검색에 더해 루핑, 재귀, 가중치 공유, 유니버설 및 재귀 깊이 트랜스포머의 어휘에 걸친 키워드 변형들)을 통해 Parallax 라이브러리에서 검색된 358편의 후보 풀이며, 이 문헌이 존재하는 시기로 날짜 및 범주 필터링되었다. 그 풀에서 102편의 논문이 전문 정독되었고(섹션 수준의 출처 추적이 포함된 논문별 구조화 독서 노트와 함께), 나머지는 제목/초록 수준에서 선별되었다.

다음 세 가지 결과는 전체에 걸쳐 유념되어야 한다:

• 포괄 범위는 라이브러리에 의해 제한된다. 이 분야의 기초 작업 세 편—Universal Transformers [127], Adaptive Computation Time [128], Deep Equilibrium Models [129]—은 라이브러리에 없으며, 따라서 그들의 공개 arXiv/출판사 메타데이터에서 인용된다. 이들은 참고문헌에서 외부 자료로 표시된다.
• 독서 깊이는 고르지 않다. 배정된 102편 중 28편은 전문 정독 환경이 없어 초록과 독서 노트로 처리되었으며, 이들은 핵심 주장을 단독으로 뒷받침하는 일은 없다.
• 이 분야는 빠르게 움직이며 프리프린트가 주를 이룬다. 여기서 인용되는 상당 부분은 동료 검토를 거치지 않았고 2026년 날짜이다. 어떤 주장이 단일한 소규모 프리프린트에 근거할 경우 우리는 그렇게 밝힌다. 여러 독립적 연구가 일치할 경우 우리는 그것 또한 밝히며, 이를 합의와 구별한다.

동반 독서 풀 산출물(선별된 358편 후보 코퍼스와 그것을 만들어낸 AI 선별 결정들)이 증거 기반을 구성하는 데 사용되었다; 그것은 작업 집합이며 이것들이 모든 관련 논문이라는 주장이 아니다.

핵심 요점. 이 서베이는 하나의 아키텍처 계열을 다루며, 그 범위를 명시한다: 스크리닝된 후보 358편, 전문 정독 102편(그중 28편은 초록만 읽음), 그리고 외부 메타데이터에서 인용한 기초 연구 3편. 핵심을 떠받치는 주장은 해당 절을 실제로 읽은 연구들에 근거한다. 초록만 읽은 연구와 메타데이터만 확인한 연구는, 그들이 밝힌 목표에 의해 뒷받침되는 묶음 문장이 있을 때만 등장한다.

---

제1부 — 기초

1. 왜 깊이 축을 반복하는가?

1.1 이 계열이 다루는 문제

기존의 트랜스포머는 두 축에서 동시에 능력을 얻는다: 파라미터 수와 토큰당 연산량이 모두 쌓인 블록 수와 함께 증가한다. 반복(looping)은 이 둘을 분리한다. 반복 모델은 소수의 물리적 층 $L$과 동일한 가중치에 적용되는 반복 횟수 $T$를 가진다:

$$h^{(t+1)} = B_{\theta}\big(h^{(t)}, x, t\big), \qquad t = 0, \dots, T-1 ,$$

여기서 $x$은 반복이 조건화되는 토큰/컨텍스트이고 $B_\theta$은 하나의 공유 블록이다. $T$를 늘리면 파라미터 수를 늘리지 않고 유효 깊이가 증가한다; 그런 다음 동일한 가중치를 입력별, 토큰별, 또는 생성 단계별로 더 많거나 더 적은 반복 동안 실행할 수 있다.

이 아이디어는 새로운 것이 아니다. Universal Transformers [127]는 2018년에 가중치를 공유하고 깊이를 적응적으로 조절하는 트랜스포머를 제안했으며, Adaptive Computation Time [128]은 정지 메커니즘을 제공했다; 다단계 순환 추론 관점은 이미 숙고(pondering)를 동반한 순환 네트워크 연구에 존재했다. 달라진 것은 규모와 의도다. 2024년에서 2026년 사이에 이 계열은 다음을 갖추었다: 수십억 파라미터 규모로 사전학습된 인스턴스(Huginn, Ouro) [1, 2]; 반복을 파라미터 증가보다 저렴하게 만드는 전문가 혼합 형태 [7, 8]; 실제로 규모에서 수렴하는 일련의 학습 레시피 [42, 50, 103]; 그리고 반복 횟수가 제어 가능한 연산 손잡이가 되는 추론 시점의 이야기 [64, 74].

1.2 반복이 사용되는 두 가지 목적

흔히 혼동되는 두 목적을 분리할 가치가 있다.

능력. 반복은 파라미터당 표현력을 높일 수 있다. §8.1의 이론적 결과들은 상수 깊이의 반복 트랜스포머가 소형 프로그래밍 가능 컴퓨터를 모사하거나 [76] 그래프 알고리즘을 실행할 수 있음을 보여준다 [87] — 같은 크기의 고정 깊이 순방향 트랜스포머는 그렇게 할 수 없다. 경험적으로, 반복된 1층 모델은 파라미터 수의 12분의 1로 문맥 내 학습 과제에서 12층 모델과 대등할 수 있으며 [78], 짧은 시퀀스로 학습된 반복 모델은 같은 프로토콜로 학습된 표준 트랜스포머가 실패하는, 학습 길이를 훨씬 넘어서는 입력으로 외삽할 수 있다 [77].

제어 가능성. 반복은 또한 토큰 수준 연산을 명시적인 변수로 만든다. 반복이 색인되기 때문에, 모델은 어려운 토큰에 대해 더 많은 반복을 실행하기로 결정하거나 [64], 더 저렴한 답으로 충분할 때 더 짧은 궤적을 실행하거나 [63, 66], 초기 반복들을 투기적 디코딩을 위한 초안으로 재사용하기로 결정할 수 있다 [74] — 고정 깊이 스택에는 유사점이 없는 메커니즘들이다.

두 목적은 서로 다른 증거와 서로 다른 실패 양식을 가지며, §11은 문헌에서 겉으로 보이는 불일치의 상당 부분이 이 둘을 구분하지 않은 데서 비롯된다고 논증한다.

1.3 이 서베이가 주장하는 것

네 가지 주장이 이어지는 내용을 조직한다.

위의 텍스트를 한국어로 번역하십시오. 모든 문장을 한국어로 작성하십시오; 도중에 다른 언어로 전환하지 마십시오.

1. 설계 공간은 작고 이산적이다. 최근 연구의 양에도 불구하고, 거의 모든 루프 아키텍처는 네 가지의 선택이다: 공유 블록의 범위(네트워크의 어느 부분이 반복되는가), 스텝 조건화(반복 $t$이 어떻게 신호되는가), 반복 간 인터페이스(어떤 상태가 전달, 대체 또는 누적되는가), 그리고 깊이 정책($T$이 고정되는지, 학습되는지, 추론 시에 결정되는지). §3–§4는 문헌을 이런 방식으로 조직한다.
2. 구속 조건은 표현력이 아니라 안정성이다. 이론적으로 매력적인 영역, 즉 수축적 고정점은 대규모 모델이 수렴하는 대상이 아니며, 가장 큰 이득을 보고하는 논문들은 대부분 안정화 기법을 보고하는 논문들이다 [42, 43, 44, 45, 46, 47]. §5.2는 훈련에 관한 이 서베이 논의의 핵심이다.
3. 증거는 대부분 파라미터 정합 기준이며, 연산 정합 기준이 아니다. 루핑의 대표적 비교는 비슷한 수의 파라미터를 가진 밀집 모델이나 $T=1$에서의 동일 모델에 대한 것이지, 동일한 추론 FLOPs의 밀집 모델에 대한 것이 아니다. 추론 FLOPs를 정합시키는 소수 연구들은 다르고 더 혼합된 결론을 보고하는 경향이 있다 [50, 63, 64, 101, 102]. §11은 우리가 가진 것을 표로 정리한다.
4. 추론 시 적응적 깊이는 이 분야에서 가장 활발하면서도 가장 검증이 부족한 영역이다. §6의 증거는 거의 전부 소수의 모델, 짧은 단일 시드 실행, 그리고 합성 또는 협소한 벤치마크에서 나온다. 보고된 적응성 이득은 실재하지만 취약하며, 일부 비용 정합 비교에서는 사라진다.

1.4 읽기 지도

그림 1은 서베이의 구성 요소들이 어떻게 관련되는지를 보여준다. 제1부는 용어와 분류 체계를 정립한다. 제2부는 아키텍처와 훈련 설계 공간으로, 이 분야 엔지니어링의 대부분이 여기에 있다. 제3부는 추론 시점 연산과 그것이 만들어내는 시스템/안전 제약을 다룬다. 제4부는 이론과 기계적 해석가능성을 다룬다. 제5부는 연산 정합 증거, 텍스트 외 응용, 그리고 미해결 문제를 모은다.

그림 1: 서베이의 지도. 실선 화살표는 제2부에서 다루는 설계 축이며, "깊이 정책"과 "훈련 안정성" 아래의 분기들은 이 분야의 실질적 어려움이 집중되는 두 지점이다.

핵심 요점. 루핑은 파라미터 수를 반복 가능한 연산과 맞바꾼다. 이는 파라미터당 능력을 얻기 위해서도, 토큰당 연산을 제어 가능한 손잡이로 노출시키기 위해서도 사용되며, 이 두 용도는 서로 다른 증거를 가진다. 이 서베이는 네 가지 설계 축, 즉 범위, 스텝 조건화, 인터페이스, 깊이 정책을 조직 구조로 삼고, 하나의 증거상 약점으로 반복해서 돌아온다. 즉 루핑은 보통 연산 정합 기준이 아니라 파라미터 정합 기준선에 대비하여 평가된다.

2. 루프를 위한 하나의 형식주의

2.1 정의

전체에서, 루프 트랜스포머는 파라미터가 묶인 하위 네트워크 $B_\theta$가 반복 인덱스를 따라 동일한 토큰 위치의 표현에 두 번 이상 적용되고, 그 적용 횟수가 일급 수량(고정, 학습 또는 스케줄됨)인 시퀀스 모델이다. 우리는 다음 용어를 일관되게 사용한다.

표 1: 본 설문에서 사용되는 표기법. 유효 깊이와 토큰당 FLOPs는 하나의 아키텍처 내에서는 비례하지만, 아키텍처 간에는 그렇지 않다.

아래에서 일관되게 사용되는 세 가지 추가 구분이 중요하다.

• 유효 깊이 대 연산량. $b$-블록 루프의 한 번의 반복은 $b$개 블록을 통과하는 한 번의 순전파를 비용으로 하므로, 유효 깊이와 토큰당 FLOPs는 단일 아키텍처 내에서는 비례하지만 아키텍처 간에는 그렇지 않다. 중간 열두 개 층이 반복되는 24층 스택과 24회 반복의 단일 블록 루프는 동일한 FLOPs를 가질 수 있으면서도 유효 깊이는 매우 다를 수 있다. 따라서 "깊이"와 "연산량"에 관한 진술은 라벨이 아니라 아키텍처로부터 읽어야 한다.
• 루프 범위. 공유 영역은 전체 네트워크([3, 12, 14]), 비공유 프렐류드와 코다 사이의 중간 구간([1, 2]), 또는 단일 층이나 좁은 층 집합([26, 28])을 포괄할 수 있다. 우리는 이를 각각 전체, 2단계, 국소화된 범위 지정이라 부른다.
• 의미적 깊이 대 반복 인덱스. 일부 연구자들은 마지막 반복들이 추가적인 추론 단계에 해당하지 않는다고 보고한다. $t$에서 "추론의 양"으로의 매핑은 가정이 아니라 §9.2에서 검토되는 경험적 질문이다.

2.2 계열의 경계

네 가지 인접 연구 분야는 루프 트랜스포머와 자주 혼동될 만큼 충분히 가깝다. 본 설문은 네 가지 모두를 관련 방향으로 취급하며 병렬적인 주제로 삼지 않는다. 각각은 루프에 관한 주장을 직접적으로 뒷받침하는 경우에만 포함된다.

표 2: 인접 계열과 그것이 이 서베이의 대상이 아닌 이유. 각 계열은 루핑에 관한 주장을 직접적으로 뒷받침하는 경우에만 포함된다.

마지막 행은 강조할 가치가 있는데, 코퍼스에서 가장 많이 인용된 "순환적(recurrent)" 결과 중 두 가지가 깊이와는 전혀 관련이 없기 때문이다. "순환적"과 "재귀적"이 양쪽 모두에 등장하는 용어이기 때문에 이 구분은 쉽게 흐려진다.

2.3 기존 서베이와의 위치

라이브러리에는 루프형/순환 깊이 트랜스포머에 관한 전용 서베이가 없다. 최근의 잠재 추론(latent reasoning) 서베이 두 편이 가장 가까운 이웃이며, 그 관계는 중첩이 아니라 분할에 가깝다.

표 3: 라이브러리 내 가장 가까운 두 서베이와 이 서베이의 차이. 두 서베이 모두 아키텍처가 아니라 잠재 추론 방법에 따라 조직되어 있다.

따라서 이 서베이가 주장하는 차별점은 아키텍처, 학습 안정성, 추론 시점 스케줄링, 효율성/시스템, 그리고 루프 축의 교차 모달 활용에 있으며, 잠재 추론 방법 분류체계는 배경으로 취급한다. 우리는 리뷰 프로토콜이라는 의미에서 체계적이거나 망라적이라고 주장하지 않는다. "범위와 증거 경계"에 있는 범위 진술이 운영적 기술이다.

2.4 이 계열이 여기까지 온 경로

그림 2는 이 서베이가 의존하는 연구들을 시간순으로 배치한다. 세부 사항에 앞서 주목할 만한 패턴이 있다. 이론과 구성적 결과가 초기 기간을 지배하고, 최초의 수십억 파라미터 언어 모델이 2025년에 등장하며, 2026년 문헌은 안정성 레시피, 추론 시점 스케줄링, 체계적 스케일링 법칙, 교차 모달 전이로 분화된다. 가장 최근 기간의 밀도는 검색 창의 속성이지, 특정 월에 연구 전선이 형성되고 있다는 증거가 아니다.

그림 2: 선별적 타임라인. 이 서베이에서 사용된 연구만 표시된다. 2026년 군집은 측정된 성장률이 아니라 검색 경로가 실행된 시점을 반영한다.

핵심 요점. 이 계열은 "순환적"이라는 단어가 아니라 반복 축을 따른 가중치 공유 재사용으로 정의된다. 시퀀스 축 순환, 고정 깊이 조기 종료, 암시적 평형 해법은 서로 다른 대상이다. 유효 깊이와 토큰당 FLOPs는 하나의 아키텍처 내에서는 비례하지만 아키텍처 간에는 그렇지 않으며, 이것이 문헌의 겉보기 불일치 상당 부분의 원천이다. 라이브러리에는 이 계열에 관한 전용 서베이가 존재하지 않는다. 가장 가까운 두 서베이는 공간을 아키텍처가 아니라 잠재 추론 방법에 따라 분할한다.

3. 분류체계

3.1 네 가지 축

제2부의 모든 것은 네 가지 축 위의 선택이다. 그림 3은 말단에 대표 연구들을 배치한 분류체계를 보여준다.

그림 3: 제2부 전반에 걸쳐 사용되는 네 축에 따른 루프 아키텍처의 분류 체계. 잎 노드는 설계 옵션을 명명하며, 대표 연구는 해당 논문이 가장 명확한 사례일 때만 제시한다.

3.2 왜 다른 축이 아니라 이 네 축인가

이 축들은 임의적이지 않다. 이들은 실무자가 루프 모델을 구체화하기 위해 답해야 하는 네 가지 질문에 대응하며, 결정적으로 문헌에서 거의 직교한다: 동일한 범위가 고정 깊이와 적응형 깊이 모두에서 나타나고, 동일한 인터페이스가 단계 조건화의 유무와 함께 나타난다.

이 조사를 위해 읽은 연구들에 대한 대략적인 집계가 이 점을 예시한다. 범위 혁신(루프가 위치하는 곳)을 도입한 논문들은 거의 예외 없이 깊이 정책 혁신도 도입하지 않으며, 안정성에 관한 논문들은 거의 항상 범위와 깊이 정책을 고정해 둔다. 두 가지 예외는 MoE 층을 루프 횟수와 짝지은 혼합 아키텍처들(두 번을 넘는 루핑 [33], MoRE [32], MoR [30])이다 — 여기서는 범위와 라우팅이 진정으로 상호작용하는데, 라우팅 결정이 곧 깊이 결정이기 때문이다.

3.3 다섯 번째, 교차 절단 축: 반복이 무엇을 위한 것인가

네 축을 가로지르며 아키텍처와 전혀 무관한 추가적 구분이 있다: 추가 반복의 의도된 역할이 반복적 정제(고정점에 접근), 직렬 계산(각 반복이 알고리즘의 한 단계를 실행), 또는 샘플링(각 반복이 생성 분포를 개선)인지 여부이다. 이들은 세 가지 서로 다른 이론적 이야기와 더 많은 루프가 무엇을 가져다주어야 하는지에 대한 세 가지 서로 다른 예측 집합에 대응한다. §8.3과 §11.2에서 이로 돌아가는데, 의도된 역할이 명시되면 이 조사 자체의 여러 불일치가 해소되기 때문이다.

핵심 요점. 설계 공간은 네 가지 대체로 독립적인 선택 — 범위, 단계 조건화, 인터페이스, 깊이 정책 — 으로 축소된다. 대부분의 논문은 정확히 하나만 변화시킨다. 다섯 번째의 비아키텍처적 축 — 반복이 정제, 직렬 계산, 또는 샘플링으로 의도되는지 여부 — 은 추가 루프 하에서 서로 다른 행동을 예측하며, 새로운 루프 아키텍처에 대해 물을 수 있는 가장 유용한 단일 질문이다.

제2부 — 설계 공간

4. 아키텍처: 루프가 위치하는 곳과 반복이 어떻게 다른가

4.1 범위: 2단계, 전체 및 국소화된 루프

가장 중대하면서도 가장 적게 논의되는 설계 선택은 네트워크의 어느 부분이 반복되는가이다.

2단계 범위 설정. 대규모 언어 모델에서 지배적인 패턴은 네트워크를 공유되지 않는 프렐류드, 반복되는 코어, 공유되지 않는 코다로 분리한다. Huginn [1]이 가장 명확한 사례이다: 하나의 프렐류드 블록, 네 개의 공유 코어 블록, 하나의 코다 블록으로, 전체 상태가 각 반복마다 코어로 다시 들어간다. 그 동기는 프렐류드가 반복되어서는 안 되는 임베딩/초기 혼합 작업을 상각하고, 코다가 수렴된 잠재 상태를 로짓으로 변환한다는 것이다. Ouro [2]와 Latent Recurrent Transformer [51]도 동일한 분할을 따른다. 이 선택은 무해하지 않다: 경계에서 상태가 전면적으로 교체되기 때문에, 프렐류드/코다 분할은 루프의 고정점 행동을 분석 가능하게 만드는 것이기도 하며, 그 비용은 모든 반복이 입력의 단일 임베딩을 공유한다는 점이다.

그림 4: Huginn [1]이 도입한 2단계(프렐류드–코어–코다) 패턴. 전체 상태가 각 반복마다 코어로 다시 들어간다; 반복별 노이즈나 정지 신호는 사용되지 않는다. [1]에서 재현한 그림.

전체 네트워크 스코핑. 다른 극단에서는 모든 레이어가 루프에 참여하며, 특권적인 비공유 영역이 존재하지 않는다. 이는 루프 깊이에 관한 이론적 연구 [3, 77, 78]와, 프렐류드/코다 분할 자체가 불안정성의 원인이라고 주장하는 여러 최근 시스템 논문들의 설정이다 [14, 43, 12]. Fully Looped Transformer [43]는 이 주장을 명시적으로 제시한다: 레이어의 일부만 반복하도록 두면 그 잔차 통계가 무한히 커지며, 전체 스택을 루프 안으로 접는 것이 이를 안정화한다. §5.2에서 이 점을 다룬다.

국소화된 스코핑. 세 번째 선택지는 깊은 스택 중간에서 소수의 레이어만 반복하는 것이다. Depth-Attention [26]이 가장 명확한 사례이다: 이는 전통적인 $L$-레이어 트랜스포머를 유지하되, 각 레이어의 값 행렬을 현재 레이어의 쿼리를 사용하여 더 얕은 레이어들의 희소 집합으로부터 형성된 깊이 혼합 값으로 대체한다. 복잡도 논증은 논문에서 $O(TL/s) \ll O(T^2)$로 제시된다 — 혼합은 깊이에 걸쳐 희소하므로, 토큰 축 어텐션에 비해 저렴하다.

그림 5: 국소화된, 희소한 형태의 교차 반복 혼합으로서의 Depth-Attention [26]. 혼합은 시퀀스 위치가 아니라 깊이에 걸쳐 이루어진다. 그림은 [26]에서 재현함.

국소화된 루프는 특정한 이유로 매력적이다: 기존의 사전학습된 스택에 소급 적용할 수 있으며, 전면적인 상태 대체 문제를 완전히 피한다. T²MLR [27]은 동일한 "중간 레이어 재귀" 경로를 택하며, Penelope [28]은 비용을 억제하기 위해 재귀를 국소화한다. 이 범주는 또한 이 계열이 일반적인 아키텍처 작업과 뒤섞이는 지점이기도 하다 — "하나의 레이어를 두 번 재사용"하는 것은 언제부터 루프 트랜스포머가 아니게 되는가? 우리는 §2.1의 조작적 경계를 채택한다: 재사용은 반복 횟수가 단순히 반복된 부분 표현이 아니라 제어 가능한 양일 때 루프이다.

4.2 단계 조건화: 반복 $t$와 반복 $t-1$의 구별

반복적으로 적용되는 공유 블록은 등변 사상이다: 추가 신호가 없으면, 반복 $t$과 반복 $t'$은 $B_\theta$에게 구별되지 않는다. 따라서 모든 비자명한 루프 아키텍처는 조건화를 추가한다. 네 가지 메커니즘이 반복적으로 등장한다.

깊이 축에 대한 타임스텝 또는 위치 인코딩. [17]의 이론적 연구는 타임스텝 인코딩이 없는 루프 트랜스포머가 정확한 의미에서 제한된 표현력을 가지며, 이를 추가하면 그것이 엄격히 증가함을 보인다; LayerRoPE [19]는 깊이 방향 위치 인코딩을 크기와 각도의 중첩으로 일반화하며, LayerNorm은 [18]에서 잔차 경로에 대해 유사한 역할을 하는 암묵적 이득 제어로 작용한다고 논증된다. 이는 가장 저렴하고 가장 흔한 선택지이며, 또한 실수로 가장 자주 생략되는 것이기도 하다 — Huginn [1]은 이를 전혀 사용하지 않는데, 이는 간과가 아니라 설계상의 입장이다.

루프별 저랭크 어댑터. Relaxed Recursive Transformers [9]는 깊은 네트워크를 $K=L/B$개의 공유 블록에 레이어별, 루프별 LoRA 델타(원래 레이어의 절단 SVD로 초기화됨)를 더한 것으로 접은 뒤 업트레인한다. 그 결과는 연속체이다: 한쪽 끝에는 완전한 가중치 공유, 다른 쪽 끝에는 구별되는 레이어가 있다. Mixture-of-LoRAs [11]은 루프별 어댑터를 라우팅된 집합으로 바꾼다. 장점은 매개변수 효율성이다 — 수백만 개의 추가 매개변수가 묶기로 인한 손실의 대부분을 복원한다 — 그리고 비용은 "얼마나 공유할지"가 조정해야 하는 새로운 하이퍼파라미터가 된다는 점이다.

깊이 구조화된 어텐션. 블록의 파라미터를 조건화하는 대신, 교차 반복 어텐션은 블록의 정보 흐름을 조건화한다. ReFlux [25]는 업데이트를 반복에 걸쳐 동일한 토큰에 다시 기록하고, Loop-Native Attention Residuals [24]는 잔차 판독 자체를 루프 인식형으로 만들어 이를 수만 번의 테스트 시점 반복까지 밀어붙인다. Depth-Attention [26](그림 5)은 이를 국소화한 버전이다.

그림 6: [26]의 3B 모델이 학습한 깊이-어텐션 소스 가중치로, 토큰, 헤드, 평가 예시에 걸쳐 평균한 값이다. 대각선은 각 층이 자신의 값 상태를 읽는 것이며, 소스 층 24의 강한 수평선과 소스 층 0의 희미한 행이 학습된 모델이 사용하는 유일한 비대각 소스이다. 그림은 [26]에서 재현하였다.

루프별 전문가. MoRE [32]는 "어느 반복인가"를 라우팅 차원으로 취급하고 반복에 걸쳐 전문가 풀을 재사용하며, §4.5의 루프형 MoE 연구들은 블록 수준에서 같은 일을 한다. 이는 조건화를 라우팅에 가장 긴밀하게 결합하는 선택지이다.

4.3 인터페이스: 반복 경계를 넘는 것

두 번째 구조적 질문은 다음 반복이 무엇을 읽는가이다.

전체 상태 교체. 가장 단순한 인터페이스는 갱신된 전체 상태만을 전달하고 그 외에는 아무것도 전달하지 않는다 — Huginn [1]과 Ouro [2]. 이는 깔끔한 고정점 해석(§5.1)을 허용하며 [77]의 깊이 일반화 이론과 양립한다.

잔차 또는 주입된 업데이트. 주입 — 각 반복에서 입력 임베딩을 다시 더하는 것 — 은 길이 일반화 문헌에서 표준적이며 [77], 여기서는 루프가 은닉 상태가 아니라 KV 캐시에 대한 고정점 반복으로 작성되는 "반복적-KV" 정식화에서 사용된다.

상태로서의 메모리. 독특하고 점점 인기를 얻는 선택지는 반복에 걸쳐 명시적 메모리를 전달한다. MeSH [10]는 공유 블록의 상태를 메모리 고속도로를 통해 라우팅하며, LSTM-UT [21]는 순진한 전달을 경계가 있는 게이트 메모리로 대체하고 상태를 저장하는 것이 그것을 기억하는 것과 같지 않다고 주장한다. Associative-State Universal Transformers [22]는 순환을 희소 검색과 짝지으며, Maglev [118]는 슬라이딩 순환 메모리를 사용한다. 이 그룹에서 가장 강력한 증거는 [95]로, 모든 재귀가 읽는 공유 KV 메모리가 정확도/메모리 절충을 개선함을 보여준다(그림 7) — 저자들 자신의 해석은 어텐션 질량이 공유 메모리에 떨어지는 루프가 일반 루프가 깊이에서 잃는 그래디언트 신호의 대부분을 회복한다는 것이다.

그림 7: 공유 메모리가 있는(lpt) 및 없는(h-lpt) 루프형 예측 트랜스포머의 정확도 대 메모리 [95]. 비교는 파라미터 매칭되었으며, 논문은 디코드-FLOP 매칭 대조군을 보고하지 않는다. 그림은 [95]에서 재현하였다.

그림 8: [95]의 공유 메모리 루프형 트랜스포머에서 공유 메모리에 떨어지는 어텐션 질량으로, 두 모델 크기(S 및 M)에 대해 층과 재귀별로 표시하고 질의와 헤드에 걸쳐 평균하였다. 각 패널의 맨 아래 행은 전층 평균이다. 그림은 [95]에서 재현하였다.

루프 국소 상태 대 영속 상태. 반복적으로 나타나는 발견이며 실질적인 함의를 지니는 것은, 상태의 범위가 그 크기보다 더 중요하다는 점이다. LSTM-UT [21]와 Source-Centered State Evolution [23]은 모두 무제한적인 상태 축적이 성능을 저하시킨다고 보고하며, Universal Transformers Need Memory [20]는 이 문제 전체를 깊이–상태 트레이드오프로 규정한다. 우리는 이 군집이 하나의 경험적 주장으로 수렴한다고 읽는다. 즉, 어느 지점을 넘으면 추가 반복은 그 결과가 갈 곳이 있을 때에만 도움이 된다는 것이다. 이 해석은 우리의 추론이며, 어느 한 논문이 명시한 결과는 아니다.

4.4 깊이 정책: 고정, 학습, 탄력적, 스케줄링

고정. $T$은 하이퍼파라미터이다. 여기에는 $T$를 작게 선택하는 미묘하지만 중요한 경우가 포함된다. Looping-Beyond-Twice 레시피 [33]는 해당 분야가 $b=2$(깊이 2의 단일 블록 루프)에 과도하게 초점을 맞춰 왔으며, 더 큰 $T$를 갖춘 더 큰 $b$가 더 잘 확장된다고 주장한다.

학습. 게이트가 정지를 예측하며, 이는 ACT [128]의 전통에 따른다. Dynamic Halt [54]는 정지 헤드를 갖춘 순환 트랜스포머에 관한 철저한 초기 연구이며, Sparse UT [8]는 희소 전문가 혼합 블록을 정지 모듈과 결합하고 이를 종단 간 학습한다. 학습된 정지는 매력적이지만, 코퍼스의 진단은 호의적이지 않다. §6.2는 학습된 게이트가 체계적으로 보정 오류를 보인다고 보고하며 [55], 실제로 적응형 깊이는 대부분 런타임 스케줄러라기보다 마무리 단계로 작동한다고 보고한다 [53].

탄력적. 한 번 학습하고 임의의 깊이에서 실행한다. LoopFormer [63]는 정규화된 시간 $t$과 스텝 크기 $\Delta t$에 각 단계를 조건화하고 지름길 일관성 손실을 사용하여 트라젝터리 패밀리 전반에 걸쳐 학습하며, One Model to Loop Them All [66]는 탄력적 루프 횟수를 주요 목표로 삼는다. 매력적인 특성은 단일 체크포인트가 연산/품질 프런티어를 담당한다는 점이다.

추론 시 스케줄링. 루프 횟수는 런타임에 라우터, 결정기 또는 외부 스케줄에 의해 토큰별 또는 요청별로 결정된다 — Think-at-Hard [64], Program-of-Layers [65], 연속 깊이 배칭 [57], 그리고 §7.3의 자기 추측 디코더. 이는 2026년 활동의 대부분이 위치하는 곳이며 §6에서 별도로 다룬다.

그림 9: [30]의 순환 혼합 단계: 각 순환은 고정된 공유 레이어 스택을 적용하고, 라우터는 해당 토큰이 다음 순환으로 계속 진행할지 아니면 종료할지를 결정하는 스칼라를 토큰별로 출력한다. 그림은 [30]에서 재현함.

4.5 순환 전문가 혼합과 세그먼트 루프

설계 공간에서 가장 경제적인 단일 아이디어는 반복 블록을 전문가의 혼합으로 만드는 것이며, 그리하여 순환이 가중치 용량과 연산 용량을 각각 별도로 얻도록 하는 것이다.

MoEUT [7]는 기초적인 사례이자 가장 깔끔한 실험이다. 이는 공유 블록의 어텐션과 MLP를 희소 혼합으로 대체하며, 결정적으로 잔차 덧셈 전후 모두에 레이어 정규화를 적용하는 페리-레이어노름 배열을 도입한다 — 저자들은 이것이 깊은 가중치 공유 혼합을 학습 가능하게 만드는 요인이라고 보고한다. 그들 자신의 소거 실험이 정보를 주는 부분이다. 비공유 σ-MoE는 "상당히 더 나쁘다"고 보고되는데, 즉 이득은 희소성 자체가 아니라 희소성과 공유의 상호작용에서 비롯된다는 것이다.

그림 10: MoEUT [7]의 저자들이 안정적인 깊은 가중치 공유 혼합에 필요하다고 규명한 페리-레이어노름 배열. 그림은 [7]에서 재현함.

2026년 문헌은 이를 더 세분화된 선택지로 나눈다. Mixture-of-Recursions [30]는 각 토큰이 서로 다른 반복에서 재귀를 종료할 수 있게 하고 이를 공유 KV 캐시와 결합한다. Looping Beyond Twice [33]는 $(b,T)$ 트레이드오프를 직접 연구한다. MoRE [32]는 반복 전반에 걸쳐 전문가 풀을 재사용한다. LoopMoE [31]는 반복적 계산과 MoE를 단일 공식으로 통합한다. 스케일링 측면에서 SMELT [101]는 MoE 루프 트랜스포머에 대한 컴퓨트 정합 스케일링 법칙을 제공한다. 이는 대안(더 많은 파라미터, 더 적은 루프)이 파라미터 수가 아닌 FLOPs에서 정합되는 드문 사례이다.

4.6 루프 생성: 확산, 흐름 및 시각적 토큰화

별개의 분기는 루프를 생성적 디노이징 과정에 적용하는데, 여기서 반복 인덱스는 확산 타임스텝을 대체하거나 보강한다. Looped Diffusion Transformer [35]와 LiFT [36]는 정규 루프 확산 및 흐름 매칭 사례이다. Looped Diffusion Language Models [37]와 Recursive Scaling in Masked Diffusion Models [38]는 동일한 아이디어를 토큰 위치에 대한 이산 확산에 적용한다. Fixed-Point Masked Generative Modeling (CoFRe) [40]는 마스크드 생성을 명시적으로 고정점 반복으로 공식화하고 일관성 정규화를 추가한다. ALoDLM [39]은 반복 횟수를 적응적으로 만든다. LoopREG [126]는 테스트 시점에 순환 깊이가 전이되도록 표현 감독을 추가한다.

이 분기는 아키텍처적으로 흥미로운데, 정확히 일반적인 이야기를 뒤집기 때문이다. 디노이징 모델에서 "더 많은 반복"은 목표 분포와 연결된 명확한 의미를 가지므로, 루프 횟수는 자기회귀 언어 모델에서와 달리 해석 가능하다. 또한 이 분기는 교차 반복 인터페이스 문헌(출판 없는 재사용, 일관성 손실, 재사용 절제)이 가장 발전된 분기이다.

4.7 아키텍처의 비교 요약

표 4는 본 설문이 구성 요소를 전문적으로 읽은 아키텍처들을 §3.1의 네 축에서 비교한다. 행은 범위별로 정렬된다. "증거 규모" 열은 논문이 보고하는 가장 큰 설정을 기록하며, 이는 주장이 제시되는 설정보다 종종 훨씬 작다.

표 4: 네 가지 분류 축에 따른 아키텍처 비교. "증거 규모"는 보고된 가장 큰 설정이며, 해당 규모에서 주장이 성립함을 보증하는 것은 아니다.

핵심 요점. 범위는 첫 번째 결정이자 가장 큰 하위 영향력을 지니는 결정이다. 2단계 범위는 분석 가능한 고정점을 제공하지만 하나의 입력 임베딩을 반복 간에 공유한다. 전체 네트워크 범위는 잔차 통계의 증가를 피하지만 프렐류드/코다 분리를 포기한다. 국소화 범위는 기존 스택에 소급 적용되어 일반적인 아키텍처 작업에 섞여든다. 단계 조건화는 종종 설계상 생략되며(Huginn, Ouro) 다른 곳에서는 의도적으로 추가된다. 타임스텝 인코딩은 이론적으로 정당화되지만 [17] 규모에서 경험적으로 충분히 검증되지 않았다. 인터페이스 질문, 즉 교체, 주입, 또는 메모리는 가장 일관된 경험적 발견이 나타나는 지점이다. 추가 반복은 그 결과가 갈 곳이 있을 때 주로 도움이 된다 [20, 21, 95]. 루프형 MoE는 가중치와 계산이 별도로 성장하도록 허용함으로써 통상적인 트레이드오프를 뒤집으며, 그 핵심 절제 실험은 이득이 희소성 자체가 아니라 희소성과 타이잉의 상호작용에서 온다는 것이다 [7].

5. 훈련: 안정성이 구속 조건이다

5.1 안정성 문제, 분명하게 진술하기

가중치 공유 블록을 $T$번 펼치는 것은 공유 야코비안을 갖는 심층 계산이다. 그 결과 세 가지 병리가 뒤따르는데, 이는 일반적인 심층 네트워크가 직면하는 것과는 다르다.

1. 잔차 성장 또는 붕괴. 루프에 상태의 규모를 조절하는 메커니즘이 없으면 그 노름은 $t$에 따라 단조적으로 표류하며, $T$이 클 때 상태는 폭발하거나 포화되어 정보를 더 이상 전달하지 못한다.
2. 깊이에서의 기울기 기아. 손실의 기울기가 초기 반복에 대해 중간 적용 횟수에 따라 감쇠하며, 감쇠가 빠르면 특정 지점 이후의 반복은 학습 신호를 받지 못하고 불활성이 된다.
3. 원하는 것이 아닌 고정점. 루프가 수렴한다면 그것은 어떤 끌개로 수렴하는데, 목적함수 어디에도 그 끌개가 유용한 답이어야 한다고 말하지 않으며, 유역 구조는 적대적일 수 있다.

그림 11: 펼쳐진 공유 블록의 세 가지 실패 모드와 이를 해결하는 개입 계열로, 이 장에서 검토한 훈련 문헌 전반에 보고된 바와 같다. [41, 42, 43, 44, 45, 47, 61]에 기술된 메커니즘으로부터 저자가 작성; 어떤 단일 논문의 그림도 아님.

이론적으로 매력적인 해결책은 루프를 수축적으로 만들고 깊은 평형 전통 [129]을 따라 암묵적 미분으로 고정점에서 훈련하는 것이다. 코퍼스의 증거는 이것이 대규모 루프 언어 모델이 하는 일이 아니라는 것이다. [15]은 계층 적층을 의도적으로 수축적인 순환 깊이로 대체하고 소규모 영역에서 이득을 보고하며; [47]는 언어와 추론 루프를 끌개 모델로 틀 짓고 고정점 공식화가 바로 안정성을 복구하는 것이라고 보고하며; [48]은 명시적 안정성 제약을 갖는 "고정점 추론기"를 구축하며; [49]은 고정점에서 무엇을 해야 하는지(특히 궤적의 어느 끝점이 그것을 대표해야 하는지)를 재검토한다. 그러나 수억에서 수십억 파라미터 규모의 결과를 보고하는 연구들 중 대부분은 펼쳐진 목적함수를 유지하고 대신 아키텍처를 안정화한다.

5.2 안정화 개입이 실제로 무엇인지

개입을 작용하는 위치에 따라 묶으면 문헌을 훨씬 더 읽기 쉽게 만들 수 있다.

잔차 경로 스케일링. [42]는 루프 트랜스포머에 대한 잔차 스케일링 지수를 직접 연구하고 안정성과 전이성 이점을 모두 보고하며; DeepLoop [41]은 GPT-2 small/medium 백본에서 잔차 스케일링 지수를 훑고 스케일된 기준선에 맞추는 것이 루프에 대한 "깊이 스케일링"이 요구하는 것이라고 보고한다. 이것이 가장 흔한 단일 개입이다.

정규화 배치. MoEUT의 주변 레이어노름 [7]이 원형이다: 잔차 덧셈의 양쪽에서 정규화하는 것. [18]는 보완적 분석을 제공하며, LayerNorm이 바로 루프 설정에서 암묵적 이득 제어로 기능한다고 주장한다. 회전 기반 정규화 [43]와 블록별 등각성 [44]은 더 공격적인 변형이다: 규모를 제어하는 대신 전이의 기하학을 제약하며, [44]은 전이 연산자의 자유 대각선이 바로 붕괴하는 것이며 블록별 등각 제약이 이를 복원한다고 보고한다.

그림 12: 이 절의 안정화 개입이 펼쳐진 루프에서 작용하는 위치로, 수정하는 계산 부분에 따라 묶음. [7, 18, 41, 42, 43, 44, 45, 61]에 기술된 개입으로부터 저자가 작성.

경계가 설정된 게이트 방식의 상태 업데이트. [61]는 재귀적 추론 모델들에 대해 통제된 절제 연구를 수행하는데 — 하나의 통합된 파이프라인 안에서 한 번에 한 요인씩 변화시키면서 — 명시적 계층 구조는 불필요하다고 결론짓고, 안정성은 경계가 설정되고 게이트 방식이며 정규화된 순환 상태 업데이트가 중간 그래디언트 지평과 큰 물리적 배치와 결합된 데서 온다고 본다. 이 결과는 저자들의 용어로 진술할 가치가 있는데, 그것이 인기 있는 설계에 대한 부정적 주장이기 때문이다. HRM식 모델의 계층적(두 수준) 구조는, 그들의 실험에서, 이득의 원천이 아니다.

확률성. [45]는 테스트 시점의 외삽 동작이 안정적이도록 확률적 정지 분포를 학습한다; [59]는 재귀적 추론기의 느린 진동 모드를 분석하고, 그것들을 속도 제한하는 것이 루핑이 예상보다 일찍 끝나게 만드는 이유라고 주장한다.

이 전체 군집에는 두 가지 주의 사항이 적용된다. 첫째, 이 논문들 대부분은 진단과 소규모 또는 중규모 백본에서의 수정을 보고하며, 일반적으로 단일 시드로 한다; 특정 개입이 확장된다는 복제된 증거는 희박하다. 둘째, 개입들은 독립적이지 않다 — 잔차 스케일링 지수는 정규화 배치를 모르면 무의미하다 — 따라서 "어떤 트릭이 통하는가"라는 질문은 아키텍처 전반에 걸쳐 잘 정식화된 답을 갖지 못할 수 있다.

5.3 실패를 보기: 하나의 진단 예시

훈련 문헌에서 가장 명확한 단일 증거는 [43]의 진단으로, 그림 13에 재현되어 있다. 완전히 루프된 트랜스포머를 동일한 그리고 더 큰 루프당 깊이의 전통적 루프 트랜스포머와 처음 2,000 최적화 단계에 걸쳐 비교하면서, 이 논문은 세 가지 동시적 분기를 보고한다: 전통적 루프의 잔차 노름은 수만까지 단조 증가하는 반면 완전히 루프된 모델의 것은 약 천 근처에 머문다; 전통적 루프의 훈련 손실은 약 7.9에서 정체되는 반면 완전히 루프된 것은 ≈3.6까지 하강한다; 그리고 전통적 루프의 그래디언트 노름은 거의 0으로 붕괴하는 반면 완전히 루프된 것은 비자명한 그래디언트를 유지한다.

그림 13: [43]의 훈련 진단으로, 완전히 루프된 트랜스포머(FLT)를 동일한 그리고 더 큰 루프당 깊이의 전통적 루프 트랜스포머(LT)와 대조한다. 잔차 노름(왼쪽), 훈련 손실(가운데), 그래디언트 노름(오른쪽). 그림은 [43]에서 재현됨.

우리는 이 그림을 §5.1의 세 가지 병리가 한 번의 실행에서 함께 발생하는 것을 보여주는 것으로 읽는다: 통제되지 않은 잔차 성장, 손실 하한, 그리고 그래디언트 기아. 이 논문 자체의 결론은 전체 스택을 루프에 접어 넣는 것이 해결책이라는 것이다. 우리의 추론은 저자들의 것보다 더 좁다: 반복 영역이 네트워크의 진부분집합인 어떤 아키텍처든 프렐류드/코다 경계에서 어떤 잔차 통계적 불연속을 보일 수밖에 없으므로, "완전히 루프된"이라는 주장은 루핑 자체에 관한 것이 아니라 경계 효과에 관한 진술일 가능성이 높다. Huginn [1]은 초기 손실/그래디언트 동작으로부터 진단된 두 번의 실패한 훈련 시도를 보고하는데, 이는 같은 현상을 다른 쪽에서 본 것이다.

5.4 목적 함수: 무엇이 감독되는가, 그리고 몇 단계에 걸쳐서인가

세 가지 질문이 이 문헌의 훈련 목적 함수들을 구별한다.

모든 반복이 감독되는가, 아니면 하나만 감독되는가? 표준적인 다음 토큰 예측은 매 반복에서 판독부를 감독한다. [77]의 단계 의존적 감독은 그 반대를 수행한다: 샘플 $i$는 오직 반복 $t = T_i$에서만 감독되며, 여기서 $T_i$은 해당 과제가 실제로 필요로 하는 단계 수이다. 전체 출력 예측 및 입력 주입과 결합될 때, 이것이 바로 해당 논문의 대표적인 길이 일반화 결과를 만들어내는 요인이다. [82]과 [80]은 깊이 외삽과 그 한계에 대한 분석을 확장한다.

그래디언트는 몇 번의 반복에 걸쳐 흐르는가? $T$회 반복에 걸친 전체 역전파는 비용이 많이 들고 불안정할 수 있으며, 절단은 저렴하지만 초기 반복이 지니는 신호를 잃는다. [61]는 중간 그래디언트 지평을 안정성의 세 가지 구성 요소 중 하나로 규정한다 — 전체 BPTT도 공격적 절단도 아니다. 이는 이 분야의 몇 안 되는 정량적 발견 중 하나이며, §5.1의 그래디언트 기아(gradient-starvation) 그림과 일관된다.

보조적인 일관성 또는 재사용 목적 함수가 있는가? CoFRe [40]는 단일 노이즈 제거 단계가 다단계 궤적을 근사하도록 재사용 및 일관성 정규화 항을 추가한다; LoopFormer [63]는 짧은 궤적을 가장 긴 궤적으로 끌어당기는 지름길 일관성 손실(shortcut-consistency loss)을 추가한다; [53]는 적응적 깊이 행동이 궤적과 판독부로 분해되며 판독부는 사후에 감독될 수 있다고(PLN) 주장한다. 일관성 목적 함수는 단일 체크포인트가 여러 루프 횟수를 지원하도록 만드는 요인이며, 따라서 이는 훈련 설계 선택인 동시에 추론 시점 설계 선택이기도 하다.

5.5 초모수로서의 루프 횟수와 루프별 깊이

이 분야에서 가장 실용적으로 유용한 결과들은 $(b, T)$를 어떻게 선택할 것인가에 관한 것이다.

둘보다 많은 루프. [33]의 레시피는 이 분야가 표류해 들어간 영역 — $T=2$에서 훈련된 단일 블록 루프 — 을 명시적으로 겨냥하며, 루핑을 통해 얻은 더 큰 유효 깊이가 대안보다 더 잘 확장된다고 보고한다. 그들의 iso-FLOP 비교는 약 5회 루프 근처에서 최적점을 찾아내는 반면, 고정된 비(非)-iso-FLOP 예산에서는 성능이 9회 루프까지 계속 향상된다. 이 두 곡선 사이의 구별은 바로 이 서베이가 계속해서 되돌아가는 구별이다: 손실이 몇 번의 루프에서 향상되는가는 몇 번의 루프가 그 FLOPs만큼의 가치가 있는가와는 다른 질문이다.

균일한 것이 아닌 적응적. Mixture-of-Recursions [30]는 토큰을 서로 다른 재귀 깊이로 라우팅하고 해당 설정에 대한 연산 최적 스케일링 곡선을 보고하며, DeepLoop [41]는 잔차 스케일링 스윕 하에서 루프 횟수를 백본 크기에 대해 스윕한다.

규모에서의 훈련 레시피. 세 편의 2026년 연구는 실무자에게 가장 유용한 참고 문헌이다. Closing the Loop [50]는 실용적 레시피와, 더 중요하게는 밀집 모델에 대한 추론-FLOP-정합 비교(§11에서 논의)를 보고한다. Parcae [103]는 재귀가 직교적인 연산 축인 스케일링 법칙을 도출하고 FLOP 예산에 대한 최적 재귀 횟수의 거듭제곱 법칙을 보고한다. Iso-depth 스케일링 법칙 [102]는 깊이를 고정하고 추가된 너비나 토큰 대비 재귀가 무엇을 사는지를 물음으로써 "하나의 재귀는 얼마만큼의 가치가 있는가?"라는 형태로 질문을 재구성한다.

그림 14: [102]의 iso-depth 분석에서 아키텍처별 연산 최적 검증 손실과 피팅된 결합 스케일링 법칙으로, 그 질문은 추가된 너비나 토큰 대비 하나의 재귀가 얼마만큼의 가치가 있는가이다. 그림은 [102]에서 복제됨.

5.6 훈련에 관해 확립되지 않은 것

세 가지 격차는 각각이 습관적으로 얼버무려지기 때문에 명시적으로 언급할 가치가 있다.

• 시드 분산. 훈련 안정성 논문들 중 설정당 단일 실행 이상을 보고하는 경우는 극히 드물다. §5.2의 개입들은 반복 검증된 결과라는 확신을 담아 서술되지만, 코퍼스는 그런 확신을 뒷받침하지 않는다. 이는 코퍼스에 대한 우리의 평가이며, 어떤 논문이 제기한 주장이 아니다.
• 규모 전이. 거의 모든 안정성 진단은 소규모 또는 중간 규모에서 수행된 뒤 외삽된다. Parcae [103]는 규칙을 확인시켜 주는 예외이며, 그 기여 전체가 안정성이 법칙처럼 행동한다는 점에 있다.
• 데이터와의 상호작용. 안정화 개입이 훈련 여부만이 아니라 모델이 학습할 수 있는 내용 자체를 바꾸는지 여부는 거의 검증되지 않는다. 계층 구조에 관한 [61]의 부정적 결과는 이를 분리해 낸 몇 안 되는 사례 중 하나다.

핵심 요점. 루핑은 공유 야코비안을 가진 심층 계산이며, 그 세 가지 실패 모드 — 잔차 드리프트, 그래디언트 기아, 원치 않는 끌개 — 는 훈련 문헌이 실제로 해결하는 문제들이다. 대규모 루프 언어 모델은 압도적으로 펼쳐진 목적함수를 유지하고 아키텍처를 안정화한다: 잔차 스케일링, 정규화 배치, 경계 있는 게이트 업데이트, 확률성. 가장 명확한 단일 진단은 세 가지 실패 모드가 한 실행에서 동시에 발생함을 보여주며 [43], 코퍼스에서 가장 체계적인 절제 실험은 경계 있는 게이트 정규화 업데이트에 중간 그래디언트 지평과 큰 배치를 더한 것이 계층 구조보다 더 중요하다고 주장한다 [61]. $(b,T)$의 선택은 두 가지 서로 다른 질문 — 손실이 개선되는 곳, 그리고 FLOPs가 보상을 주는 곳 — 에 의해 지배되며, 이 둘은 서로 다른 답을 가진다.

제3부 — 추론 시점 계산

6. 적응적 추론: 루프를 중요한 곳에 쓰기

6.1 전제, 그리고 그것이 자동으로 성립하지 않는 이유

루프 횟수 $T$를 입력별로 가변할 수 있다면, 루프 모델은 원칙적으로 평균 계산량의 일부만으로 조밀 모델의 품질에 필적할 수 있다 — 어려운 토큰에는 많은 반복을, 쉬운 토큰에는 적은 반복을 쓰는 것이다. 이것이 작동하는지 여부는 전적으로 필요한 깊이의 분포가 모델이 실행 시점에 볼 수 있는 무언가로부터 예측 가능한지, 그리고 그것을 예측하는 메커니즘이 보정되어 있는지에 달려 있다. 둘 다 검증 가능하며, 증거는 엇갈린다.

6.2 언제 멈출 것인가: 정지는 보기보다 어렵다

가장 단순한 적응적 방식은 ACT [128]의 전통에 따른 반복에 대한 학습된 정지 게이트다. 코퍼스에는 이에 대한 낙관을 누그러뜨려야 할 상세한 평가가 포함되어 있다. [55]은 적응적 깊이를 궤적과 판독의 공동 선택으로 재구성하고, 4층 $d=512$ 루프를 $T=6$에서 3개 시드에 걸쳐 사용한 합성 패리티/MANO 과제에서 기하 사전 궤적에 로짓 마진 판독을 짝지은 경우 평균 1.38–1.55 루프에서 95–99% 정확도에 도달하는 반면, 학습된 선형 게이트는 95%에 도달하는 데 2.80 ± 0.30 루프가, MLP 게이트는 3.58 ± 0.36 루프가 필요하다고 보고한다. 동결된 Ouro-1.4B/2.6B 체크포인트에서 사후 판독은 12개 모델–벤치마크 쌍 중 5개에서 모델 자체의 판독을 능가하고 12개 중 7개에서 더 저렴하다. 저자들의 주장은 판독의 설계에 관한 것이며, 우리의 해석은 더 약하고 더 안전한 쪽이다 — 학습된 게이트는 이 설정에서 체계적으로 보정이 어긋나 있으며, 학습되지 않은 스케줄에 좋은 판독을 더한 것이 이들을 능가할 수 있다.

두 번째 진단도 같은 방향을 가리킨다. [53]은 통상적으로 구현되는 적응형 깊이가 "마무리 단계"로 작동한다고 주장한다. 즉 추가 루프는 균일 깊이 궤적이 이미 결정한 답을 더 정교하게 다듬을 뿐, 토큰이 더 많은 연산을 필요로 한다는 것을 발견하는 스케줄러로 작동하지는 않는다. 만약 그 해석이 맞다면, 적응형 깊이의 이점은 기저의 고정 스케줄 품질에 의해 제한된다.

추가적인 두 결과는 정지(haltung)가 달성할 것으로 기대할 수 있는 범위를 제약한다. [60]는 542.8M 모델에서 단순 깊이 절단으로 인한 품질 손실을 해석 가능한 구성 요소로 분해하여, 1.4251-nat 격차 중 약 47.9% [46.6, 49.3]가 블록 적용에, ≈ −2.8% [−3.2, −2.4]가 구별되는 깊이에, 54.8% [53.3, 56.3]가 블록 간 구성에, 25.6% [24.5, 26.6]가 캘리브레이션에 기인한다고 보고한다. Huginn-0125에서는 32× 깊이 변화에 걸쳐 단지 0.045의 온도 드리프트만을 보고하는 한편, 깨끗한 1.83-nat 깊이 효과를 함께 보고한다. 실질적 함의는 깊이가 사들이는 것의 대부분이 구성이지 반복별 정교화가 아니라는 점이다. 그리고 이는 바로 정지 게이트가 추정하기에 가장 취약한 양이다. 또한 [56]과 [59]는 토큰별 고정점 수렴과 느린 진동 모드의 속도 제한이 정지를 위한 올바른 추상화이며, 스칼라 신뢰도 게이트와는 대조된다고 보고한다.

세 번째 변형은 사후에 진단되는 것이 아니라 종단 간 학습된다. Sparse UT [8]는 정지 모듈을 희소 혼합 블록 내부에 배치하고 모델의 나머지 부분과 공동으로 학습시키며, 소비되는 깊이의 양이 단일 시퀀스 내에서 토큰마다 달라진다고 보고한다(그림 15). 이는 게이트가 예측해야 하는 것이 그 자체로 위치 의존적이라는 증거이다.

그림 15: 논리적 추론 예시에서 [8]의 Sparse Universal Transformer 정지 모듈의 토큰별-층별 활동 패턴. 동일한 시퀀스의 위치들이 눈에 띄게 다른 깊이까지 활성 상태로 남는다. [8]에서 재현한 그림.

6.3 추가 루프가 사들이는 것: 통제된 그림

루프 요구량이 문제 난이도에 따라 확장된다는 가장 명확한 증거는 [55]의 강제 종료 실험에서 나오며, 그림 16에 재현되어 있다. 필요한 연산 수에 의해 난이도가 통제되는 합성 과제에서, 정확도 대 루프 수 곡선은 연산 수가 증가함에 따라 오른쪽으로 이동하고 평탄해지며, 연산 10개에서는 가장 강력한 구성조차 여섯 루프까지 포화되지 않는다.

그림 16: 문제 깊이의 함수로서 루프 수에 대한 강제 종료 정확도 [55]. 필요한 루프는 연산 수에 따라 증가한다. [55]에서 재현한 그림.

이는 합성 설정이며, 언어 벤치마크가 무엇을 필요로 하는지에 대한 추정이 아니라 메커니즘 시연으로 읽어야 한다. 이것이 깔끔하게 확립하는 것은 적응형 깊이 이득의 상한이 가장 어려운 입력이 예산이 허용하는 것보다 더 많은 반복을 필요로 하는지에 의해 결정된다는 점이며, 이 설정에서는 그렇다는 것이다.

6.4 토큰별, 프로그램별, 배치별 결정

스펙트럼상 네 가지 입장이 제시되며, 이들은 의사결정자가 얼마나 많은 정보를 보는지에서 차이를 보인다.

토큰당, 첫 상태로부터. T-LoopFormer [62]는 각 토큰의 루프 횟수를 초기 은닉 상태 $h^{(0)}$로부터 예측하는 2계층 MLP 라우터를 훈련하며, gather–scatter 실행과 재귀별 KV 캐시를 사용한다. $d=2048$에서 FineWeb-Edu 25B 토큰 기준으로 저자들은 24×-FLOPs 혼란도 20.13/19.14와 평균 정확도 44.20을 보고하는데, 이는 LoopFormer의 21.96/20.09/43.48 및 비순환 24계층 모델의 20.17/19.22/43.8과 비교되며, 토큰당 0.197 ms로 LoopFormer의 0.441에 대응한다. 정직한 해석은 다음과 같다: 탄성 깊이 훈련은 동일 FLOPs의 밀집 모델과 본질적으로 같은 품질에서 큰 속도 이점을 얻는다 — 품질을 얻지는 않는다. 이 설계 자체의 한계는 논문에서도 인정되듯, 결정이 $h^{(0)}$로부터 한 번 이루어지며 문맥이 읽힌 후에는 수정될 수 없다는 점이다.

토큰당, 오류 탐지 후. Think-at-Hard [64]는 통상적 순서를 뒤집는다: 첫 패스를 실행하고, 어떤 토큰이 틀렸을 가능성이 높은지 예측한 뒤, 오직 그 토큰들만 재방문하며, (토큰, 깊이)에 대한 duo-causal 어텐션과 $d>1$에서만 활성화되는 깊이 인식 LoRA를 사용한다. $d_{\max}=2$와 함께 Qwen3-Base 0.6B/1.7B/4B에서 1.7B 구성은 47.5 표준 기준선, "항상 사고"의 39.9, Ouro의 46.9에 대해 평균 51.3을 기록하며, 토큰의 약 7%만이 두 번째 라운드를 받고(AIME25에서는 6%), 토큰당 연산은 약 1.04–1.05×이며, 측정된 시간은 항상-사고의 747.2 s에 대해 301.4 s이다. 논문 자체의 한계는 중요하다: HumanEval++에서 오라클 상한은 40.9에 대해 72.9이므로, 83% 정확도로 보고된 결정기가 병목이며; 또한 이 방법은 과잉 사고 오류에 민감하다.

프로그램당, 실행 전. Program-of-Layers [65]는 건너뛰기/반복 세그먼트의 전체 일정을 사전에 예측하며, 백본을 동결하고 2.1M 파라미터의 스케줄러만 훈련한다. LLaMA-3.2-3B와 함께 DART-Math에서 저자들은 DM-1의 pass@5가 65.2 기준선에 대해 74.5라고 보고한다. 논문의 MCTS 진단 — 건너뛰기-및-루프 일정이 4개 모델 × 5개 난이도 수준 모두에서 최적이라는 것 — 은 일정 공간이 실재한다는 증거로 제시되지만, 우리는 이를 일정에 대한 탐색이 무언가를 찾는다는 증거로 읽으며, 이는 훈련된 스케줄러가 그것을 찾는다는 증거보다 약하다.

탄성, 결정 없이. LoopFormer [66]와 One Model to Loop Them All [66]는 루프 횟수의 연속체에 걸쳐 단일 모델을 훈련함으로써 라우터를 우회한다. 연속 깊이 배칭 [57]은 시스템 측 대응물이다: 서로 다른 깊이에 도달한 토큰들을 배칭하는 것. [58]는 생성 중간에 루프 횟수를 변경하는 것("생각의 변경")을 제안하고, [72, 73, 74]은 초기 반복들을 추측적 디코딩을 위한 드래프트로 전환한다 — 다음 소절이다.

6.5 비용 회수하기: 드래프트로서 그리고 앙상블로서의 루프

루프 모델의 중간 상태들은 무상의 부산물이며, 이를 활용하는 소규모 문헌이 성장해 왔다.

그림 17: 깊이-비동기 자기-추측, 여기서 검증된 접두사의 읽기 깊이와 드래프트 깊이가 분리된다 [74]. 해당 논문에 기술된 메커니즘으로부터 저자가 그린 것; 이 장의 다른 루프 기반 디코더들은 주로 이 단계들을 파이프라인하는 방식에서 다르다.

자기 투기적 디코딩(Self-speculative decoding). 루프의 초기 반복들은 전체 깊이 패스가 검증하는 저비용 예측을 생성한다. LoopSpec [72]은 파이프라인화된 정식화이며(최선의 경우 최대 6.83× 속도 향상, 학습 불필요), WaveFront Decoding [73]은 같은 아이디어를 병렬화한다. 가장 강력한 증거는 [74]로, 검증된 접두부의 초안 깊이(draft depth)와 읽기 깊이(read depth)를 분리하고, 자신의 DAS-Wave 변형이 16개 모델–과제 설정 모두에서 가장 빠르며, 짝지어진 전체 깊이 자기회귀 디코딩 대비 평균 속도 향상이 4.00×–6.96×, GSM8K에서 수용 길이가 15.6–18.1(튜닝된 순차적 자기 투기 방식의 5.2–12.2 대비), 동일 스택 내부 통제가 1.70–3.72×라고 보고한다. 이 논문은 10,000회 재표본추출에 대한 짝지어진 부트스트랩 신뢰구간을 보고하는데, 이는 이 문헌에서 이례적으로 신중한 것이다. 논문이 밝힌 한계는 이 방법이 깊이 인덱스가 붙은 접두부 K/V를 필요로 하며, 상태 이월이 없으면 "성숙한" 읽기가 1× 미만으로 떨어질 수 있다는 것이다. 즉, 속도 향상은 아이디어 자체의 속성이 아니라 루프의 상태 구조의 속성이다.

반복에 걸친 대조 디코딩(Contrastive decoding over iterations). [75]은 루프 모델의 출력 분포를 자신의 이전 루프 분포들과 대조하며, 학습 없이, Ouro-2.6B-Thinking의 AIME 2024 pass@1이 61.88에서 73.33으로, Huginn의 HumanEval이 22.56에서 31.71로 향상되는 한편 루프 횟수를 절반으로 줄이고 순방향 FLOPs를 22.5–48.2% 낮춘다고 보고한다. 이는 단일 논문에서 나온 큰 주장이며, 이 코퍼스 내에서 독립적으로 재현되지 않았다.

병렬 샘플러(Parallel samplers). [69, 70, 71]은 순차적 반복을 궤적 블록들의 병렬 디코딩으로 대체하며, [70]은 순환 깊이 모델의 병렬 샘플링을 확산 언어 모델과 명시적으로 연결하는데, 이는 루프 횟수와 잡음 제거 단계 횟수를 동일한 대상으로 만들기 때문에 이론적으로 셋 중 가장 흥미롭다.

6.6 적응적 추론에 관한 증거의 현황

§6을 정직하게 요약하려면, 긍정적 결과들이 대부분 "적응적 깊이가 더 낮은 평균 비용으로 비슷한 품질에 도달한다"는 형태이지 "적응적 깊이가 비슷한 비용으로 더 나은 품질에 도달한다"는 형태가 아니라고 말해야 한다. 두 번째 종류의 결과, 즉 루프를 불균등하게 배분함으로써 얻는 진정한 품질 향상은 주로 [64](1.7B 모델에서 평균 +3.8점)와 [68](정확도–연산 기울기가 53% 개선, 2.74 대 1.79, 최대 깊이가 커질수록 이득이 증가)에 나타난다. 둘 다 같은 연구 계열에서 나왔으며, 이는 기각할 이유가 아니라 주의할 이유다. 그리고 이 조사가 적응적 탄성 깊이 모델과 동일 FLOPs의 조밀 모델 사이에서 찾은 단 하나의 깨끗한 등연산 비교에서, 적응적 모델의 이점은 품질이 아니라 속도다 [62].

핵심 요점. 적응적 깊이는 요구되는 깊이가 예측 가능하고 충분한 정보로 결정이 내려질 때 작동한다. 첫 번째 패스를 관찰한 후에 토큰별로 결정하는 것 [64]과 전체 프로그램을 미리 결정하는 것 [65]은 모두 이득을 보고하는 반면, 초기 상태로부터 한 번 결정하는 것 [62]과 학습된 게이트에 의존하는 것 [55]은 그렇지 않다. 깊이가 사들이는 것의 대부분은 반복별 정교화가 아니라 블록 간 합성이며 [60], 이는 정확히 스칼라 신뢰도 게이트가 가장 잘 추정하지 못하는 것이다. 적응적 깊이의 상한에 관한 가장 명확한 증거는 합성적이다. 루프 요구량은 필요한 연산의 수에 따라 증가한다 [55]. 그리고 루프의 중간 상태들은 진정으로 유용한 부산물이다. 자기 투기적 디코딩은 코퍼스에서 가장 철저하게 입증된 추론 시점의 성과다 [74].

7. 효율성, 시스템 및 안전성

7.1 FLOPs와 바이트가 어디로 가는가

루프 모델의 비용을 바꾸는 세 가지 회계상의 사실이 있으며, 이들은 쉽게 혼동된다.

• 학습. 역전파되는 모든 반복은 순전파와 역전파 패스를 각각 한 번씩 치르므로, 고정된 $b$에 대해 총 학습 FLOPs는 $T$에 대략 선형으로 비례한다. LoopFormer [63]는 궤적 패밀리 목적함수에 대해 기준선 대비 약 1.5배의 FLOPs와 1.3배의 실제 시간(wall-clock) 오버헤드를 보고한다.
• 프리필. 프롬프트에 대한 $T$회 반복 루프는 공유 블록에 대한 $T$회 패스이며, 프렐류드와 코다는 한 번만 지불된다. MoEUT [7]는 비교 가능한 밀집 모델보다 학습이 약 1.7배 느리다고 보고한다.
• 디코딩 — 가장 중요한 경우. 시퀀스-순환 모델에서 상태는 고정 크기 객체이며 디코딩은 토큰당 $O(1)$이다. 깊이-순환 모델에서는 공유 블록이 $T$회 반복 각각에서 전체 KV 캐시에 어텐션하므로, 토큰당 디코딩 비용은 $T$배로 늘어나고 KV 작업 집합은 $T$회 읽힌다. 이것이 최근 시스템 문헌의 많은 부분이 반복 축 KV를 다루는 이유이다: 공유 메모리 아키텍처 [95], 교차 루프 KV 압축 [116], 깊이 은닉 상태 전달 [24], 하이브리드 잠재 어텐션 [117], 메모리 효율적 루프 트랜스포머 [96], 지연 업데이트 구현 [97].

그림 18: 깊이 루프의 비용이 누적되는 지점과 세 가지 해결책 계열. 저자가 [95, 96, 97, 116, 117]에 기술된 회계와 [72, 73, 74]의 디코딩 기법으로부터 작성.

이 구분은 결과를 어떻게 인용해야 하는지에 중요하다. $T$을 줄임으로써 보고된 속도 향상은 아키텍처가 읽는 대상 자체를 바꾸지 않는 한 디코딩 FLOPs에 적용되며 메모리 트래픽에는 적용되지 않는다.

7.2 이어서 고려할 가치가 있는 시스템 결과

공유 메모리 [95]는 가장 명확한 아키텍처적 효율성 결과이다: 하나의 KV 메모리를 재귀들에 걸쳐 재사용하면 동일 파라미터에서 정확도/메모리 프런티어가 개선되며, 모델 크기가 클수록 그리고 재귀가 깊을수록 이득이 가장 날카롭다.

지연 및 파이프라인 실행 [97, 96]은 모든 반복의 상태를 물질화하지 않음으로써 메모리 트래픽을 줄인다; 양자화 [98]는 학습 후 양자화를 루프 차원으로 확장하는데, 여기서는 오차가 반복에 걸쳐 누적되므로 단일 패스 문제로 다룰 수 없다.

깊이 적응적 배칭 [57]은 탄력적 깊이에 대한 시스템적 해결책이다: 토큰을 반복 횟수별로 묶어 혼합 깊이 작업의 배치도 여전히 밀집 커널로 실행되게 한다.

병렬성 [69]과 병렬 샘플러 [70, 71]는 순차적 반복을 병렬 디코딩과 맞바꾸며, 이는 지연 시간 프로파일을 바꾸지만 총 FLOPs는 바꾸지 않는다.

7.3 안전성: 루프는 모델 자체의 제어 가능성 표면을 바꾼다

그림 19: 서빙 시점의 루프 횟수가 안전 관련 행동에 도달하는 방식. 세 개의 간선은 이 절에서 명명한 세 가지 주장이며, 세 가지 모두 이 설문의 코퍼스 내에서 추상 수준에 있고 어느 것도 확립된 것으로 취급되지 않는다. 저자 작성.

세 가지 발견 모두 근거가 얇지만 모두 같은 방향을 가리킨다.

• 거부는 루프 횟수에 의존한다. 순환 깊이 모델의 거부 행동은 추론 시 실행되는 루프 수에 따라 변한다고 보고된 바 있다. 즉, 안전과 관련된 행동이 서빙 시스템이 동적으로 바꿀 수 있는 연산 손잡이와 결합되어 있다. 코퍼스에는 이 주장이 초록 수준으로만 포함되어 있으며, 우리는 이를 본 설문의 검토 범위 내에서 미검증으로 표시한다.
• 하나의 루프 모델이 많은 판독값을 노출한다. 깊이 전반의 정렬에 관한 연구는 하나의 루프 모델이 고정 깊이 모델보다 더 넓은 판독 공간을 제시한다고 주장하는데, 모든 반복이 판독 후보이기 때문이다. 앞의 항목과 마찬가지로, 이는 본 코퍼스 내에서 초록 수준이다.
• 모니터링 가능성. [109]은 루프 언어 모델의 사고 사슬 모니터링 가능성을 초록 수준에서 분석한다. 이는 중간 계산이 토큰에 없는 모델은 검사하기 더 어렵다는 더 넓은 잠재 추론 우려와 연결된다. 본 코퍼스 내에서 루프 아키텍처에 특정된 증거는 빈약하며, 정직한 진술은 루프 모델의 안전성과 해석 가능성이 매우 적은 직접적 증거만을 가진 식별된 문제라는 것이다.

§9의 기계론적 연구는 이를 부분적으로 완화한다. 깊이 축 판독값(반복에 걸친 로짓 렌즈와 코다 렌즈 [93])은 루프가 무엇을 하는지에 대한 부분적 시야를 실제로 제공한다. 그러나 "부분적으로 검사 가능함"은 "모니터링 가능함"이 아니며, 우리는 기계론적 결과가 안전성 질문에 답한다고 취급하지 않는다.

핵심 요점. 깊이 루프의 비용은 디코드가 지배한다. 모든 반복이 컨텍스트를 다시 읽으므로, 루프 횟수를 줄이면 디코드 FLOPs가 $T$배가 되는 반면 메모리 트래픽은 읽는 대상을 바꿈으로써만 완화된다. 이것이 시스템 문헌이 반복 축 KV에 집중하는 이유이다. 가장 잘 입증된 효율성 결과는 반복 간 공유 메모리 [95]이고, 가장 잘 입증된 지연 시간 결과는 깊이 비동기 자기 추측 [74]이다. 안전성은 본 설문에서 가장 빈약한 장이다. 루프 횟수는 거부 행동을 바꿀 가능성이 있고 판독 공간은 구성상 넓어지지만, 본 코퍼스 내에서 증거는 초록 수준이며 확립된 것으로 취급되어서는 안 된다.

제IV부 — 루프의 이해

8. 이론: 루핑이 계산할 수 있는 것, 그리고 무엇을 일반화하는가

그림 20: 이 장에서 검토하는 네 가지 이론적 갈래와 각 갈래가 확립하는 것. 저자가 [3, 17, 76, 77, 78, 81, 86, 87, 88, 105, 106, 107, 115]에서 작성함.

8.1 시뮬레이션: 루핑은 계산적 보편성을 얻는다

루핑을 지지하는 가장 강력한 이론적 근거는 구성적이다. [76]은 상수 깊이의 루프 트랜스포머가 작은 프로그램 가능 컴퓨터를 시뮬레이션할 수 있음을 보인다: 입력 시퀀스는 명령, 메모리, 스크래치패드를 담은 천공 카드로 읽히고; 하드코딩된 가중치는 단일 명령 집합 컴퓨터(SUBLEQ, 각 명령이 그 자체로 미리 구축된 선형대수 또는 비선형성 블록을 호출할 수 있도록 일반화된 FLEQ)를 구현하며; 반복 인덱스는 프로그램 카운터 역할을 하고; 파라미터는 단계 수와 무관하며 $T$, 정지 조건은 자기 참조적 입력 종료 표식을 통해 구현된다. 논문의 표 1은 구체적인 구성을 제시한다: 9층, 2헤드 루프 트랜스포머는 SUBLEQ를 실행하고; 13층, 1헤드 루프 트랜스포머는 뉴턴 행렬 역산, 거듭제곱 반복, 2층 네트워크 SGD를 $\epsilon$ 이내로 실행한다. 오류 분석은 T단계 누적이 $\epsilon$ 이내에 머물기 위해 판독 스케일이 $\lambda > \log(Gdn^3/\epsilon)$을 만족하고 단계당 오류가 최대 $\epsilon/T$이어야 함을 명시적으로 밝힌다.

이것이 확립하지 않는 것이 무엇인지 밝히는 것이 필수적이며, 저자들 스스로도 그렇게 말한다: 훈련 실험은 없으며, 그 구성은 실제 언어 모델이 훈련되는 방식과 "유사점이 전혀 없다". 그 결과는 정확한 가중치 하에서의 표현 용량에 관한 진술이지, 학습 가능성에 관한 진술이 아니다. [87]는 동일한 방식의 구성을 그래프 알고리즘—경계된 메모리 내에서 그래프 특화 어텐션 헤드를 갖춘 루프 트랜스포머에 의해 시뮬레이션되는 BFS, DFS 및 최단 경로—으로 확장한다.

8.2 깊이 일반화: 가장 실무적으로 관련성 높은 이론

가장 명확한 실증적 함의를 지니는 이론적 결과는 훈련에서 본 것보다 더 긴 입력으로의 일반화에 관한 것이다. [77]는 다음과 같은 형태의 순환을 정의한다

$$P = P_{\text{pre}} \circ (P')^{T(n)} \circ P_{\text{post}},$$

다음 토큰 예측을 전체 출력 예측으로 대체하고, 위치 인코딩이 없고 입력 주입을 사용하는 디코더 전용 아키텍처를 사용하며, 단계 의존적 감독(토큰 $i$는 오직 반복 $t = T_i$에서만 감독된다)을 추가한다. 훈련 길이가 최대 20(곱셈의 경우 12)인 여섯 개의 합성 과제와 다섯 개의 시드에서, 그들은 최대 20비트까지 학습된 패리티가 40을 넘어 일반화됨을 보고하며, 덧셈과 복사는 표준 다음 토큰 예측이 "최대 훈련 길이 + 10"에서 실패하는 지점에서도 거의 완벽하게 유지된다. 추론은 오라클 $T(n)$ 또는 최대 신뢰도 기준 중 하나를 사용한다. 한계는 논문에 명시되어 있으며 심각하다: 그 구성은 단일 루프 세그먼트만 지원하고, 훈련 시점에 정답 단계 수를 필요로 하며, 훈련 연산량이 단계 수에 따라 증가한다. 코드는 공개되어 있다.

이 결과는 세 가지 후속 연구와 함께 읽어야 한다. [79]는 훈련 지평을 넘어선 루프 트랜스포머에서의 길이 일반화의 메커니즘과 한계를 분석하고; [80]는 깊이 외삽을 직접 연구하여 연산 예산이 주어졌을 때 어느 훈련 깊이가 최적인지를 묻고 테스트 깊이 창에 대한 모집단 최적값을 보고하며; [82]는 순환 깊이 모델에서의 암묵적 추론을 깊이 일반화와 연결한다. 이들은 함께 코퍼스에서 가장 일관된 이론적 흐름을 형성하며—그리고 가장 명확한 단서를 지닌 흐름인데, 그것은 이 모든 것이 통제 가능한 정답 단계 수를 지닌 합성 과제에서 측정된다는 점이다.

부정적인 색채를 띠는 관련 결과 하나를 기록할 가치가 있다: [88]는 트랜스포머가 시퀀스 길이가 요구하는 것보다 적은 층에서 부분 계산들을 합성함으로써 오토마타의 계산을 지름길로 처리할 수 있음을 보여주며, 이는 "유효 깊이"가 계산 작업의 단조적 척도가 아님을 보여준다. 추가 반복이 추가적인 직렬 계산을 얻는다는 어떤 주장이든, 모델이 그것들을 직렬로 사용할 의무가 없다는 사실과 맞서야 한다.

8.3 대안적 연산 할당으로서의 루프, 깊이, 사고의 연쇄

두 번째 이론적 흐름은 루프 계산이 그것이 경쟁하는 대안들—더 많은 층, 또는 더 많은 사고의 연쇄 토큰—과 어떻게 비교되는지를 묻는다.

"순환을 잠재적 CoT로 본다"는 논지를 가장 직접적으로 진술한 논문은 [3]으로, 이 논문은 잠재적 사고라는 관점에서 순환 트랜스포머의 힘을 연구한다 — 주어진 문제에 암묵적 추론 단계가 얼마나 필요한지 — 그리고 유효 깊이와 문제 클래스 사이의 스케일링 관계를 정량화한다. 이 논문이 "순환을 잠재적 CoT로 본다"는 논지를 가장 직접적으로 진술한다. [86]은 사고의 연쇄와 순환을 형식적으로 비교하며, 어느 쪽이 어느 쪽을 표현할 수 있는지 묻는다. [83, 84, 85]는 순환 트랜스포머가 문맥 내에서 무엇을 학습할 수 있는지 분석하여, 순환 트랜스포머가 문맥 내 예시들에 대한 다단계 경사 하강법을 구현할 수 있음을 보이고, 순환이 고정 깊이 모델이 가지는 지수적 샘플 복잡도 의존성을 제거함을 보이며, [85]은 이를 과제 다양성과 연관 짓는다.

실증적 대응물은 [78]이다: 하나의 블록, 30회 배치 단계, 15회 반복을 가진 순환 모델이 문맥 내 선형 회귀에서 12분의 1의 파라미터로 12층 표준 트랜스포머와 동등하고, 더 높은 복잡도의 함수 클래스에서도 이에 필적하며, 희소 선형 회귀에서는 이를 능가한다 — 10개의 OpenML 데이터셋 중 9개에서 Lasso조차 능가한다. 이 논문의 한계는 솔직하게 밝혀져 있다: 정확한 고정점 반복과 비교할 때 오차 하한이 존재하고; $T > 20$이 불안정해지며; 동일 추론 연산량 비교가 없고, 약 20회의 순환이 8개 층에 맞먹는 데 필요했다. 우리의 추론은 이 논문이 반복적 정제가 반복적 알고리즘을 구현하는 효율적인 방법이라는 증거로 읽는 것이 가장 좋으며, 동일 연산량에서 순환이 깊이를 지배한다는 증거로 읽어서는 안 된다는 것이다.

그림 21: [3]에서 비교한 네 가지 순환 구성: k개 층의 등파라미터 기준선, k개 층이 L회 반복 동안 재사용되는 순환 모델, kL개의 서로 다른 층으로 이루어진 등FLOP 기준선, 그리고 중간 순환. 그림은 [3]에서 재현함.

8.4 동역학계 분석

마지막 클러스터는 순환을 동역학계로 취급하고 그 정성적 행동에 대해 묻는다. [105]은 재귀가 언제 "알고리즘이 되는가"를 물으며, 이를 가중치 공유 순환 트랜스포머에서의 수렴 선택으로 틀 짓는다. [106]는 야코비안 분석을 적용하여 해석 가능한 전역 작업 공간 구조가 재귀 이후에도 유지되는지 묻는다. [107]은 동역학적 위상 선택이 순환 트랜스포머의 연산 스케일링을 제어한다고 규명한다. [115]은 유한한 수의 단계가 올바른 방향으로 움직이면서도 여전히 잘못된 곳에 도달할 수 있는 이유에 대한 기하학적 분석을 제시한다. 이들은 최근의, 그리고 대체로 단일 논문의 결과들이지만, 실무자들이 관심을 갖는 질문 — 왜 마지막 반복은 도움이 되기를 멈추는가 — 를 가장 직접적으로 겨냥한 이론적 작업이며, §9의 메커니즘적 발견에 대한 올바른 틀이다.

8.5 이론이 확립하지 못하는 것

세 가지 격차는 분명히 진술되어야 한다. 왜냐하면 구성적 결과들이 마치 그것들을 메웠던 것처럼 자주 인용되기 때문이다.

• 학습 가능성. 시뮬레이션 결과 [76, 87]는 가중치를 수동으로 설정한 존재 증명이다. 이 코퍼스의 어떤 결과도 실제 목적함수에 대한 경사하강법이 시뮬레이션하는 구성을 찾아낸다는 것을 보여주지 않는다.
• 타이트함. 사고의 연쇄 대 순환 비교 [3, 86]는 표현력 관계를 확립할 뿐, 현실적 규모에서의 효율성 동등성을 확립하지 않는다; 실증적 연결 [78]는 소규모이며 연산량이 일치되지 않았다.
• 구성과 판독. [81]는 유니버설 트랜스포머가 극히 작은 설정에서 회로 계산에 대해 완벽한 길이 일반화를 달성함을 보여주며, [60]는 훈련된 모델에서 깊이 효과의 대부분이 블록 간 구성임을 보여준다. 이 코퍼스에는 훈련된 대규모 모델의 깊이 효과 중 얼마만큼이 구성, 정련 또는 잡음인지 예측하는 이론이 없다.

핵심 요점. 순환의 가장 강력한 이론적 주장은 일정한 깊이에서의 구성적 보편성 [76, 87]이지만 — 가중치를 수동으로 설정했으며 그 뒤에 학습 가능성 결과가 없다. 가장 실질적으로 중요한 이론은 단계 의존적 감독 하의 깊이/길이 일반화 [77]이며, 이는 합성 과제에서 잘 입증되었고 정답 단계 수를 요구하는 단일 루프 구간으로 제한된다. 순환을 사고의 연쇄와 비교하고 추가 층과 비교하면 표현력 관계 [3, 86]와 연산량이 일치되지 않은 소규모 실증적 연결 [78]이 나온다. 트랜스포머는 직렬 계산을 지름길로 처리할 수 있으므로 [88], 유효 깊이는 작업량의 단조로운 척도가 아니다 — 이는 "더 많은 루프는 더 많은 추론을 의미한다"는 모든 주장이 받아들여야 하는 사실이다.

9. 루프의 기계적 해석가능성

그림 22: 루프에 대한 세 가지 기계적 증거 계열과, 그것들 모두를 제약하는 유의점. 저자가 [89, 90, 92, 93, 94, 108, 110, 112, 114]에서 작성.

9.1 서로 다른 반복이 서로 다른 일을 하는가?

가장 기본적인 기계적 질문은 훈련된 루프의 반복들이 기능적으로 분화되어 있는지, 아니면 거의 동일한 정련인지이다. 증거는 전자라고 말하지만, 중요한 단서가 붙는다.

한 연구 [89]는 각 루프가 어떤 계산을 수행하는지를 조사하며, 공유 가중치가 서로 다른 반복에서 서로 다른 하위 계산을 선택하는지를 묻는다. 그들의 방법은 유난히 직접적이다: 그들은 학습된 선형 층을 사용하여 다음 반복으로 들어가는 상태를 재작성할 수 있음을 보여주고, 통제된 실행의 어텐션 패턴을 통제되지 않은 실행에 패칭하면 모델의 예측 대상이 바뀐다는 것을 보여준다 — 이는 특정 반복이 일반적인 정련이 아니라 특정 계산을 담당한다는 증거이다.

보완적인 질문 — 무엇이 재귀를 효과적이게 하는가 — 는 [91]가 제기하며, 이는 조건화가 두 수준에서 중요함을 발견한다: 조건화되지 않은 기본 루프, 그리고 그 조건화(결합된 단계/매개변수 신호)가 반복별 정보를 제공하는 핵심 루프이다. 이는 §4.2의 단계 조건화 축에 대한 기계적 대응물이며, 기계적 발견과 아키텍처 설계 조언이 일치하는 몇 안 되는 지점 중 하나이다.

두 가지 추가 결과가 그림을 더 정교하게 만든다. [34]은 적응형 루프를 메모리와 짝지음으로써 "더 세게 사고하기"와 "더 많이 알기"를 분리하고, 두 경로가 대체재가 아니라고 보고하는데, 이는 추가 반복이 그 결과를 둘 곳이 필요하다는 §4.3의 해석을 뒷받침한다. [104]은 계층적 추론 모델을 기계론적으로 해부하고, [111]은 TRM의 잠재 추론이 정책 개선 연산자(policy-improvement operator)로 가장 잘 이해된다고 주장한다 — 이는 루프를 일련의 추론 단계가 아니라 최적화 절차로 재해석하는 주장이다.

그림 23: 두 번째 층의 어텐션 패턴을 패칭하면 예측 대상이 양방향으로 전환된다: 두 홉 행동에서 한 홉 답변으로 (a), 그리고 다시 (b)로, 이는 한 홉 및 두 홉 응답에 대한 답변율로 측정된다. 그림은 [89]에서 재현함.

9.2 궤적 읽기: 렌즈 방법

두 번째 계열은 반복 인덱스를 읽을 수 있는 축으로 취급하고, 정보가 언제, 어떤 순서로 이용 가능해지는지를 묻는다.

디코딩 연구 [93]은 각 반복의 블록 출력에 로짓 렌즈와 코다 렌즈를 적용하고, top-1 예측의 순위가 단조롭게 수렴하지 않고 반복에 걸쳐 진동한다고 보고한다 — 이는 "각 루프가 하나의 추론 단계"라는 해석에 반하는 직접적 증거다. [90]는 단계별 데이터 귀속(step-resolved data attribution)을 도입하여 어떤 훈련 예제가 계산의 어느 반복에 영향을 미치는지를 묻고, 패리티 문제에서는 답변 토큰의 은닉 상태가 PCA 공간에서 네 상태의 극한 순환(four-state limit cycle)을 그린다고 보고하며, 스도쿠에서는 난이도별로 층화된 루프 수 대비 테스트 시점 정확도를, GSM8K에서는 반복의 함수로서 단계별 영향의 누적 점유율을 여러 분석 지평에서 전체 역전파로 재계산하여 보고한다 $\tau$. 기하학적 영향 성장 곡선은 "어느 반복이 중요한가"라는 질문에 대해 이 문헌에서 가장 예리한 도구다.

그림 24: 블록 번호의 함수로서 최종 예측 토큰의 평균 순위를 [93]에서 로짓 렌즈(왼쪽)와 코다 렌즈(오른쪽)로 판독한 것. 순위는 단조롭게 하강하지 않고 진동하는데, 저자들은 이를 각 블록을 하나의 추론 단계로 취급하는 것에 반하는 증거로 읽는다. 그림은 [93]에서 재현함.

메커니즘 주장이라기보다는 모니터링 도구 모음을 [94]이 제시하는데, 이는 루프형 LM의 잠재 추론을 모니터링하기 위한 다섯 가지 렌즈 — 은닉 상태 궤적과 어텐션 초점, 답변 토큰이 확정되는 시점, 그리고 진입 상태에 노이즈를 주입했을 때 답변이 어떻게 변하는지 — 를 제안하며, 이는 메커니즘 주장이라기보다 운영적 모니터링 도구 모음에 더 가깝다. [92]은 깊이에 걸쳐 어텐션 행렬 노름을 측정하고 각 재귀 내에서 "추론의 단계들"을 추출하며, 열 합 집중도가 128회 재귀까지 안정적이라고 보고한다. [110]은 잠재 추론이 깊이 일반화의 기저가 되는 순환적 탐색 알고리즘을 발견한다고 주장하며, 메커니즘 서사를 §8.2로 다시 연결한다.

9.3 동역학적 해석: 순환, 유역, 규모

최근의 메커니즘 연구는 이 루프를 동역학계로 읽는다. [112]는 잠재 추론이 프랙탈 분지(fractal basin)에 갇힐 수 있다고 보고한다. 즉, 반복 사상의 분지 구조에는 결과가 극도로 민감하게 달라지는 미세한 경계가 존재한다는 것이다. 이는 실질적인 함의를 지닌 중요한 주장이다. 분지 경계가 프랙탈이라면, 경계 근처에서 "얼마나 많은 루프를 도는가"는 매끄러운 조절 손잡이가 아니다. [113]는 안정화 대안으로 불변 측도 표현(invariant-measure representation)을 제안하며, [114]과 [52]는 두 시간 규모(two-timescale) 및 빠름–느림(fast–slow) 잠재 동역학을 연구하는데, 이는 일부 정보는 반복에 걸쳐 지속되어야 하고 다른 정보는 갱신되어야 한다는 아키텍처적 관찰의 메커니즘적 버전이다.

9.4 메커니즘적 증거가 결론짓지 못하는 것

학문적 요점은 [108]에서 직접적으로 제시된다. 잠재 추론 모델에서 관찰 가능한 패턴은 설명이 아니며, 패턴을 해석하기 위해서는 인과-기하학적 분석이 필요하다는 것이다. 이 장을 마무리하기에 적절한 지점인데, 루프 트랜스포머 메커니즘 문헌에는 구조적 유혹이 있기 때문이다. 즉, 반복 축은 마치 단계 카운터처럼 보이므로, 반복에 따라 상승하는 곡선은 "모델이 한 단계 더 수행하고 있다"는 해석을 불러일으킨다. 위의 결과들은 반복에 따라 무엇이 변하는지에 관해 진정으로 유익하지만, 모델이 계산하고 있는 것에 관한 증거로는 훨씬 약하며, 가장 강력한 단일 반례는 예측 순위가 수렴하지 않고 진동한다는 [93]의 발견이다.

이 코퍼스 내에서 우리는 수십억 파라미터 규모의 루프 언어 모델에 대한 메커니즘 연구로서 그 핵심 결과를 재현한 것을 발견하지 못했다. 메커니즘 문헌은 현재 소규모의 단일 연구실 분야이며, 그 결론은 그에 상응하여 가중되어야 한다.

핵심 요점. 훈련된 루프의 반복은 기능적으로 분화되어 있으며, [89]는 상태 및 어텐션 패칭을 통해 행동을 전환함으로써 이에 대한 상관관계적 증거가 아닌 인과적 증거를 제공한다. 그럼에도 반복에서 "추론 단계"로의 사상은 깨져 있다. 예측 순위는 반복에 걸쳐 수렴하지 않고 진동하며 [93], "어떤 반복이 중요한가"라는 질문에 가장 유용한 도구는 단조 수렴 곡선이 아니라 단계별 귀인(step-resolved attribution)과 기하학적 영향력 성장(geometric-influence growth) [90]이다. 극한 사이클, 프랙탈 분지, 두 시간 규모 구조 [52, 112, 114]와 같은 동역학적 해석은 현재 가장 유망한 틀이며, 관찰 가능한 패턴은 설명이 아니라는 [108]의 경고는 이 하위 분야에 완전히 적용된다.

제5부 — 텍스트를 넘어, 증거, 그리고 전망

10. 언어 모델링 밖의 루프

깊이 축은 언어에 국한되지 않으며, 루핑에 대한 가장 명확한 증거 중 일부는 "더 많은 반복"이 명확한 의미를 갖는 영역에서 나온다. 이 장은 의도적으로 짧다. 응용 사례는 대부분 초기 단계이고 규모가 작으며, 그 목적은 제2부의 설계 선택 중 어느 것이 전이 후에도 살아남는지를 보여주는 것이다.

10.1 비전

비전은 가장 큰 비텍스트 군집이며, 범위 축을 따라 깔끔하게 분할된다.

완전 및 국소화된 루프. LoopViT [119]는 루프형 트랜스포머를 시각적 ARC 스타일 추론에 적용하며, LoopVL [120]은 대규모에서 순환적 시각 지능을 정립하고, reViT [99]는 깊이 프로그래밍된 전문가와 함께 단일 순환 블록을 사용하는데 — 이는 §4.2의 루프별 어댑터 및 루프별 전문가에 대한 자연스러운 시각적 유사물이다 — 그리고 하나의 블록에서 여러 깊이에 걸친 결과를 보고한다. RD-ViT [121]는 2단계 순환 깊이 패턴을 의미론적 분할로 확장하고 데이터 의존성이 감소했음을 보고하는데, 이는 §1.2의 아키텍처적 주장을 밀집 예측 설정으로 옮긴 것이다.

효율 지향 루프. [122]는 인식을 위한 비전 트랜스포머에서의 단일 블록 순환을 연구하고, MergeOver [123]는 학습 후 토큰을 병합하여 이후 순환이 더 적은 토큰을 처리하도록 하는데 — 이는 이미지가 토큰에는 없는 공간적 중복 구조를 가지기 때문에 텍스트 유사물이 없는 추론 시점의 절감이다 — GramLoop [125]는 견고한 밀집 예측을 위해 학습 없는 그램 게이트 리플레이를 사용하며, LoopVAE [124]는 시각적 토크나이저에 규모 전반의 순환 깊이를 도입한다.

시각 결과는 한 가지 방법론적 이유로 중요하다: 입력이 고정되어 있고 루프가 공간 축 다음에 깊이 축을 따라 이루어지기 때문에, 토큰 수를 바꾸지 않고 테스트 시점에 반복 횟수를 변화시킬 수 있으며, 이는 더 깊은 ViT에 대한 등-연산 비교를 유난히 쉽게 만든다. 이 군집의 논문들은 언어 논문들보다 그러한 비교를 더 자주 보고하며, 그 결론은 그에 상응하게 매개변수 매칭에 덜 의존한다.

10.2 생성 모델링: 확산, 플로우 및 이산 디노이징

확산 및 플로우 모델은 루프 횟수가 본질적으로 의미를 갖는 영역인데, 디노이저를 반복하는 것이 바로 그 모델의 목적이기 때문이다. [35]은 루프형 트랜스포머를 확산 백본으로 적용하고, LiFT [36]는 플로우 매칭에 이를 적용하며, [37]과 [38]은 토큰 위치에 대한 이산/마스크된 확산에 같은 아이디어를 취하고, [39]는 반복 횟수를 적응적으로 만든다. CoFRe [40]은 이론적으로 가장 명시적인데: 마스크된 생성이 고정점 반복으로 정식화되며, 재사용 및 일관성 정규화기가 단일 단계를 전체 궤적에 연결한다.

이 군집이 나머지 서베이에 갖는 가치는 깊이 축에 대한 정답에 가장 가까운 것을 제공한다는 점이다. 디노이징 모델에서 반복 횟수와 출력 분포 사이의 관계는 생성 과정에 의해 정의되지만, 언어 루프에서는 그렇지 않다. 따라서 "마지막 반복들은 도움이 되기를 멈춘다"와 같은 진술은 §6에서는 그럴 수 없는 방식으로 여기서는 검증 가능하다.

10.3 강화 학습 및 제어

FlexLoop [100]는 심층 RL에서 적응적 테스트 시점 연산을 위한 깊이 탄력적 루프형 정책을 도입하는데, 이는 §6.4의 추론 시점 깊이 정책이 토큰 스트림이 아닌 에이전트에 적용된 가장 깔끔한 사례이다. 흥미로운 구조적 요점은 RL에서 추가 반복의 비용이 서빙 예산의 타협이 아니라 목적 함수의 일부이므로, 깊이 정책이 나중에 덧붙여지는 것이 아니라 학습된다는 것이다.

10.4 전이가 작동하는 이유 — 그리고 작동하지 않는 곳

두 가지 설계 선택이 네 영역 모두에서 깔끔하게 전이된다: 반복별 조건화를 갖는 공유 가중치(§4.2)와 탄력적 루프 횟수(§4.4)이다. 한 가지는 잘 전이되지 않는다: 학습된 정지(§6.2)인데, 이는 시각 및 생성 군집에서 주로 런타임 제어기가 아니라 학습 시점 정규화기로 나타난다.

우리의 해석은 — 추론으로서 진술하자면 — 성공적인 전이란 정확히 루프의 반복이 외부에서 정의된 의미(노이즈 제거 단계, 정제 스케일, 공간 해상도)를 갖는 경우이며, 실패한 전이는 모델이 반복의 의미를 발명해야 하는 경우라는 것이다. 이는 훈련된 루프가 반복을 추론 단계와 자연스럽게 정렬하지 못한다는 것을 발견한 §8.3 및 §9.2와 일치한다.

핵심 요점. 루프는 비전, 확산/플로우, 이산 노이즈 제거, 그리고 RL로 전이되며, 작동하는 전이는 반복이 외부에서 정의된 의미를 갖는 경우이다. 비전은 이 설문의 핵심 관심사에서 방법론적으로 언어 모델링보다 앞서 있는데, 고정된 입력 크기 덕분에 더 깊은 ViT와의 등-연산 비교가 용이하고 그러한 비교가 더 자주 보고되기 때문이다. 학습된 정지(learned halting)는 전이가 잘 되지 않는 유일한 설계 선택이다.

11. 증거가 실제로 뒷받침하는 것

그림 25: "루프 대 밀집" 주장을 읽는 절차: 일치시킨 양을 먼저 식별하라. 답이 그것에 따라 달라지기 때문이다. 저자가 표 5에 정리되고 이 장에서 논의된 비교들로부터 작성하였다.

11.1 비교 문제

이 문헌을 읽는 데 있어 단일 최대 장애물은 "루프 대 밀집" 비교가 다섯 가지 종류의 일치에서 수행되며, 서로 다른 답을 준다는 점이다.

표 5: "루프 대 밀집" 비교에 사용되는 다섯 가지 일치 종류와 각각이 일반적으로 산출하는 발견. 포함 규칙: 이 표는 이 장에서 논의된 비교들을 동일하게 유지된 양에 따라 분류하며, 자체적인 측정값은 보고하지 않는다.

다섯 번째 행은 상당한 양의 겉보기 불일치를 설명해 주기 때문에 언급할 가치가 있다. 유효 깊이 24의 루프 모델을 밀집 12층 모델과 비교하는 것은 깊이 일치 비교가 아니며, 그 결과는 루핑이 깊이를 잘 활용하는지에 관해 아무것도 말해주지 않는다. "루프가 밀집을 능가한다"고 보고하는 연구들은 흔히 이것을 의미하며, "루프가 뒤처진다"고 보고하는 연구들은 흔히 등-FLOP을 의미한다.

11.2 구체적 수치, 주의 깊게 읽기

이 문헌에 관한 논의에서 네 가지 논문 간 비교가 반복적으로 등장한다. 각각은 아래에 논문이 보고하는 형태로 진술되며, 그 뒤에 우리가 생각하기에 그것이 무엇을 확립하고 무엇을 확립하지 않는지가 이어진다.

휘긴의 쌍둥이 통제 [1]. 이 논문은 그 외의 조건이 동일한 상황에서 순환 모델과 비순환 모델을 훈련시키고, 0.18T 토큰에서 순환 깊이 모델이 사고의 연쇄를 사용해 GSM8K에서 9.02에 도달한 반면 비순환 통제 모델은 1.82에 그쳤다고 보고한다. 이것은 파레토 최적성 논증이다. 즉, 동일한 데이터와 토큰당 동일한 순전파 FLOPs를 가진 비순환 모델이 더 많은 훈련으로 같은 품질에 도달한다면, 순환은 오버헤드라는 것이다. 이 논문의 증거는 자신의 예산 내에서는 그렇게 되지 않는다는 것이다. 이 논문이 확립하지 못하는 것은 순환 모델이 더 큰 예산에서도 효율적이라는 점이며, 통제 실험은 단일한 한 쌍의 실행이다.

Closing the Loop의 등-FLOP 비교 [50]. 1.4B 루프 모델이 일치된 추론 FLOPs에서 3.9B 밀집 모델과 비교되며, 수학에서는 동등한 수준이지만 지식 및 상식 과제에서는 2–9점 뒤진다고 보고된다. 이것은 한 부류의 과제에서 불리하다는 바로 그 이유 때문에, 그리고 메커니즘을 시사하기 때문에 코퍼스에서 가장 정보량이 많은 단일 비교이다. 즉, 루핑은 과제가 절차적일 때 도움이 되고 답을 매개변수에서 검색해야 할 때 해가 된다. 그 해석은 우리의 것이다. 논문은 과제별 격차를 보고한다.

Looping Beyond Twice의 두 곡선 [33]. 등-FLOP 예산에서는 최적점이 약 5회 루프 근처에 있고, 고정된(비등-FLOP) 예산에서는 성능이 9회까지 계속 향상된다. 이것은 "손실이 몇 회의 루프에서 개선되는가"와 "몇 회의 루프가 그 FLOPs만큼의 가치가 있는가"가 서로 다른 질문이라는 점을 보여주는 가장 깔끔한 가용 실증이다.

Shared Memory의 대응 비교 [95]. 이 비교는 다른 루프 설계들과 매개변수를 맞춘 것이지, 디코드 FLOPs를 맞춘 밀집 모델과의 비교가 아니며, 논문 자체의 효율성 주장은 루프 아키텍처 내부의 정확도/메모리 프런티어에 관한 것이다. 이 논문은 일반적으로 루핑의 효율성에 관한 증거로 상습적으로 인용되는데, 그것은 이 설계가 뒷받침하는 것보다 더 강한 주장이다.

동일 FLOPs에서 탄성 깊이 대 밀집 모델 [62]. 24× FLOPs에서 T-LoopFormer의 퍼플렉서티와 정확도는 비순환 24층 모델과 통계적으로 구별되지 않으며, 디코드 속도는 2.24× 우위를 가진다. FLOP을 맞춘 훈련에서는 탄성 훈련의 이점이 사라진다는 [63]의 발견과 함께 읽으면, 이것은 좁지만 중요한 결과이다. 즉, 탄성 깊이의 현재 가치는 품질이 아니라 처리량이다.

11.3 논문 간에 수치를 비교하기 어려운 이유

대응 방식의 선택 외에도, 네 가지 추가 문제가 논문 간 산술을 안전하지 않게 만든다.

• 유효 깊이는 연산량이 아니다. [88]의 단축 결과는 동일한 명목 깊이를 가진 두 아키텍처가 서로 다른 양의 직렬 작업을 수행할 수 있음을 의미한다.
• 디코드 비용은 루프 횟수가 아니라 KV 방식에 달려 있다. 공유 KV 메모리를 사용하는 16회 반복 루프 [95]와 매 반복마다 전체 캐시를 다시 읽는 16회 반복 루프는 순진한 계산에서 동일한 명목 FLOPs를 가지지만 실제 실행 시간, 메모리 및 수용도는 매우 다르다.
• 아키텍처 변형들은 공통 프로토콜 아래에서 측정되지 않는다. [13]는 층이 위치에 따라 무엇을 읽는지 바꾸고, [16]은 고정된 파라미터에서 계층적 반복과 평면 반복을 비교하며, [67]과 같은 토큰별 깊이 정책은 토큰의 비용이 무엇을 의미하는지 자체를 바꾼다. 이것들을 서로 비교 가능하게 만드는 벤치마크는 없다.
• 규모가 일관되지 않다. 안정성에 관한 발견은 소형 모델(§5.6)에서, 품질에 관한 발견은 중형 모델에서, 서빙에 관한 발견은 저자들이 보유한 임의의 체크포인트에서 나온다. 이 셋이 동일한 모델인 경우는 드물다.

11.4 우리가 확립된 것으로 보는 것과 그렇지 않은 것

우리는 결론을 세 등급으로 구분한다.

이 코퍼스 내에서 확립됨(다수의 독립 연구, 일관된 결과). 가중치를 공유하는 재귀는 규모에서 학습 가능하지만, 명시적인 안정화 개입이 있을 때만 가능하다 [7, 41, 42, 43, 44, 61]. 소수의 반복을 넘어선 추가 반복은 그 결과를 받아들일 명시적인 반복 간 상태나 메모리가 있을 때 주로 도움이 된다 [20, 21, 95]. 루프는 실제이지만 완만한 품질 이득과 더 큰 처리량 이득을 가진 토큰별 연산 노브로 전환될 수 있다 [62, 63, 64, 66]. 루프의 중간 상태는 추측적 초안으로 사용 가능하며, 깊이 비동기 자기 추측은 코퍼스 내에서 가장 잘 입증된 추론 시점 이득이다 [74].

지지되지만 근거가 얇음(논문 한두 편, 또는 하나의 연구 계열). 적응적 깊이가 단지 비용 절감만이 아니라 동일 비용에서 진정한 품질 이득을 낳는다는 것 [64, 68]. 반복에 걸친 대조 디코딩이 크고 무료인 개선이라는 것 [75]. 깊이 효과의 대부분이 정교화가 아닌 블록 간 구성이라는 것 [60]. 재귀적 추론자에게 계층적 구조가 불필요하다는 것 [61]. 네 가지 모두 흥미롭고 네 가지 모두 독립적 재현이 필요하다.

확립되지 않음. [102, 103]이 학습에 대해 제공하는 것에 비견되는 루프 모델의 추론 시점 스케일링 법칙, §11.2의 파라미터 일치 이점이 동일한 디코드 비용에서도 유지되는지, 루프가 절차가 아닌 검색을 요구하는 과제에 도움이 되는지 [50], 그리고 소규모 합성 연구에서 관찰된 적응성 동작이 실무자들이 실제로 서빙하는 모델에서도 지속되는지.

핵심 요점. "루프가 밀집 모델을 능가한다"는 것은 충분히 명시되지 않았다. 그 결과는 파라미터, 학습 FLOPs, 추론 FLOPs, 디코드 비용 또는 유효 깊이 중 무엇을 동일하게 유지하는지에 달려 있으며, 논문들은 어느 것인지 밝히는 경우가 드물다. 가장 유익한 비교는 특정한 방식으로 불리한 비교들이다 — 지식 결핍이 있는 수학에서의 등-FLOP 동등성 [50], 그리고 처리량 이점이 있는 탄력적 깊이의 품질 동등성 [62]. 유효 깊이가 연산량이 아니고, 디코드 비용이 KV 방식에 달려 있으며, 각 계열이 자체 프로토콜로 측정되기 때문에 논문 간 산술은 안전하지 않다.

12. 미해결 문제

위에서 검토한 연구들은 잘 정식화되고 중요하며 현재 답이 없는 문제들의 목록을 시사한다. 이들은 우리가 판단하기에 그 영향력 순으로 정렬되어 있다.

12.1 루핑을 위한 연산 일치 벤치마크

이 설문조사에서 가장 자주 반복되는 불만은 해당 분야가 호환되지 않는 매치에서 비교를 수행한다는 점이다(§11.1). 부족한 것은 더 많은 비교가 아니라 프로토콜이다. 즉, 고정된 벤치마크, 고정된 데이터 예산, 그리고 "동등함"이 무엇을 의미하는지에 대한 규칙을 모든 루프 논문에 대해 보고하는 것이다. 비전 클러스터는 입력 크기가 고정될 때 이것이 실행 가능함을 보여준다(§10.1). 언어 사례는 디코드 비용이 KV 방식에 의존하기 때문에 더 어렵지만, 그것은 KV 방식을 보고해야 한다는 논거이지 비교를 포기해야 한다는 논거는 아니다.

12.2 추론 시점 스케일링 법칙

루핑에 대한 훈련 측 스케일링 법칙은 이제 존재하며[102, 103], 해당 분야에서 가장 직접적으로 유용한 스케일링 결과이다. 이는 하나의 재귀가 얼마만큼의 가치가 있는지, 그리고 최적 재귀 횟수가 FLOP 예산에 따라 어떻게 움직이는지를 말해준다. 추론에 대응하는 것은 없다. 이 코퍼스에는 훈련된 루프 모델에 대해 품질이나 비용이 반복의 스케줄링—토큰당, 배치당, 생성 단계당—에 따라 어떻게 변하는지 예측하는 결과가 없다. §6이 해당 분야에서 가장 활발한 영역임을 고려하면, 이것이 가장 큰 이론적 격차이다.

12.3 루핑이 검색에 도움이 되는가, 아니면 절차에만 도움이 되는가?

코퍼스에서 가장 구체적인 실증적 발견은 Closing the Loop의 과제별 격차이다[50]. 수학에서는 iso-FLOP 동등성을 보이지만, 지식과 상식에서는 2–9점의 적자를 보인다. 그 패턴이 재현된다면, 루프 모델의 올바른 사용은 "밀집 모델 대신"이 아니라 "절차적인 추론의 부분집합에 대해"이며, 이는 아키텍처가 배포되는 방식을 바꿀 것이다. 우리는 이것을 이 설문조사에서 단일하게 가장 가치 있는 재현 대상으로 본다.

메커니즘에 대한 우리의 해석—하나의 추론이지 결과는 아님—은 루핑이 직렬 계산을 추가한다는 것이다. 이는 절차적 과제가 필요로 하는 것이다. 그리고 검색 가능한 파라미터를 추가하지 않는다. 이는 지식 과제가 필요로 하는 것이다. 그 해석이 맞다면, 루프드 전문가 혼합(§4.5)이 그 격차를 메워야 하며, 루프드 MoE와 밀집 모델의 iso-FLOP 비교는 [50]보다 더 작은 지식 적자를 보여야 한다. [101]이 현존하는 가장 가까운 검증이다.

12.4 무엇이 반복을 의미 있게 만드는가?

메커니즘적 증거는 훈련된 루프의 반복들이 기능적으로 분화되어 있다고 말하지만[89], 그것들이 추론 단계에 대응한다는 것은 신뢰할 수 없다[93]. 이론은 추가 반복이 반드시 직렬로 사용되는 것은 아니라고 말하며[88], 깊이 효과의 대부분은 구성이라고 말한다[60]. 반복 $t$이 설계자가 의도하는 것을 의미하도록 루프를 훈련하는 방법을 보여준 사람은 아무도 없다. 이것은 단계 의존적 감독[77]과 깊이 인식 스케줄[65] 뒤에 있는 직관의 자연스러운 형식화이며, 현재 §8의 이론과 §7의 시스템 사이에서 가장 유망한 다리이다.

12.5 계산 노브의 안전성과 모니터링 가능성

추론 시점 루프 횟수가 서빙 시점 노브이고, 안전 관련 행동이 그것에 의존한다면, 일부 안전 속성은 모델의 속성이 아니라 배포 구성의 속성이다. 이 코퍼스 내에서 증거는 빈약하다(§7.3). 거부 행동이 루프 횟수에 따라 변한다는 것과 루프 모델이 더 넓은 판독 공간을 노출한다는 두 가지 초록 수준의 보고가 있다. 둘 중 어느 것이 성립하는지, 그리고 따라서 서빙 시스템이 무엇을 고정해야 하는지를 확립하는 것은 거부 행동이 중요한 곳에 루프 모델을 배포하기 위한 전제 조건이다.

12.6 규모에서의 안정성, 시드 포함

§5.2의 모든 안정성 발견은 소규모, 대개 단일 시드 진단이며, 아무도 측정한 적 없는 영역으로 외삽된 것이다. Parcae [103]는 이 질문이 규모에서 답할 수 있음을 보여준다. 몇 가지 개입이 공통 프로토콜 아래 1B+ 파라미터와 다중 시드로 시험되기 전까지, "루프 모델에는 잔차 스케일링과 peri-layernorm이 필요하다"는 것은 결과라기보다 그럴듯한 엔지니어링 휴리스틱으로 남는다.

핵심 요점. 위의 문제들은 레버리지 순으로 정렬되어 있으며, 처음 세 가지는 하나의 원인을 공유한다: 분야는 루프 모델을 다섯 가지 종류의 매칭에서 밀집 모델과 비교하면서 어느 것인지 밝히지 않는다. 연산 매칭 프로토콜, 추론 시점 스케일링 법칙, 그리고 등-FLOP 지식 결핍 [50]의 재현은 함께 어떤 새 아키텍처보다 더 많은 불일치를 해소할 것이다. 나머지 세 가지 — 반복이 의미를 갖게 만들기, 루프 횟수를 안전 관련 배포 파라미터로 취급하기, 그리고 안정성 개입을 규모에서 시드와 함께 시험하기 — 는 루핑을 기회주의적으로가 아니라 의도적으로 사용하기 위한 전제 조건이다.

---

13. 결론

깊이 축을 루프하는 것은 돌이켜보면 자명한 아이디어였으나, 그 어려움은 전적으로 엔지니어링에 있음이 드러났다. 표현력 측면의 논거는 2023년에 상수 깊이 가중치 결속 트랜스포머가 소형 컴퓨터와 그래프 알고리즘을 시뮬레이션할 수 있음을 보이는 구성들로 제시되었다 [76, 87]. 능력 측면의 논거는 합성 길이 일반화 [77]와 문맥 내 학습 [78]에서 제시되었다. 2024–2026년 문헌이 추가한 것은 이론이 다루지 않는 부분이었다: 잔차 통계가 발산하거나 초기 반복이 그래디언트를 잃지 않으면서 전개된 공유 블록을 수십억 파라미터 규모에서 훈련시키는 방법; 전체 네트워크, 2단계, 국소화 루프 중에서 선택하는 방법; 그리고 토큰당 연산이 이제 변수가 된 모델로 추론 시점에 무엇을 할지.

우리에게 잘 뒷받침된다고 보이는 세 가지 결론이 있다. 첫째, 설계 공간은 작고 그 축들은 거의 독립적이다: 범위, 단계 조건화, 반복 간 인터페이스, 깊이 정책(§3–§4)이며, 거의 모든 논문이 그중 하나를 변화시킨다. 둘째, 표현력이 아니라 훈련 안정성이 실제 제약이었으며, 효과가 있는 개입들 — 잔차 스케일링, 정규화 배치, 경계 있는 게이트 업데이트, 중간 그래디언트 지평 [41, 42, 43, 44, 61] — 은 모두 전개된 공유 야코비안이 퇴화하지 않도록 유지하는 방법들이다. 셋째, 추론 시점的故事는 실재하지만 현재는 품질보다 처리량에 관한 것이다: 가장 잘 입증된 이점은 루프의 중간 상태를 추측적 초안으로 재사용하는 데서 나오며 [74], 가장 깔끔한 등-FLOP 비교는 속도 이점에서 품질 동등성을 보여준다 [62, 63].

우리가 독자에게 가장 전달하고 싶은 결론은 "깊이"라는 단어에 대한 주의 환기이다. 루핑은 유효 깊이를 증가시키지만, 유효 깊이는 연산과 같지 않고, FLOPs와도 같지 않으며, 추론 단계와도 같지 않다. 이론에 따르면 루프된 트랜스포머는 반복을 지름길로 처리할 자유가 있다[88]. 메커니즘 문헌에 따르면 예측 순위는 반복이 진행되면서 수렴하기보다 진동한다[93]. 깊이 분해 결과에 따르면 효과의 대부분은 반복별 정교화가 아니라 블록 간 구성에서 비롯된다[60]. 그리고 이 질문을 가장 직접적으로 다루는 메커니즘 연구는 반복 축을 따라 관찰되는 패턴이 설명이 아니라고 결론짓는다[108]. 루프 횟수는 트랜스포머의 행동을 제어하는 실재적이고 유용한 수단이다. 그것이 제어하는 대상이 무엇인지는 여전히 대부분 열린 질문이다.

---

부록 — 그림, 표 및 참고문헌 수

이 리뷰에는 25개의 번호가 붙은 그림과 5개의 번호가 붙은 표가 포함되어 있다. 참고문헌은 129개의 번호가 붙은 참조 항목으로 구성된다: 선별된 후보 풀에서 나온 126편의 연구와 외부 공개 메타데이터로 검증된 3편의 기초 연구.

읽는 순서에 따른 그림. 그림 1, 조사 지도(§1.4); 그림 2, 연표(§2.4); 그림 3, 분류 체계(§3.1); 그림 4, 2단계 순환 깊이 아키텍처, [1]에서 발췌(§4.1); 그림 5, 깊이 어텐션, [26]에서 발췌(§4.1); 그림 6, 3B 모델이 학습한 깊이 어텐션 소스 가중치, [26]에서 발췌(§4.2); 그림 7, 공유 메모리 루프의 정확도 대 메모리, [95]에서 발췌(§4.3); 그림 8, 공유 메모리에 대한 어텐션 질량, [95]에서 발췌(§4.3); 그림 9, 혼합 순환 단계, [30]에서 발췌(§4.4); 그림 10, MoEUT 주변 레이어노름 블록, [7]에서 발췌(§4.5); 그림 11, 펼쳐진 루프의 실패 모드와 이를 해결하는 개입(§5.1); 그림 12, 안정화 개입이 작용하는 지점(§5.2); 그림 13, 완전히 루프된 트랜스포머의 학습 진단, [43]에서 발췌(§5.3); 그림 14, 등깊이 공동 스케일링 법칙, [102]에서 발췌(§5.5); 그림 15, Sparse UT의 토큰별·레이어별 정지 패턴, [8]에서 발췌(§6.2); 그림 16, 루프 횟수에 따른 강제 종료 정확도, [55]에서 발췌(§6.3); 그림 17, 깊이 비동기 자기 추측(§6.5); 그림 18, 깊이 루프의 비용이 누적되는 지점(§7.1); 그림 19, 서빙 시점의 루프 횟수가 안전 관련 행동에 도달하는 방식(§7.3); 그림 20, 네 가지 이론적 흐름(§8); 그림 21, 네 가지 루핑 구성, [3]에서 발췌(§8.3); 그림 22, 메커니즘 증거의 세 계열(§9.1); 그림 23, 어텐션 패턴 패칭과 대상 전환, [89]에서 발췌(§9.1); 그림 24, 블록 간 순위 진동, [93]에서 발췌(§9.2); 그림 25, 비용 일치 주장을 위한 읽기 절차(§11.1).

읽는 순서에 따른 표. 표 1, 표기법(§2.1); 표 2, 인접 계열과 그것이 이 리뷰의 대상이 아닌 이유(§2.2); 표 3, 가장 가까운 리뷰들(§2.3); 표 4, 네 가지 분류 축에 따른 아키텍처 비교(§4.7); 표 5, "루프 대 밀집" 비교에서의 다섯 가지 일치 유형(§11.1).

논문 자체에서 재현한 그림: 그림 4, 5, 6, 7, 8, 9, 10, 13, 14, 15, 16, 21, 23, 24 — 총 열네 개. 나머지 열한 개의 그림은 저자가 그린 도해이다.

References

[1] Jonas Geiping, Sean McLeish, Neel Jain, et al.. Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach. 2025. arXiv preprint. arXiv:2502.05171

[2] Rui-Jie Zhu, Zixuan Wang, Kai Hua, et al.. Scaling Latent Reasoning via Looped Language Models. 2025. arXiv preprint. arXiv:2510.25741

[3] Nikunj Saunshi, Nishanth Dikkala, Zhiyuan Li, Sanjiv Kumar, Sashank J. Reddi. Reasoning with Latent Thoughts: On the Power of Looped Transformers. 2025. arXiv preprint. arXiv:2502.17416

[4] Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, et al.. A Survey on Latent Reasoning. 2025. arXiv preprint. arXiv:2507.06203

[5] Xinghao Chen, Anhao Zhao, Heming Xia, et al.. Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning. 2025. arXiv preprint. arXiv:2505.16782

[6] Shibo Hao, Sainbayar Sukhbaatar, DiJia Su, et al.. Training Large Language Models to Reason in a Continuous Latent Space. 2024. arXiv preprint. arXiv:2412.06769

[7] Róbert Csordás, Kazuki Irie, Jürgen Schmidhuber, Christopher Potts, Christopher D. Manning. MoEUT: Mixture-of-Experts Universal Transformers. 2024. arXiv preprint. arXiv:2405.16039

[8] Shawn Tan, Yikang Shen, Zhenfang Chen, Aaron Courville, Chuang Gan. Sparse Universal Transformer. 2023. arXiv preprint. arXiv:2310.07096

[9] Sangmin Bae, Adam Fisch, Hrayr Harutyunyan, Ziwei Ji, Seungyeon Kim, Tal Schuster. Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA. 2024. arXiv preprint. arXiv:2410.20672

[10] Chengting Yu, Xiaobo Shu, Yadao Wang, et al.. MeSH: Memory-as-State-Highways for Recursive Transformers. 2025. arXiv preprint. arXiv:2510.07739

[11] Mohammadmahdi Nouriborji, Morteza Rohanian, Omid Rohanian. Improving Recursive Transformers with Mixture of LoRAs. 2025. arXiv preprint. arXiv:2512.12880

[12] Abbas Zeitoun, Lucas Torroba-Hennigen, Yoon Kim. Hyperloop Transformers. 2026. arXiv preprint. arXiv:2604.21254

[13] Costin-Andrei Oncescu, Depen Morwani, Samy Jelassi, Alexandru Meterez, Mujin Kwun, Sham Kakade. The Recurrent Transformer: Greater Effective Depth and Efficient Decoding. 2026. arXiv preprint. arXiv:2604.21215

[14] Zanmin Wang. A Single-Layer Model Can Do Language Modeling. 2026. arXiv preprint. arXiv:2605.10643

[15] Guillaume Godin. SCORE: Replacing Layer Stacking with Contractive Recurrent Depth. 2026. arXiv preprint. arXiv:2603.10544

[16] Sang-Il Han. Hierarchical vs. Flat Iteration in Shared-Weight Transformers. 2026. arXiv preprint. arXiv:2604.14442

[17] Kevin Xu and Issei Sato. On Expressive Power of Looped Transformers: Theoretical Analysis and Enhancement via Timestep Encoding. 2024. arXiv preprint. arXiv:2410.01405

[18] Matthias M. M. Buehlmaier. LayerNorm as Implicit Gain Control in Looped Transformers. 2026. arXiv preprint. arXiv:2607.10681

[19] Shikhar Srivastava, Christopher Kanan. LayerRoPE: Dynamic Depth-wise Magnitude & Angular Superposition. 2026. arXiv preprint. arXiv:2610.09179

[20] Grigory Sapunov. Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning. 2026. arXiv preprint. arXiv:2604.21999

[21] Aras Kavuncu, Muhammad Burhan Hafez. Storing Is Not Remembering: LSTM-UT and Bounded Gated Memory for Looped Transformers. 2026. arXiv preprint. arXiv:2609.19521

[22] Liu Xiao. Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence. 2026. arXiv preprint. arXiv:2604.25930

[23] Bum Jun Kim, Kohei Hayashi, Shunsuke Kamiya, Masanori Koyama, Yusuke Iwasawa, Yutaka Matsuo. Looped Transformers with Source-Centered State Evolution. 2026. arXiv preprint. arXiv:2607.27656

[24] Pengxiang Li, Dilxat Muhtar, Di He, Guinan Su, Lu Yin, Shiwei Liu. Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals. 2026. arXiv preprint. arXiv:2610.11570

[25] Wencheng Ye, Anning Hu, Xiangdong Zhang, et al.. Write Back the Δ: Revisiting the Same Tokens with Fresh Representations. 2026. arXiv preprint. arXiv:2609.32457

[26] Boyi Zeng, Yiqin Hao, Zitong Wang, et al.. Depth-Attention: Cross-Layer Value Mixing for Language Models. 2026. arXiv preprint. arXiv:2606.05014

[27] Ziyang Cai, Xingyu Zhu, Yihe Dong, Yinghui He, Sanjeev Arora. T^2MLR: Transformer with Temporal Middle-Layer Recurrence. 2026. arXiv preprint. arXiv:2607.15178

[28] Yutong Chen, Shouqian Shi, Xinran Liu, et al.. Penelope: Localized Latent Recurrence for Efficient Structured Reasoning. 2026. arXiv preprint. arXiv:2607.25915

[29] Chengting Yu, Xiaobo Shu, Yadao Wang, et al.. SpiralFormer: Looped Transformers Can Learn Hierarchical Dependencies via Multi-Resolution Recursion. 2026. arXiv preprint. arXiv:2602.11698

[30] Sangmin Bae, Yujin Kim, Reza Bayat, et al.. Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation. 2025. arXiv preprint. arXiv:2507.10524

[31] Wenkai Chen, Tianshu Li, Wenyong Huang, Yichun Yin, Lifeng Shang, Chengwei Qin. LoopMoE: Unifying Iterative Computation with Mixture-of-Experts for Language Modeling. 2026. EMNLP 2026. arXiv:2606.04438

[32] Eric S. Qiu, Utku Umur Acikalin, Justin Lovelace, et al.. MoRE: Mixture of Reused Experts. 2026. arXiv preprint. arXiv:2609.18176

[33] Di He, Pengxiang Li, Da Chang, Qingyan Meng, Lu Yin, and Shiwei Liu. Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts. 2026. arXiv preprint. arXiv:2610.01153

[34] Markus Frey, Behzad Shomali, Ali Hamza Bashir, David Berghaus, Joachim Koehler, Mehdi Ali. Adaptive Loops and Memory in Transformers: Think Harder or Know More?. 2026. arXiv preprint. arXiv:2603.08391

[35] Yong Xien Chng, Tianyi Chen, Wenwen Tong, et al.. Looped Diffusion Transformer. 2026. arXiv preprint. arXiv:2609.40305

[36] Mohammad Mahdi Derakhshani, Pedro M. P. Curvo, Gertjan J. Burghouts, Jan-Willem van de Meent, Cees G. M. Snoek. LiFT: Loop Flow Transformers. 2026. arXiv preprint. arXiv:2610.05538

[37] Sanghyun Lee, Chunsan Hong, Seungryong Kim, Jonghyun Lee, Jongho Park, Dongmin Park. Looped Diffusion Language Models. 2026. arXiv preprint. arXiv:2605.26106

[38] Alba Carballo-Castro and Julianna Piskorz and Paulius Rauba and Mihaela van der Schaar and Pascal Frossard. Recursive Scaling in Masked Diffusion Models. 2026. arXiv preprint. arXiv:2606.18022

[39] Liancheng Fang, Zhuowei Li, Youngeun Kim, et al.. ALoDLM: Adaptively Looped Diffusion Language Models. 2026. arXiv preprint. arXiv:2610.04198

[40] Andrea Miele, Yiming Qin, Alba Carballo-Castro, Justin Deschenaux, Pascal Frossard. Fixed-Point Masked Generative Modeling. 2026. arXiv preprint. arXiv:2605.31215

[41] Shuzhen Li, Yifan Zhang, Jiacheng Guo, Quanquan Gu, Mengdi Wang. DeepLoop: Depth Scaling for Looped Transformers. 2026. arXiv preprint. arXiv:2607.13491

[42] Shaowen Wang, Bingrui Li, Ge Zhang, Wenhao Huang, Shen Yan, Jian Li. On the Residual Scaling of Looped Transformers: Stability and Transferability. 2026. arXiv preprint. arXiv:2606.18524

[43] Rao Fu, Zixuan Yang, Jiankun Zhang, Jing Ma, Hechang Chen, Yu Li, Yi Chang. Simply Stabilizing the Loop via Fully Looped Transformer. 2026. arXiv preprint. arXiv:2605.18797

[44] Alexey Zemtsov, Albina Klepach, Vadim Lomshakov, et al.. Rotate the Loop: Blockwise Conformality for Looped Transformers. 2026. arXiv preprint. arXiv:2610.14030

[45] Hsun-Yu Kuo, El Mahdi Chayti, Patrik Reizinger, Wieland Brendel, Martin Jaggi. Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping. 2026. arXiv preprint. arXiv:2606.29983

[46] Xiao-Wen Yang, Ziyu Han, Xi-Hua Zhang, et al.. Stabilizing Recurrent Dynamics for Test-Time Scalable Latent Reasoning in Looped Language Models. 2026. arXiv preprint. arXiv:2605.26733

[47] Jacob Fein-Ashley, Paria Rashidinejad. Solve the Loop: Attractor Models for Language and Reasoning. 2026. arXiv preprint. arXiv:2605.12466

[48] Sajad Movahedi, Vera Milovanović, Shlomo Libo Feigin, et al.. Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers. 2026. arXiv preprint. arXiv:2606.18206

[49] Benhao Huang, Chufan Shi, Junlin Chen, et al.. Towards Looped Models Done Right, Part II: Rethinking at Fixed Points. 2026. arXiv preprint. arXiv:2610.06833

[50] Andrei Marchenko, Viacheslav Bezrukov, Oleg Kashurin, et al.. Closing the Loop: Practical Training Recipes for Looped Language Models. 2026. arXiv preprint. arXiv:2610.00673

[51] Zeyi Huang, Xuehai He, LiLiang Ren, et al.. Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior. 2026. arXiv preprint. arXiv:2605.26797

[52] Shota Takashiro, Masanori Koyama, Takeru Miyato, Yusuke Iwasawa, Yutaka Matsuo, Kohei Hayashi. Exploration of Fast-Slow Latent Recurrence for Train-Short, Test-Long Generalization. 2026. arXiv preprint. arXiv:2604.01577

[53] Andrei Piterbarg, Sean McLeish, Dhruv Pai, Benjamin Keigwin. Adaptive-Depth Is a Finishing Stage. 2026. arXiv preprint. arXiv:2610.14252

[54] Jishnu Ray Chowdhury, Cornelia Caragea. Investigating Recurrent Transformers with Dynamic Halt. 2024. arXiv preprint. arXiv:2402.00976

[55] Andrei Cristian Popescu, Haitz Sáez de Ocáriz Borde, Pietro Liò. Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts. 2026. arXiv preprint. arXiv:2607.20519

[56] Joe Logan. Per-Token Fixed-Point Convergence in Depth-Recurrent Transformers. 2026. arXiv preprint. arXiv:2607.14427

[57] Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis. Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching. 2026. arXiv preprint. arXiv:2608.09444

[58] Mrinal Mathur, Mike Doan, Barak Pearlmutter, Sergey Plis. Change of Thought: Adaptive Test-Time Computation. 2025. arXiv preprint. arXiv:2507.13569

[59] Sumin Park, T. Konstantin Rusch. Looped Reasoning Finishes Earlier Than You Think. 2026. arXiv preprint. arXiv:2610.18174

[60] Ha Van Dau, Thanh Tung Khuat, Nguyen Thanh Dung. Beyond Depth Truncation: Controlled Evaluation of Depth Utilization in Recursive Language Models. 2026. arXiv preprint. arXiv:2609.19934

[61] Yuliana Shakhvalieva, Dmitrii Kharchev, Viacheslav Bezrukov, et al.. What Limits Recursive Reasoning Models: Optimization, Architecture and Test-Time Scaling. 2026. arXiv preprint. arXiv:2609.39967

[62] Mingqian Yu, Wenpeng Zhang, Shaobo Cui, Peilin Zhao. T-LoopFormer: Token-Level Elastic-Depth Looped Transformers for Latent Reasoning with Dynamic Routing. 2026. arXiv preprint. arXiv:2609.15160

[63] Ahmadreza Jeddi, Marco Ciccone, Babak Taati. LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation. 2026. arXiv preprint. arXiv:2602.11451

[64] Tianyu Fu, Yichen You, Zekai Chen, Guohao Dai, Huazhong Yang, Yu Wang. Think-at-Hard: Dynamic Looped Transformers for Improved Reasoning. 2025. arXiv preprint. arXiv:2511.08577

[65] Ziyue Li, Yang Li, Tianyi Zhou. Skip a Layer or Loop It? Learning Program-of-Layers in LLMs. 2026. arXiv preprint. arXiv:2606.06574

[66] Faisal Ladhak, Shantanu Acharya, Santiago Akle Serano, Simeng Sun, Boris Ginsburg, Krishna C Puvvada. One Model to Loop Them All: Elastic Latent Recurrence for Language Models. 2026. arXiv preprint. arXiv:2610.12582

[67] Shixiang Song, He Li, Zitong Wang, et al.. AdaPonderLM: Gated Pondering Language Models with Token-Wise Adaptive Depth. 2026. arXiv preprint. arXiv:2603.01914

[68] Yichen You, Tianyu Fu, Aosong Feng, et al.. Improving Test-Time Scaling with Adaptive Looped Transformers. 2026. arXiv preprint. arXiv:2609.35748

[69] Bohong Wu, Mengzhao Chen, Xiang Luo, et al.. Parallel Loop Transformer for Efficient Test-Time Computation Scaling. 2025. arXiv preprint. arXiv:2510.24824

[70] Jonas Geiping, Xinyu Yang, Guinan Su. Efficient Parallel Samplers for Recurrent-Depth Models and Their Connection to Diffusion Language Models. 2025. arXiv preprint. arXiv:2510.14961

[71] Chris Cameron, Wangzheng Wang, Nikita Ivanov, et al.. One Step Forward and K Steps Back: Better Reasoning with Denoising Recursion Models. 2026. arXiv preprint. arXiv:2604.18839

[72] SangLyul Cho, Langqing Cui, Sehoon Kim, Dongsu Han, Insu Han. LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers. 2026. arXiv preprint. arXiv:2609.17184

[73] Hyeongju Ha, Jae-Joon Kim. WaveFront Decoding: Parallelized Self-Speculative Decoding for Looped Language Models. 2026. arXiv preprint. arXiv:2609.23033

[74] Guanghao Li, Zihan Su, Hao Yu, et al.. Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers. 2026. arXiv preprint. arXiv:2609.34538

[75] Weihao Liu, Huangjie Zheng, Tianrong Chen, et al.. Decoding Looped Transformers Better for (Almost) Free. 2026. arXiv preprint. arXiv:2610.02185

[76] Angeliki Giannou, Shashank Rajput, Jy-yong Sohn, Kangwook Lee, Jason D. Lee, Dimitris Papailiopoulos. Looped Transformers as Programmable Computers. 2023. arXiv preprint. arXiv:2301.13196

[77] Ying Fan, Yilun Du, Kannan Ramchandran, Kangwook Lee. Looped Transformers for Length Generalization. 2024. arXiv preprint. arXiv:2409.15647

[78] Liu Yang, Kangwook Lee, Robert Nowak, Dimitris Papailiopoulos. Looped Transformers are Better at Learning Learning Algorithms. 2023. arXiv preprint. arXiv:2311.12424

[79] Jia Liang, Xi Jin, Liangming Pan. Beyond the Training Horizon: Mechanisms and Limits of Length Generalization in Looped Transformers. 2026. arXiv preprint. arXiv:2609.33144

[80] Huitao Yang, Jianhao Huang, Zixuan Wang, Baharan Mirzasoleiman. Learning to Extrapolate in Depth with Looped Transformers. 2026. arXiv preprint. arXiv:2610.14456

[81] Takuya Ito, Ruchir Puri, Murray Campbell, Parikshit Ram. Universal Transformers for Circuit Computations: Perfect Length Generalization in Tiny Transformers. 2026. arXiv preprint. arXiv:2608.31067

[82] Harsh Kohli, Srinivasan Parthasarathy, Huan Sun, Yuekun Yao. Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers. 2026. arXiv preprint. arXiv:2604.07822

[83] Khashayar Gatmiry, Nikunj Saunshi, Sashank J. Reddi, Stefanie Jegelka, Sanjiv Kumar. Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning?. 2024. arXiv preprint. arXiv:2410.08292

[84] Bo Chen, Xiaoyu Li, Yingyu Liang, Zhenmei Shi, Zhao Song. Bypassing the Exponential Dependency: Looped Transformers Efficiently Learn In-context by Multi-step Gradient Descent. 2024. arXiv preprint. arXiv:2410.11268

[85] Khashayar Gatmiry, Nikunj Saunshi, Sashank J. Reddi, Stefanie Jegelka, Sanjiv Kumar. On the Role of Depth and Looping for In-Context Learning with Task Diversity. 2024. arXiv preprint. arXiv:2410.21698

[86] Kevin Xu, Issei Sato. To CoT or To Loop? A Formal Comparison Between Chain-of-Thought and Looped Transformers. 2025. arXiv preprint. arXiv:2505.19245

[87] Artur Back de Luca and Kimon Fountoulakis. Simulation of Graph Algorithms with Looped Transformers. 2024. arXiv preprint. arXiv:2402.01107

[88] Bingbin Liu, Jordan T. Ash, Surbhi Goel, Akshay Krishnamurthy, Cyril Zhang. Transformers Learn Shortcuts to Automata. 2022. arXiv preprint. arXiv:2210.10749

[89] Jiaju Wu, Yi Hu, Muhan Zhang. Shared Weights, Selected Computations: How Looped Transformers Route What Each Loop Does. 2026. arXiv preprint. arXiv:2609.39892

[90] Georgios Kaissis, David Mildenberger, Juan Felipe Gomez, Martin J. Menten, Eleni Triantafillou. Step-resolved data attribution for looped transformers. 2026. arXiv preprint. arXiv:2602.10097

[91] Xinlin Zhuang, Siyuan Wang, Imran Razzak, Weiyang Liu. What Makes Recurrence Effective in Looped Language Models?. 2026. arXiv preprint. arXiv:2609.36636

[92] Hugh Blayney, Álvaro Arroyo, Johan Obando-Ceron, et al.. A Mechanistic Analysis of Looped Reasoning Language Models. 2026. arXiv preprint. arXiv:2604.11791

[93] Wenquan Lu, Yuechuan Yang, Kyle Lee, Yanshu Li, Enqi Liu. Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer. 2025. arXiv preprint. arXiv:2507.02199

[94] Pawel Olszowiec, Paulina Tomaszewska, Maciej Żelaszczyk, Michal Byra, Neo Christopher Chung. Monitoring latent reasoning in looped language models. 2026. arXiv preprint. arXiv:2610.18127

[95] Giovanni Monea, Keshav Ramji, Yousef El-Kurdi, et al.. The Surprising Effectiveness of Shared Memory in Looped Transformers. 2026. arXiv preprint. arXiv:2610.02383

[96] Victor Conchello Vendrell, Arnau Padres Masdemont, Niccolò Grillo, et al.. Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models. 2026. arXiv preprint. arXiv:2605.07721

[97] Wanqi Yang, Shiwei Liu. FlashLoop: Fast and Memory-Efficient Looped Transformers via Lazy Updates. 2026. arXiv preprint. arXiv:2609.29812

[98] Zhixiong Zhao, Zukang Xu, Xing Hu, Lifeng Liu, Guangyu Sun, Dawei Yang. LoopQuant: Accurate and Efficient Post-Training Quantization for Looped Transformers. 2026. arXiv preprint. arXiv:2610.16368

[99] Adrian Bulat, Yassine Ouali, Georgios Tzimiropoulos. One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts. 2026. arXiv preprint. arXiv:2610.12448

[100] Xun Wang, Ruishuo Chen, Yu Chen, Zhuoran Li, Longbo Huang. FlexLoop: Depth-Elastic Looped Policies for Adaptive Test-Time Computation in Deep RL. 2026. arXiv preprint. arXiv:2609.34488

[101] Shaowen Wang, Ge Zhang, Kairong Luo, et al.. SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers. 2026. arXiv preprint. arXiv:2609.01343

[102] Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis. How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models. 2026. arXiv preprint. arXiv:2604.21106

[103] Hayden Prairie, Zachary Novack, Taylor Berg-Kirkpatrick, and Daniel Y. Fu. Parcae: Scaling Laws For Stable Looped Language Models. 2026. arXiv preprint. arXiv:2604.12946

[104] Leo Raphael Rodrigues, Jian Kang. Dissecting Hierarchical Reasoning Models: A Mechanistic Study. 2026. arXiv preprint. arXiv:2609.22197

[105] Tong Zhang, Junhao Hu, Yun Peng, Tao Xie. When Does Recurrence Become an Algorithm? Convergence Selection in Weight-Tied Looped Transformers. 2026. arXiv preprint. arXiv:2607.20594

[106] Wenlong Wang, Fergal Reid. Looped Transformers under the Jacobian Lens: Does the Global Workspace Survive Recurrence?. 2026. arXiv preprint. arXiv:2609.01924

[107] Gunn Kim. Dynamical phase selection controls compute scaling in looped transformers. 2026. arXiv preprint. arXiv:2608.26556

[108] Darpan Aswal, Thomas Palmeira Ferraz, Yongxin Zhou, Maxime Peyrard. Observable Patterns Are Not Explanations: A Causal-Geometric Analysis of Latent Reasoning Models. 2026. arXiv preprint. arXiv:2606.12689

[109] Han Wang, Ishwar B Balappanawar, Huan Zhang. On the Chain-of-Thought Monitorability of Looped Language Models. 2026. arXiv preprint. arXiv:2610.02741

[110] Huzi Cheng, Zhewei Zhang. Not All Thinking is Created Equal: Latent Reasoning Discovers a Recurrent Search Algorithm for Depth Generalization. 2026. arXiv preprint. arXiv:2609.35643

[111] Arip Asadulaev, Rayan Banerjee, Fakhri Karray, Martin Takac. Latent Reasoning in TRMs is Secretly a Policy Improvement Operator. 2025. arXiv preprint. arXiv:2511.16886

[112] Jeffrey Lai, Anthony Bao, John Quinn, William Gilpin. Fractal basins trap latent reasoning. 2026. arXiv preprint. arXiv:2609.04963

[113] Yuto Inui, Takuya Konishi, Yoshinobu Kawahara. Invariant-Measure Reasoners: Stable Representations for Latent Reasoning. 2026. arXiv preprint. arXiv:2610.10996

[114] Francesco Pappone, Donato Crisostomi, Emanuele Rodolà. Two-Scale Latent Dynamics for Recurrent-Depth Transformers. 2025. arXiv preprint. arXiv:2509.23314

[115] Zhihao Guo, Zonghan Wu, Haizhou Du, et al.. Right Direction, Wrong Step: Geometric Analysis of Finite-Step Failure in Looped Transformers. 2026. arXiv preprint. arXiv:2609.16665

[116] James O' Neill, Fergal Reid. Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers. 2026. arXiv preprint. arXiv:2607.15456

[117] Yuhan Chen, Siyuan Zhang, Nan Wang, Feiyang Kang, Ruoxi Jia. Hybrid Latent Attention for Looped Language Models. 2026. arXiv preprint. arXiv:2610.07940

[118] Bo Liu, Qiang Liu. Maglev: Sliding Recurrent Memory. 2026. arXiv preprint. arXiv:2608.02870

[119] Wen-Jie Shu, Xuerui Qiu, Rui-Jie Zhu, Harold Haodong Chen, Yexin Liu and Harry Yang. LoopViT: Scaling Visual ARC with Looped Transformers. 2026. arXiv preprint. arXiv:2602.02156

[120] Zhe Qian, Ziyang Gong, Zhongxing Xu, et al.. LoopVL: Recurrent Visual Intelligence. 2026. arXiv preprint. arXiv:2609.38426

[121] Renjie He. RD-ViT: Recurrent-Depth Vision Transformer for Semantic Segmentation with Reduced Data Dependence. 2026. arXiv preprint. arXiv:2605.03999

[122] Michal Byra, Pawel Olszowiec, Grzegorz Stefanski, Grzegorz Gruszczynski, Alberto Presta. Investigating Single-Block Recurrence in Vision Transformers for Image Recognition. 2026. arXiv preprint. arXiv:2605.10661

[123] Junseo Kim, Uraz Odyurt, Amirreza Yousefzadeh. MergeOver: Post-Training Token Merging for Recursive Vision Transformers. 2026. arXiv preprint. arXiv:2608.13141

[124] Zhiying Lu. LoopVAE: Recurrent Depth Across Scales for Visual Tokenization. 2026. arXiv preprint. arXiv:2609.11516

[125] Yang Chen, Canyu Shen, Xinzhe Rao, et al.. GramLoop: Training-Free Gram-Gated Replay for Robust Dense Prediction. 2026. arXiv preprint. arXiv:2608.29113

[126] Zipeng Wang, Anping Xiong, Jing Zhang, et al.. LoopREG: Representation Supervision Enables Test-Time Recurrent Depth in Diffusion Transformers. 2026. arXiv preprint. arXiv:2610.17877

[127] Mostafa Dehghani, Stephan Gouws, Oriol Vinyals, Jakob Uszkoreit, Łukasz Kaiser. Universal Transformers. 2019. International Conference on Learning Representations (ICLR). arXiv:1807.03819 (external — not present in the library collection used for this survey)

[128] Alex Graves. Adaptive Computation Time for Recurrent Neural Networks. 2016. arXiv preprint. arXiv:1603.08983 (external — not present in the library collection used for this survey)

[129] Shaojie Bai, J. Zico Kolter, Vladlen Koltun. Deep Equilibrium Models. 2019. Advances in Neural Information Processing Systems (NeurIPS). arXiv:1909.01377 (external — not present in the library collection used for this survey)