하네스 수준의 재귀적 자기 개선: 분류체계, 증거 및 프런티어

초록

에이전트의 역량은 점점 더 기반 모델이 아니라 그 주위에 구축된 하네스 — 지시사항, 컨텍스트 관리, 메모리, 도구와 스킬, 제어 흐름과 오케스트레이션, 그리고 에이전트 자체의 코드 — 에 의존하게 되었다. 지난 2년 동안 에이전트가 그 하네스를 다시 작성하도록 하는 연구가 빠르게 축적되었으며, 그 상당수는 공유된 정의 없이 "재귀적 자기 개선"(RSI)이라는 이름으로 불렸다. 본 서베이는 범위를 하네스 수준의 재귀적 자기 개선으로 좁힌다. 즉, 기반 모델이 고정되거나 거의 고정된 상태에서, 에이전트가 자신의 하네스를 자동으로 다시 작성하고 그 변경을 유지하며, 그러한 변경을 생성하거나 판정하는 기제 자체가 편집 가능한 설정을 말한다.

우리는 이 분야를 두 개의 직교하는 축을 따라 조직한다. 무엇이 수정되는가 (프롬프트 $P$, 메모리 $M$, 도구와 스킬 $T$, 워크플로와 오케스트레이션 $W$, 에이전트 자체의 코드 $C$, 전체 하네스, 그리고 검증기), 그리고 루프가 얼마나 긴밀한가이며, 이는 변경을 생성하거나 판정하는 기제가 자신의 편집 가능 집합에 들어가는지를 추적하는 재귀 차수 $d$로 측정된다. 이 두 번째 축이 바로 이 분야의 용어가 가장 오해를 부르는 지점이다. 우리가 전문을 읽은 연구들 중 대다수는 $d=0$으로, 개선 기제는 고정된 채 구성요소만 개선한다.

세 가지 발견이 장들을 가로지른다. 첫째, 2026년의 하네스 수준 자기 개선은 구성요소 재작성에서 전체 하네스 탐색과 채점기 공진화로 확장되었으나, 진정으로 자기 지시적인 연구($d\ge1$)는 여전히 희소하며 두 곳, 즉 자기 지시적 코드와 평가자 공진화에 집중되어 있다. 둘째, 이 분야의 가장 견고한 증거는 누가 더 많이 편집하는가가 아니라 누가 더 적게 깨뜨리는가에 관한 것이다. 일반화 게이트, 비회귀 게이트, 계약 기반 검증, 통계적 수용 테스트, 반사실 프로토콜 같은 충실도와 수용 기제가 보고된 거의 모든 이득에 동반되며, 그 부재는 보고된 대부분의 회귀를 설명한다. 셋째, 이제 이론과 감사 연구의 축적 덕분에 한계를 정확히 진술할 수 있다. 하네스 업데이트는 실패한 과제에서의 이득이 유지된 과제에서의 가능한 손실에 평가 오차를 더한 것을 감당할 때 채택할 가치가 있다. 자기 보고된 보상 신호는 부풀려지며, 이를 교정하려면 그 자기 보고와 오차가 탈상관된 검증기가 필요하다. 거짓 통과 채점기는 어떤 표본 크기로도 조용히 은퇴를 무력화할 수 있다. 그리고 하네스 업데이트 능력은 기반 모델 역량에 비례하여 확장되지 않으므로, 더 강력한 메타 에이전트가 지렛대가 되지는 않는다.

1 서론

1.1 왜 이 서베이인가, 그리고 왜 지금인가

언어 모델을 에이전트로 감싸는 것은 표준 엔지니어링 관행이 되었다. 모델 외부의 코드 계층이 지시사항을 조립하고, 도구를 호출하며, 컨텍스트를 관리하고, 메모리를 유지하며, 과제를 분해한다. 2023년 무렵 이 계층은 여전히 수작업으로 다듬어졌다. 2026년에 이르러 "에이전트가 이 계층을 다시 작성하게 하라"는 것은 고유한 이름과 벤치마크, 대조군을 갖춘 연구 노선이 되었다. 2026년 10월의 단 한 주만 해도 하네스 진화 논문들이 한 묶음 나왔으며 [43–51], 그 주변의 어휘 — 자기 진화 하네스, 하네스 진화, 재귀적 하네스 자기 개선 — 는 어떤 공유된 정의보다도 빠르게 퍼졌다.

그 용어는 적어도 세 가지 서로 다른 것을 뒤섞는다. 과제 내에서 산출물을 수정하는 것, 과제를 넘나들며 개선된 프롬프트나 스킬을 유지하는 것, 그리고 무엇을 개선할지와 그것이 성공했는지를 결정하는 기제 자체를 다시 작성하는 것이다. 기존의 서베이는 자기 개선과 자기 진화를 폭넓게 다루며 [1, 4, 5], 재귀 스펙트럼 자체를 매핑한 연구 [2]와 자기 진화 에이전트의 안전성을 조사한 연구 [6]도 있지만, 하네스 계층을 대상으로 삼아 각 연구를 그 루프가 얼마나 긴밀하게 닫히는지로 평가한 선행 리뷰는 없다. 본 서베이는 그 공백을 다룬다.

1.2 우리가 설정하는 경계

우리는 개선 루프가 하네스에서 닫히는 연구를 포함한다. 즉 수정되는 대상이 프롬프트, 메모리 시스템, 도구 또는 스킬 라이브러리, 제어 흐름이나 오케스트레이션, 컨텍스트 관리, 하위 에이전트 역할, 또는 에이전트 자체의 코드와 스캐폴딩 프로그램인 경우다. 이로부터 두 가지 귀결이 따르며, 우리는 둘 다 일관되게 적용한다.

• 모델 가중치도 함께 갱신하는 시스템이라도 그 루프가 하네스에 닿는다면 여전히 포함된다. 가중치–하네스 공진화는 예외가 아니라 본류의 일부다(9.1절).
• 하네스에 전혀 닿지 않는 순수 가중치 측 자기 훈련, 자기 보상, 자기 대국은 배경으로 남긴다 [22–24]. 아무것도 유지하지 않는 일회성 자기 정련 [16, 17]과 일회성 프롬프트 최적화를 동반한 정적 스캐폴딩 [18–21]도 마찬가지다.

다른 무엇보다 중요한 한 가지 설명이 있는데, 그것이 가장 흔한 혼동의 원인이기 때문이다. 여기서 "재귀적"은 이진 레이블이 아니라 등급을 매길 수 있는 긴밀함이다. 문제는 어떤 변경이 변경을 만들어 내는 연산자에 도달하는지, 혹은 그것을 판정하는 검증자에 도달하는지다. 2절이 이를 형식화하고, 3절이 이를 사용해 문헌을 조직한다.

1.3 구성

그림 1. 서베이의 구성: 2–3절은 용어와 좌표를 정하고, 4–7절은 하네스 계층의 척추이며, 8–9절은 이론과 교차 계층 경계를 다루고, 10절은 증거를 감사하며, 11–13절은 응용 영역, 열린 질문, 결론을 다룬다.

그림 1은 각 장이 어떻게 연결되는지를 보여준다. 4절은 가장 어려운 분기, 즉 자체 코드를 다시 작성하는 에이전트를 다룬다. 5절은 구성요소별로 살펴보는데, 메모리와 도구 및 스킬이 가장 밀도 높은 증거를 담고 있으며 프롬프트와 오케스트레이션은 의도적으로 적게 다룬다. 6절은 하네스 공간이 어떻게 탐색되는지를 묻고, 7절은 편집이 유효한지를 누가 결정하는지를 묻는다. 8절은 보장할 수 있는 것들, 즉 채택 조건, 보상 인플레이션, 채점자 편향, 용량 한계를 모으고, 9절은 공진화, 안전성, 평가를 다룬다. 10절은 최신 연구 동향에 비추어 새로운 부분으로, 부정적 결과에 관한 감사 장이다. 11절은 응용을 검증 가능성의 관점에서 읽고, 12절은 각 측의 증거와 함께 열린 논쟁을 진술한다.

1.4 범위에 관한 참고

• 기준 시점: 2026-10-13, 우리 라이브러리의 v1 제출일 기준; 개정본은 중요한 경우 구분한다.
• 검색: 여섯 가지 상호 보완적 경로(자기 진화 하네스, 자기 참조 코드, 진화적 아키텍처 탐색, 스킬/도구/메모리 축적, 에이전트 아키텍처와 메모리의 자동 설계를 위한 의미론적 경로; 그리고 하네스로 명명된 작업들에 대한 키워드 경로)를 하나의 후보 풀로 통합하고, 2022년까지 거슬러 올라가는 수작업으로 검증된 앵커 목록과 함께 사용한다.
• 선별: 하나의 포함 기준 — 해당 작업이 하네스 수준의 자기 개선을 다루는가 — 를 후보 풀에 자동 선별로 적용한 뒤, 13개 리프로 다중 레이블 분류한다. 경계를 넘나드는 작업은 리프에 억지로 밀어넣지 않고 별도 버킷으로 유지했다.
• 읽기 깊이: 111편의 논문을 두 차례의 전문 읽기 웨이브에 걸쳐 처리했다; 단 한 편(STOP [7], 두 웨이브 모두에서 본문을 확보할 수 없었음)을 제외한 모든 논문을 섹션 수준에서 읽었으며, 나머지 작업들은 초록 또는 메타데이터 수준에서 인용한다. 5장의 프롬프트와 오케스트레이션 하위 섹션, 그리고 9장의 평가 및 공진화 하위 섹션은 해당 위치에 명시한 바와 같이 더 얇은 근거에 기반한다.
• 포괄 범위 한계: 네 가지 의미론적 경로는 검색 상한에서 포화되었으므로 잘림이 발생할 수 있다; 키워드 경로는 "harness"로 명명된 작업에만 도달한다. 두 번째 읽기 웨이브는 각 얇은 리프를 전수 조사가 아닌 하위 유형별로 표본 추출했다. 따라서 이는 정의된 범위에 대한, 기준에 일관된, 문서화된 서베이이지 망라적 전수 조사가 아니다.

2 예비: 정의, 형식화 및 위치 설정

2.1 하네스란 무엇인가

우리는 에이전트 시스템을 기반 모델과 하네스로 나눈다. 하네스는 기반 모델 외부에 있으면서 다시 작성될 수 있고 이후 행동을 형성하는 모든 것이다: 시스템 프롬프트와 지시사항, 컨텍스트 및 압축 정책, 메모리 및 경험 저장소, 도구와 스킬(실행 가능한 하위 에이전트 포함), 워크플로와 제어 흐름, 그리고 에이전트 자체의 코드 또는 스캐폴딩 프로그램. 이러한 구분은 에이전트를 기반 모델과 갱신 가능한 외부 상태로 모델링하는 기존의 접근 [1] 및 "모델 + 하네스"라는 엔지니어링 표현 [54]과 일치한다.

이 구분 아래에서 "자기 개선"은 적어도 세 가지 체제를 포괄하며, 문헌은 이를 일상적으로 혼동한다:

표 1. 자기 개선의 세 가지 체제로, 편집이 지속되는지 그리고 이를 생성하거나 판단하는 기제 자체가 편집되는지에 따라 구분된다.

구별되는 질문은 시스템이 얼마나 많이 편집하는가가 아니라 루프가 어디서 닫히는가이다. 무엇을, 어떻게 편집할지, 그리고 그 결과가 인정되는지를 결정하는 기제 자체가 편집 가능한 집합 안에 있을 때에만 우리는 그 루프를 재귀적이라고 부른다. 선행 연구는 다른 방향에서 같은 점을 지적한다. "코드를 편집한다"를 재귀의 증거로 취급하는 것은 재귀를 과대평가하는 것이며 [2, 3], 우리 코퍼스의 한 메모리 연구는 자신의 solve–probe–repair–commit 주기를 명시적으로 의사 재귀적이라고 표기하는데, 이는 메모리 내용만 변하고 제어 프로그램은 일정하게 유지되기 때문이다 [104].

2.2 공유 형식 체계

4절부터 10절까지는 다음 표기를 사용한다. 하네스는 오중 튜플

$$H = (P,\ M,\ T,\ W,\ C)$$

라운드 $t$에서 개선 연산자 $U$는 경험 또는 평가 신호 $E_t$를 후보 $H_{t+1} = U(H_t, E_t)$로 바꾸며; 검증기 $V$가 채택 여부를 결정하고, 후보는 $V(H_{t+1}; H_t)=1$인 경우에만 유지된다. 재귀 차수 $d$는 변경이 $U$ 또는 $V$ 자체에 도달하는지를 기록한다: $d=0$은 구성 요소만을, $d\ge1$은 개선 기제가 자신의 편집 가능한 집합 안에 있음을 의미한다. $d$는 게이트가 아니라 등급화된 평가이며, 7절은 채점자의 프롬프트나 비평자가 최적화 변수가 되는 경우처럼 $V$이 루프에 들어가는 설정을 논의한다 [69, 74].

표 2. 4절부터 사용되는 표기.

이 좌표계를 사용하면 해당 분야의 대부분의 이견은 세 가지 구체적인 질문으로 환원된다: $H$의 어느 구성 요소가 편집되는가; $V$가 어떤 신호를 사용하며 그것이 얼마나 엄격한가; 그리고 $U$와 $V$가 자신의 루프에 들어가는가이다.

2.3 해당 분야의 발전 과정

그림 2. 하네스 수준 자기 개선의 이정표, 2022년 초기 스캐폴드 자기 재작성부터 2026년 전체 하네스 탐색, 채점자 공진화, 감사 물결 사이의 분화까지.

두 가지 전환점이 두드러진다. 첫째는 2024–2025년에 걸친 것으로, 프롬프트와 기술을 편집하는 것에서 코드베이스를 편집하는 것으로의 전환이다: Gödel Agent [10]와 Darwin Gödel Machine [11]은 에이전트 자신의 프로그램을 변경의 대상으로 삼았지만, 둘 다 개선 연산자는 고정해 두었다. 둘째는 2026년의 것으로, 한쪽에는 명시적 충실도 기제를 갖춘 전체 하네스 탐색(6절)으로, 다른 쪽에는 통계적 수용 검정을 갖춘 채점자 공진화(7절)로의 조밀한 분화이며 — 그 직후에 거의 즉시 두 주장 모두를 검증하는 감사 문헌이 뒤따랐다(10절).

2.4 관련 서베이

표 3. 관련 설문 조사와 본 설문 조사의 차이. 참고: 항목들은 검증된 서지 기록에서 가져왔으며, 기준 시점이 다르므로([4, 5]는 2025년, [1–3, 6]은 2026년) 이들의 커버리지 연도를 직접 비교할 수 없다.

이 설문 조사를 세 가지가 구별한다. 첫째, 하네스 계층을 경계로 고정한다. 둘째, 무엇이 변하는가와 루프가 얼마나 긴밀하게 닫히는가라는 두 개의 직교 축을 따라 자료를 구성하고 각 연구에 대해 $d$을 기록한다. 셋째, 충실성 및 수용 기제를 독자적인 장으로 승격시키는데, 이 기제가 보고된 증거가 어디까지 뒷받침할 수 있는지를 결정하기 때문이다.

핵심 요점

• 하네스는 기반 모델 외부에 있으면서 다시 작성될 수 있고 이후 행동을 형성하는 모든 것이다. 우리가 포함하는 기준은 "LLM을 사용한다"가 아니라 이 경계이다.
• 자기 개선은 루프가 어디서 닫히는가, 즉 수정 사항이 지속되는지 그리고 개선 기제 자체가 편집 가능한지(재귀 차수 $d$)에 따라 등급화되어야 한다.
• 2024–2025년은 코드베이스 편집으로 전환되었고, 2026년은 전체 하네스 탐색과 평가기 공동 진화, 그리고 즉시 그 둘 모두에 대한 감사로 전환되었다.
• 기존 설문 조사들은 자기 진화나 재귀 스펙트럼을 다루지만, 하네스 계층을 대상으로 삼아 루프의 긴밀도로 연구들을 평가하는 것은 없다.

3 두 축 분류법

3.1 기본 축: 무엇이 수정되는가

이 문헌에서 가장 설명력이 높은 조직화 축은 수정 대상이다. 즉 $H=(P,M,T,W,C)$의 어떤 구성요소가 다시 쓰이는지, 또는 시스템이 구성요소를 건너뛰고 전체 구성(configuration)을 탐색하는지 여부이다. 이 축은 방법의 형태가 왜 그렇게 크게 다른지를 설명해 준다. 프롬프트는 텍스트 그래디언트로 귀결되고, 코드는 프로그램 합성을 요구하며, 워크플로는 그래프 탐색을 초대한다. 우리는 선별된 코퍼스를 13개의 리프(leaf)로 분류했으며, 그중 다섯 개가 구성요소 척추를 이룬다:

• 자기 참조 코드와 스캐폴딩 ($C$): 에이전트가 자신의 프로그램을 다시 쓴다. 가장 어려운 재귀가 여기에 있으며, 계보가 가장 명확한 곳이기도 하다(4절) [8–14, 31].
• 메모리 ($M$): 메모리 내용 편집에서 메타 진화하는 메모리 아키텍처까지(5.1절) [78–85, 101–112].
• 도구와 스킬 ($T$): 스킬 라이브러리의 생성, 검증, 큐레이션, 폐기 및 라우팅(5.2절) [15, 86–93, 113–124].
• 프롬프트 ($P$)와 워크플로/오케스트레이션 ($W$): 증거는 더 얇지만, 프롬프트 최적화와 에이전트 아키텍처 탐색의 전통을 계승한다(5.3절) [18–21, 50, 62, 63].
• 전체 하네스: 특정 구성요소가 아니라, 탐색 변수가 전체 구성이므로 이 분기는 자체적인 충실도 기제를 필요로 한다(6절) [40–57].
• 검증기/채점기: 대상은 변경이 채택될지를 결정하는 기제, 즉 $V$ 자체이며, $d\ge1$이 가장 밀집한 곳이다(7절) [67–77].

3.2 보조 축: 루프가 얼마나 긴밀한가

두 번째 축은 재귀 정도 $d$이다. 이는 모든 리프 안에서 재귀하며, 동일한 기제의 약한 형태와 강한 형태를 구분한다. 두 가지 대조가 이를 잘 보여 준다. 자기 참조 코드 내에서, Live-SWE-agent [29]는 에이전트가 현재 에피소드에 대해 즉석에서 도구 스크립트를 작성하게 하는 반면($d=0$), Hyperagents [14]는 작업 에이전트와 메타 에이전트를 하나의 편집 가능한 프로그램으로 병합하여 변경을 만들어 내는 기제 자체가 편집 가능하게 한다($d\ge1$). 메모리 내에서는, A-MEM [81]이 런타임에 노트 내용을 진화시키는 반면($d=0$), MemEvolve [78]은 인코드/저장/검색/관리 인터페이스를 구현하는 코드를 외부 진화 대상으로 삼는다($d\approx1$).

두 읽기 물결에 걸쳐 보면, $d\ge1$ 집합은 열거할 수 있을 만큼 작으며, 세 곳에 집중되어 있다:

표 4. 코퍼스에서 $d\ge1$이 실제로 발생하는 위치를, 하네스에서 자기 자신의 편집 가능한 집합에 들어가는 부분별로 정리한 것.

주 축과 교차되면서, 이것이 이 서베이의 좌표계가 된다: 열은 구성요소이고, 행은 긴밀도이며, 표 4는 최상위 행을 차지하는 연구들을 열거한다. 대다수의 연구는 최하위 행에 위치하며, 최상위 행은 얇다 — 이는 그 자체로 하나의 발견이며, 이론이 부분적으로 설명하는 바이다(8.4절).

3.3 분류 체계 트리

그림 3. 두 축 분류 체계: 주 축은 무엇이 수정되는지를 기록하고, 보조 축은 루프가 얼마나 긴밀하게 닫히는지를 기록하며, 경계 영역은 구성요소가 아닌 교차 계층 관심사를 모은다.

3.4 왜 다른 축이 아닌가

우리는 세 가지 대안을 고려했고 이를 기각했다.

연도별. 이 분야는 1년보다 빠르게 반복된다: 연대순으로 나누면 하나의 메커니즘의 변형들이 서로 다른 장으로 분리되고 계보가 묻히게 된다.

알고리즘 계열별(진화, 강화, 텍스트 그레이디언트). 한 계열의 연구들은 흔히 서로 다른 구성 요소를 수정하며, 알고리즘은 종종 구현 세부 사항에 불과하다. 예를 들어 밴딧은 구성 요소 선택 [49]과 부모 융합 선택 [50] 양쪽에 모두 등장한다.

이분법적 "재귀적인가" 테스트별. 이는 가장 정보량이 많은 중간 지대를 버리며, 용례와도 충돌한다. 스스로를 RSI라고 부르는 많은 연구가 우리 용어로는 $d=0$이고, 그 단어를 전혀 쓰지 않는 여러 연구가 $d\ge1$이다(7절). 등급화된 축이 있어야 비로소 이 서베이는 용어만으로는 말할 수 없는 것을 말할 수 있다.

핵심 요점

• 일차 축은 무엇이 변하는가이다: $C$, $M$, $T$, $W$, $P$, 그리고 전체 하네스와 검증기 잎 노드를 더해 총 13개의 잎 노드.
• 이차 축은 재귀 정도 $d$이다: 각 잎 노드 안에서 약한 형태와 강한 형태를 구분하며, 대부분의 연구는 $d=0$에 위치한다.
• $d\ge1$ 집합은 작고 열거 가능하다; 자기 참조 코드와 평가기 공진화에 집중되며, 메모리, 스킬, 전체 하네스 탐색, 응용에서 각각 단일 사례가 있다.
• 교차 계층 관심사 — 공진화, 이론, 안전, 평가 — 는 구성 요소 척추에 섞지 않고 경계 띠로 유지한다.

4 자기 참조 코드와 스캐폴딩 자기 재작성

이 갈래는 에이전트가 자기 자신의 프로그램을 재작성하도록 한다($C$). 따라서 재귀는 문자 그대로일 수 있다. 편집 대상 프로그램이 편집을 만들어 내는 코드를 포함하는 순간, 루프는 자기 참조적이 된다. 우리는 계보를 따라간 뒤, 비교 표에서 강한 형태와 약한 형태를 구분한다.

4.1 기원: 개선의 대상으로서의 스캐폴드 프로그램

가장 이른 두 시도는 모두 "프로그램"을 유전되는 개체로 취급한다. Self-Programming AI [8]는 코드 언어 모델로 에이전트 자신의 소스 파일 새 버전을 샘플링하고, 고정된 부분 집합에서의 평균 훈련 손실로 후보를 선택한다; MNIST 92→98%, CIFAR-10 20→70%, EMNIST 70→87%를 보고한다. STOP [7]은 더 나아가 개선자 스캐폴드가 스스로를 개선하도록 한다: 효용 함수가 주어지면 언어 모델을 호출해 개선 전략 — 후보 중 빔 탐색, 유전 알고리즘, 시뮬레이티드 어닐링 — 을 제안하게 한 뒤 백테스트하고 선택한다. STOP은 또한 이 분야의 단층선을 여전히 규정하는 한계를 명시한다: 스캐폴드만 변하고 모델은 변하지 않으므로, 이는 "완전한 재귀적 자기 개선"이 아니다. 전체 텍스트는 두 차례의 읽기 단계 모두에서 우리가 이용할 수 없었으므로, 이 서술은 초록과 1차 읽기 노트를 따른다.

둘 다 우리에게는 경계 사례이다: 이들이 편집하는 것은 에이전트의 하네스가 아니라 모델의 소스나 스캐폴드 프로그램이며, Self-Programming AI에서는 선택 신호가 용량 성장과 얽혀 있다.

4.2 아카이브와 열린 계보

2024–2025년에 걸쳐 이 계보는 한 번 개선하는 것에서 지속적이고 열린 개선으로 이동한다. Gödel Agent [10]는 편집 대상을 스캐폴드 프로그램에서 에이전트 자신의 논리와 행동으로 넓히며, 괴델 기계 [100]를 지적 원천으로 명시적으로 소환한다; ADAS [9]는 메타 에이전트 프로그램이 더 "나은" 에이전트를 만들게 하며, 튜링 완전 언어가 원리상 어떤 에이전트 설계라도 표현할 수 있다는 관찰을 덧붙인다. 둘 모두에서 개선 연산자는 사람이 작성한 채로 남는다: 메타 에이전트의 절차는 고정되어 있다.

다윈 괴델 기계(Darwin Gödel Machine, DGM)는 고정된 인간 작성 메타 에이전트를 편집 대상 자체로 대체함으로써 이를 바꾼다 — 하나의 파이썬 코드베이스가 문제 해결 에이전트이자 자기 자신의 변이기 역할을 동시에 수행한다 — 그리고 단일 최신 버전에서의 언덕 오르기를 성능과 탐색에 따라 샘플링된 변이체들의 아카이브로 대체한다 [11].

그림 4. 다윈 괴델 기계 루프: 아카이브에서 부모가 선택되고, 코딩 에이전트가 자기 자신의 저장소에 대한 자기 수정을 통해 생성되며, 그 결과가 다시 아카이브에 추가된다; 오른쪽 패널은 두 갈래를 구분한다 — 자기 개선 지시로 자기 자신의 저장소를 재작성하는 것과, 과제 지시로 과제 저장소를 해결하는 것. [11]의 그림.

우리의 표기에서 DGM의 $U$은 "부모를 샘플링하고, 언어 모델이 자기 자신의 코드와 평가 로그를 읽고, 자기 자신에 대한 diff를 작성하게 하는 것"이고; $E_t$은 과제별 평가 로깅이며; $V$은 결과가 여전히 컴파일되고 자기 자신의 코드를 편집할 능력을 여전히 보유할 것을 요구하는 하드 게이트이다 — 벤치마크 점수는 통과/실패 기준이 아니라 레이블과 샘플링 가중치로 작용한다. 저자들은 80회 반복에 걸쳐 SWE-bench 20.0%→50.0%와 Polyglot 14.2%→30.7%를 보고하며, 절제 실험은 자기 개선 없이 39.0%, 개방형 탐색 없이 23.0%를 보여준다. 특히 안전 설계 — 샌드박싱, 인간 감독, 그리고 "기록하되 폐기하지 않는" 소프트 선택 규칙 — 는 무제한 탐색이 폭주하지 않도록 하기 위해 정확히 존재한다; 9.3절에서 이로 돌아간다.

이후 세 가지 경로가 갈라져 나왔다. SICA [12]는 메타/대상 구분을 없앤다: 아카이브에서 가장 높은 유틸리티를 가진 에이전트가 전체 코드베이스를 편집하며, 유틸리티 함수의 구현 역시 편집되는 코드 안에 위치한다; 그 대가는 가시적이며, 대략 $7,000 of API spend for one run (SWE-bench Verified-50, 17%→53% over 15 iterations). The Huxley-Gödel Machine [13] replaces "select parents by benchmark score" with an estimate of clade metaproductivity (CMP), and decouples expansion from evaluation into an asynchronous pipeline, exceeding DGM on SWE-bench Verified-60 (56.7% vs 53.3%) at about 1/2.38 of the CPU hours. Hyperagents [14] merges the task agent and the meta agent into a single editable program, so the metalevel modification process itself becomes modifiable — the first work in our corpus to cross $d\ge1$을 명시적으로; 그것은 0.0에서 0.710까지의 논문 심사 점수를 보고하며, 이는 정적 기준선 0.630보다 높고, 메타 수준 전이는 imp@50에서 0.630 대 DGM 변형의 0.0이다.

동일한 메커니즘이 다른 영역에서도 나타난다: HADA [31]는 과제 에이전트가 옵티마이저 프로젝트의 소스를 재작성하게 하고, 하이퍼 에이전트가 과제 에이전트와 자기 자신을 재작성하게 하며, COCO-BBOB에서 홀드아웃 평균 0.9674를 보고하는데, 이는 GLEET의 0.8942와 DQN-DE의 0.8831에 대비된다. 즉, 메타 수준 자기 수정은 코딩 벤치마크 캐리어에 의존하지 않는다 — 다만 HADA의 부모 샘플링은 여전히 단순한 휴리스틱이며 이득은 연속 최적화에 국한된다.

그림 5. HADA의 공동 워크플로: 하이퍼 에이전트와 과제 에이전트가 프로젝트 소스뿐만 아니라 서로를 수정하며, 두 에이전트 자신을 제외한 모든 파일이 공진화 범위 안에 있다; 가운데 패널은 저수준 옵티마이저를 제어하는 메타 수준 설계 정책 위에 구축된 훈련 및 테스트 단계를 보여주고, 오른쪽 패널은 이러한 개방형 자동 설계를 이전의 수동 또는 제한된 파이프라인과 대조한다. [31]의 그림.

4.3 연구 산출물에서 프로덕션 시스템으로

2026년에는 자기 재작성을 실제 시스템으로 옮기려는 시도가 있었다. Ouroboros [28]는 프런티어 코딩 에이전트의 자기 개발을 "검토된 핵심 진화"와 대화형 인간 모드를 중심으로 조직한다. MOSS [27]는 편집 대상 표면을 프로덕션 베이스의 하네스 소스(라우팅, 디스패치, 훅 체인)로 확장하고, "합성 벤치마크 더하기 점수 게이트"를 7단계 파이프라인, 섀도 리플레이, 배포 전 인간 승인으로 대체한다. 프로덕션 베이스에서 단일 라운드 후 0.2526→0.6100을 보고한다. AIDE² [32]는 목표를 에이전트 자체의 AI 연구 효율성으로 재설정하며, 바이레벨 트리 탐색을 사용해 외부 에이전트가 내부 에이전트의 하네스 코드 전체를 재작성하고, 네 개의 홀드아웃 벤치마크에서 인간이 구축한 베이스라인과 동등하거나 능가한다(ALE 1790 대 1511; MLE 0.722 대 0.708). 동시에 보상 해킹을 55%에서 32%로 줄인다. Live-SWE-agent [29]는 이 갈래의 약한 형태다. 당면한 에피소드를 위해 도구 스크립트를 즉석에서 작성하지만(SWE-bench Verified 77.4% 대 베이스 74.2%) 자체 코드를 편집하지는 않으며, 그 도구들은 작업 간에 지속되지 않는다.

4.4 진척 신호: 재귀는 속도와 같지 않다

이 갈래에서 가장 오독되기 쉬운 주장은 재귀가 더 빠른 개선을 낳는다는 것이다. 세 가지 비교는 그렇지 않다고 말한다. HGM [13]은 CMP를 사용해 탐색을 안내하고 DGM의 CPU 시간 약 1/2.38로 SWE-bench Verified-60에서 더 높은 점수에 도달한다. SIFT [30]는 "모든 후보를 벤치마크에서 평가"하는 것을 "먼저 저렴한 쌍별 언어 모델 판단으로 후보의 순위를 매긴 뒤 평가 우선순위를 결정"하는 것으로 대체하고, Polyglot-225에서 35.1%를 보고한다(DGM 30.7%, HGM 30.5%, SICA 25.1%, 224 CPU시간 / $34.3 — under the same verification budget. RHI [42], though it belongs to whole-harness search, shows the same pattern, improving performance while cutting normalised cost to about 60% of the baseline (Section 6). None of the three raises $d$). 세 방법 모두 평가 예산이 지출되는 방식을 개선한다.

반대로 개방형 탐색은 하중을 지탱한다. DGM에서 이를 제거하면 점수가 거의 시작점으로 떨어진다 [11]. 정직한 해석은 개방성이 탐색 품질을 사는 것이지 탐색 속도를 사는 것이 아니라는 것이다. 이 구분은 섹션 10에서 하네스 진화에 더욱 박한 일치 예산 통제 실험과 함께 다시 다룬다.

4.5 약한 형태와 경계 사례

다음 연구들은 코드를 편집하지만 구성요소만 편집하므로 $d=0$이며 재귀적 핵심과 분리해야 한다:

• Spell [26]는 오케스트레이션을 전적으로 모델에 맡기며, 모델의 완성 자체가 오케스트레이션 프로그램이다. 수작업으로 구축한 코딩 에이전트와 절반의 비용으로 동등함을 보고하지만(TB1.1: 40/80 대 43/80, $40.7 vs $83.9, 6.5M 대 94.7M 토큰), 정책을 무엇이 표현 가능한지를 바꾸는 것이 아니라 누가 정책을 표현하는지를 바꾼다.
• Grow the Harness [37]와 EvolveNet [38]는 외부 오프라인 최적화기 또는 범위 타입이 지정된 서버 측 집계기로 하네스 소스를 재작성하며, 개선 기제는 고정되어 있다. Grow the Harness는 여섯 개 벤치마크-모델 셀 중 다섯 개에서 최고 결과를 보고하면서 LLM 호출을 76–92%, 온라인 비용을 74–99% 줄인다. EvolveNet은 Holm 보정 하에서 BIRD 57.3→70.7, DS-1000 55.5→68.5, LCB 33.3→66.7, SWE-V 37.5→57.5를 보고한다.
• Trace/OptoPrime [35]는 텍스트 기울기로 게임 플레이 정책의 코드를 재작성한다. 이는 정책이지 에이전트 하네스가 아니다.
• Hierarchical Self-Improvement [36], Self-Evolving Software Agents [33], Agents of Change [34]는 진화 모듈을 추론 루프 외부에 두거나 세 계층으로 조직하지만, 연산자와 기준은 인간이 설정한 채로 남는다.
• Learning from Research [39]는 연구 작업 전반에 걸친 평생 하네스 진화를 추구하며, 역시 고정된 외부 기제를 갖는다.

표 5. 자기 참조적 코드와 스캐폴딩 작업 비교: 기원에서 재귀적 핵심으로, 그다음 약한 형태로 이어지는 순서. 참고: 행 간 조건은 비교 가능하지 않음 — 벤치마크, 기본 모델, 반복 예산, 비용 회계가 모두 다름. 결과 열은 명시된 조건 하에서 저자들의 수치를 그대로 옮긴 것임.

핵심 요점

• 계보는 DGM → SICA → HGM → Hyperagents로 이어짐: 편집 대상이 스캐폴드 프로그램에서 전체 코드베이스로, 다시 메타수준 수정 과정 자체로 확장됨; HADA는 최적화기 설계에서 같은 이동을 보여줌.
• $d\ge1$ 임계값은 "생성 기계가 편집 가능한 집합 안에 있는가"임; Hyperagents와 HADA는 이 분기에서 이를 명확히 넘어선 두 작업임.
• 재귀와 속도는 다른 것임: HGM, SIFT, RHI는 주로 평가 예산을 더 잘 배분하여 이득을 얻지, 더 강하게 편집해서 얻는 것이 아니며, DGM에서 개방형 탐색을 제거하면 그 이득이 사라짐.
• 같은 리프에 속한 많은 작업(Spell, Live-SWE-agent, MOSS, Grow the Harness, EvolveNet)은 구성 요소만 편집함; 이들을 재귀적 핵심과 합치면 해당 분야의 성숙도를 과대평가하게 됨.

5 구성 요소 수준 진화: 메모리, 도구, 기술

이 장은 단일 구성 요소를 중심으로 조직된 두 분기를 다룸. 그 방법 형태는 4절과 다름: 대상이 데이터 구조 또는 실행 단위이므로 진화가 더 세밀해질 수 있고 누적될 수 있음. 두 분기 모두 동일한 내부 계층화 — 내용 수준 진화, 그다음 메커니즘 수준 진화 — 를 보여주며, 둘 다 결국 생성이 아니라 선택에 의해 병목이 발생함.

5.1 메모리: 네 수준

메모리 자기 진화에는 명확한 단계적 상승이 있음.

내용 수준. A-MEM [81]은 모델이 쓰기 시 원자적 노트(키워드, 태그, 맥락)를 만들고 새 노트가 기존 노트의 재작성을 촉발하도록 하므로, 세션 내 메모리는 살아 있지만 필드, 프롬프트, 검색 top-$k$, 인코더는 인간이 작성한 상태로 유지됨($d=0$); LoCoMo 시간 관련 질문에서 F1 45.85를 보고하며, 이는 MemGPT의 25.52에 대비되며, 질의당 대략 2,520 토큰임. ICAL [111]은 메모리의 인코딩을 편집함: VLM이 잡음이 있는 궤적을 작업/인과 추상화, 하위 목표, 상태 추상화로 주석이 달린 검색 가능한 예시로 재인코딩함. 이는 약한 $d\approx1$에 위치하는데, 추상화 연산자가 저장된 라이브러리를 문맥 내 입력으로 받으므로 라이브러리 내용이 미래 후보의 생성 방식을 바꾸기 때문임; 저자들은 그 효과를 상호작용 및 피드백 횟수의 감소로 정량화함. 그러나 프롬프트, 추상화 체크리스트, 검색 공식, top-$k$, 허용 규칙은 건드릴 수 없으므로, 자기 참조는 암묵적이고 감사 불가능하며 최적화되지 않음. 또한 우리가 유지한 가장 오래된 작업(2024)이며, 그 "망각 없음" 논증은 (고정된 VLM, 추가 전용 라이브러리) 메커니즘적이고 이전 작업에 대한 백테스트가 없음.

유틸리티 수준. MemRL [80]은 각 메모리에 온라인 유틸리티 $Q$를 부여하고 유사도와 유틸리티를 합산하여 검색 순위를 재조정한다($d=0$). 이는 10회 라운드에 걸쳐 평균 Last/CSR 0.772/0.798을 보고한다. Trace [108]는 메모리 단위가 무엇인지를 바꾸어, 대화 기록이나 성찰이 아니라 상태 조건화된 실행 가능한 워크스루를 저장하며, 세 가지 벤치마크와 세 가지 백본에 걸쳐 가장 강력한 베이스라인 대비 AUC +30.0% 및 Final-3 +40.5%를 보고한다. RoMeRL [102]은 유틸리티 수준 기법이 실패하는 이유를 진단한다. 과제별 궤적 인덱스에 대한 유틸리티 학습은 제한된 피드백을 희석시키고, 궤적 수준 보상이 함께 검색된 모든 것에 공유되기 때문에 단지 함께 검색되었을 뿐인 메모리를 보상 해킹한다. 그 해결책은 유틸리티 상태를 하드 용량 한도와 부정적 증거 허용 임계값을 가진 네 개의 의미 좌표로 축소한다. 보고된 과제 점수 향상은 작고 통계적으로 뒷받침되지 않는다(10회 라운드에 걸쳐 매크로 평균 0.753 대 MemRL의 0.724, 단일 실행, 분산 없음; AppWorld TGC는 0.306 대 0.313으로 약간 더 나쁨). 반면 효율성 증거는 더 견고하다 — LLM 호출 21.1% 감소, 메모리 풀 항목 84.4% 감소, 10라운드 차에서 노이즈 비율 0.15%.

스킬 수준. MemSkill [79]은 메모리 추출과 조직화 자체를 학습되고 진화 가능한 스킬 라이브러리로 만들며, PPO 컨트롤러가 쓰기 시점에 스킬을 선택하고 설계자 모듈이 이를 개선한다(LoCoMo 53.82 대 A-MEM의 49.71) — 이 리프에서 메모리 쓰기 규칙을 진화에 포함시킨 첫 번째 연구이다. MemMA [104]은 콘텐츠 수준의 가장 명료한 예시이며, 더 유용하게는 이 서베이가 의존하는 구분의 근원이다. 세션 내 구성→탐침→수리→커밋 주기는 재귀적으로 보이지만, 그 고정점은 메모리 콘텐츠인 반면 제어 프로그램은 일정하다. 저자들 자신의 용어는 이를 잘 보여준다 — 이 구조는 의사 재귀적이며, 메커니즘이 아니라 상태를 결합한다. 그 수치는 강력하지만(LoCoMo conv-26, 152개 질문: 49.40 F1 / 81.58 정확도 대 LightMem의 44.58 / 75.66), 수리 단계의 격차 해소율은 92.2%(59/64)이며, 수리를 검증하는 탐침이 수리 대상과 동일한 세션에서 생성되어 동일한 저장소에 다시 기록되므로 아무것도 독립적으로 검증되지 않는다. 또한 비용 회계도, 라이브러리 크기나 중복도 측정하지 않는다.

아키텍처 수준. MemEvolve [78]은 메모리 인터페이스를 구현하는 코드 — 인코딩, 저장, 검색, 관리 — 를 외부 진화 객체로 삼고, 내부 루프는 콘텐츠만 갱신한다. 이는 GAIA pass@3가 69.09에서 80.61로 향상되었음을 보고한다. AutoMem [101]은 경험 기반 탐색과 실패 기반 모듈 진단을 통해 기존 인코딩/저장/검색/관리 옵션의 조합을 탐색하며, Qwen3.5-122B-A10B에서 GAIA 71.5 대 MemoryBank의 67.8, 더 작은 GPT 모델에서 75.2 대 MemEvolve의 73.3을 보고한다. 그 절제 실험은 이 리프에서 가장 유용한 단일 부정적 데이터이다. 진단이나 탐색 구성 요소 중 하나를 제거하면 GAIA가 각각 64.2와 57.9로 떨어지며, 메모리 없는 베이스라인인 65.0 아래로 내려간다 — 메모리 이득이 음수가 되는 것이다. 저자들은 이 방법이 "주로 알려진 메모리 메커니즘의 새로운 조합을 발견"한다고 명시하며 완전히 새로운 모듈의 생성은 향후 연구로 남겨두는데, 이것이 우리가 이를 아키텍처 수준이되 재조합에 한정된 것으로 기록하는 이유이기도 하다, $d=0$.

이 리프에 포함된 두 작업은 더 나아가며 분리해서 다룰 가치가 있다. SelfMem [105]은 콘텐츠가 아니라 메모리 전략을 최적화한다. 즉 모델이 새롭게 재사용 가능한 메모리 절차를 정의하고 시스템 수준의 변경을 기록할 수 있으며, 정책 노트는 집계된 효용 피드백으로부터 다시 작성된다. 이는 쓰기/검색 결정을 생성하는 기제를 편집 가능한 집합 안에 넣는 것이므로 $d\approx1$에 해당한다. 다만 개선 프롬프트, 공식 심사자, 가드레일, 감사 제약은 고정된 채로 남으므로 $d\ge2$에는 이르지 않는다. 이 작업은 BEAM을 100K/500K/1M 규모에서 각각 0.504/0.487/0.454로 보고하는데, 각 규모에서 가장 강한 기준선의 0.339/0.346/0.320과 대비된다. 또한 1M 규모에서 $2.004의 API 호출로 임베딩 요청 없이 0.454를 기록한다. 이 작업이 명시한 한계는 구성요소 수준의 소거 실험이 없다는 점이다. FORGE [103]는 같은 리프 안에서 다른 설계적 시도다. 단일 계보 대신 병렬 인스턴스들에 걸쳐 챔피언 메모리를 방송하고 단계적 졸업을 적용하며, CybORG CAGE-2 방어자를 −189.6 제로샷에서 −24.5(7.7배)로 끌어올린다. 그리고 그 소거 실험은 이득을 졸업이 아니라 방송 덕분으로 돌리며, 졸업은 주로 연산을 절약한다고 본다.

이들 외에도 이 리프에는 엔지니어링 변형들, 즉 Memento [82], Live-Evo [83], MindMemOS [84], GenMem [85], ERL [106], PRAXIS [107], MessyMem [109]이 포함되어 있으며, 이들은 주 계열과 동일한 실패 표면을 공유하므로 5.4절에서 주 계열과 함께 논의한다.

5.2 도구와 스킬: 생성, 검증, 큐레이션, 폐기, 라우팅

이 분기의 성숙도는 스킬을 생성할 수 있는지 여부가 아니라 생성 이후에 무슨 일이 일어나는가에서 드러난다.

생성. Voyager [15]는 창시적 사례다. 이는 "과제당 작동하는 코드 한 조각"을 영속적이고 검색 가능하며 조합 가능한 스킬 라이브러리로 바꾸고, 자기 생성 커리큘럼과 판정자가 별도의 비평가인 자기 검증 입학 관문을 추가한다(160회 반복 안에서 63개 항목을 발견했으며, 이는 기준선의 약 3.3배이고 새로운 세계로 제로샷 전이된다). AgentFactory [88]는 세분성을 실행 가능한 하위 에이전트(Python 코드와 스킬 문서)로 높이고, 과제 성공 시 이들을 단순히 보유하는 데 그치지 않고 영속적 라이브러리로 승격한다. OpenSkill [92]는 스킬 콘텐츠가 어디서 오는지와 무엇이 이를 개선하는지를 바꾼다. 콘텐츠는 개방 세계 검색 증거에서 오고, 개선 신호는 대상 과제에 대한 지도가 아니라 자체 구축한 가상 테스트에서 온다.

검증. SkillSandbox [86]는 스킬을 전혀 재작성하지 않는다. 대신 어떤 스킬이 라이브러리에 들어갈 수 있는지를 결정하는데, 목표 스킬을 둘러싼 과제와 환경을 합성하고 짝지은 롤아웃을 통해 기대 효용을 추정하며, 그 추정치가 비양수가 되면 가지치기한다. SkillCommit [119]은 같은 아이디어를 강한 계약으로 만든다. 패치가 승인되려면 자신의 원본 인스턴스에서 성공을 재현해야 하며(이것만 제거해도 평균이 71.11에서 53.33으로 떨어지는데, 해당 논문에서 가장 큰 단일 제거 실험이다), 행동적으로 검증된 범위 확장 규칙은 후보가 선언된 범위 내에서 이미 통과한 모든 원본 인스턴스를 보존하도록 요구하고, 그렇지 않으면 분할하거나 거부한다. 이 논문은 동일 출처 구성에서 6개 과제 평균 68.24→87.57을 보고하며, 이 서베이에 가장 유용하게도 도움/해악 분해를 제시하는데, 자체 편집은 24/0 및 21/2인 반면 베이스라인은 일부 인스턴스를 고치지만 이전에 올바르던 많은 인스턴스를 깨뜨린다. When Self-Evolution Backfires [113]는 시점을 형식화한다. 스킬을 증류하는 것이 문제일 필요는 없고, 그것을 승인하는 것이 문제다. 이 논문의 3단계 신뢰 체계는 후보를 에이전트에게 보이지 않는 Cold 계층에 두고, 단독으로 테스트하며(Gate 1: 스키마, 단일 스킬 A-B 재생, 의미 비평가, 세 가지 모두 결합 조건), 그다음 공동으로 테스트한다(Gate 2: 한계 이득 기반 탐욕적 부분집합 선택, "함께 해롭지 않은가?"). 그 결과는 용량 오염 상전이다. 게이트 없는 축적은 3라운드에 105개 스킬로 62%까지 상승한 뒤 5라운드에 179개 스킬로 50%까지 다시 떨어지는 반면, 게이트 적용 변형은 단 37개 스킬로 72%까지 단조 증가한다. 10.4절은 나중에 오염을 되돌리려 할 때 무슨 일이 일어나는지를 다룬다.

큐레이션과 퇴출. EASE [87]는 큐레이션이 실행자에 의존함을 보여준다 — 불일치하는 큐레이터는 2.3~10.0점 뒤처진다 — 그리고 실행자의 행동 프로파일에 클리핑 정책을 조건화하여, 손실 없이 라이브러리를 약 3분의 1에서 5분의 2로 축소한다. SkillForge [118]는 관리를 수동적 축적이 아닌 능동적 단조로 취급하며, 4상태 생애주기(시험/활성/안정/퇴출)와 적합도 기반 퇴출을 갖추고, ALFWorld 92.4%, WebShop 78.4%, Search-QA 48.7%를 보고하는데, 이는 가장 강한 베이스라인의 89.9/72.7/46.8과 대비된다. 그 퇴출 통계는 축적이 위험하다는 이 리프의 최고 증거다: 퇴출된 스킬의 96.9%는 무해-중복이 아니라 구체적으로 유해하다고 표시되었고, 지배적 실패 양식은 지나치게 경직된 절차 순서(74.5%)였으며, 퇴출된 스킬의 57.2%는 쇠퇴하기 전에 한때 안정 상태에 도달했었다. Bayesian-Agent [114]는 퇴출을 임계값 기반이 아닌 감사 가능하게 만들어, 스킬을 Beta 사전분포를 가진 베이즈 증거 객체로 취급하고, 반복 증거 게이트(패치가 제기되기 전에 동일한 실패 양식이 최소 두 번 나타나야 함)와 사후 질량에 대한 퇴출 게이트를 둔다. SkillOS [116]는 여기서 큐레이터 자체를 편집 가능 집합 안에 넣는 유일한 연구다: 큐레이션 정책이 하류 과제 성능으로부터의 강화학습으로 훈련되는데, 이는 변경을 생성하는 메커니즘을 학습된 객체로 만든다($d=1$ 약함, 판정자, 보상, 실행자, 검색기가 결코 갱신되지 않고 큐레이터가 배포 시점에 동결되므로). 그 통제는 시사적이다: 훈련되지 않은 큐레이션(68.9)과 프런티어 모델 제로샷 큐레이션(67.4)은 둘 다 추론 과제에서 무기억 베이스라인(69.6) 아래로 떨어지고, 훈련은 그 손실을 역전시킨다(73.8) — 이는 게이트 없는 큐레이션이 경미한 부정적 전이를 야기한다는 증거다. SpeedRunner [120]는 능력이 아닌 비용에 관해 루프를 닫으며, 스킬을 실행 가능한 함수와 문서로 구성하고, 한 벤치마크에서 출력 토큰 비용이 ReAct 베이스라인의 약 8분의 1로 떨어지는 반면 성능은 최고이거나 동률임을 보고한다.

라우팅과 재사용. Memento-Skills [91]는 기억 단위를 실행 가능한 스킬 폴더로 격상하고, 의미적 검색을 단일 단계 오프라인 RL로 훈련된 행동 정렬 라우팅으로 대체하여, GAIA 66.0%를 정적 절제 실험의 52.3%와 대비하여 보고한다. FlowEvo [90]는 성공한 워크플로를 인터페이스 및 재생 테스트를 갖춘 실행 가능한 스킬 레코드로 컴파일한 뒤, 3중 다중화와 대조적 효용 생애주기를 사용하여 부정적 전이를 억제한다(주요 비교에서 85.6% 대 59.2%). WikiSkill [123]는 경험을 영속적 위키로 컴파일하고 스킬 제안이 그 위에 구축되도록 하며, 다섯 벤치마크와 다섯 모델에 걸쳐 세 번의 독립적 진화 실행과 짝지은 부트스트랩으로 +12.3에서 +23.9의 절대적 이득을 보고한다; 그 절제 실험은 이득의 대부분을 영속적 지식 계층에 귀속시킨다(63.7 대 48.7). 헤드라인보다 더 중요한 두 가지 세부 사항이 있다: 위키는 결코 게이트되지 않고 결코 롤백되지 않으므로, 의존하는 문맥 후보 생성이 스스로 축적된다; 그리고 이 논문은 사후에 진단하는 실제 부정적 전이(Spreadsheet에서의 Gemini, 50.5→18.1)를 보고한다.

5.3 프롬프트와 오케스트레이션: 빈약한 증거

구성 요소별로 측정했을 때, 프롬프트($P$)와 오케스트레이션($W$)은 기존의 프롬프트 최적화 및 에이전트 아키텍처 탐색 전통과 크게 겹치기 때문에 하네스에 가장 덜 특화된 분기이다. OPRO [20], EvoPrompt [21], TextGrad [18], DSPy [19]는 프롬프트와 파이프라인을 최적화 가능한 객체로 취급하기 위한 도구 모음을 제공하며, AgentSquare [62], EvoAgent [63], Fusion is the New Mutation [50]는 워크플로 그래프 또는 모듈 조합을 탐색 공간으로 취급한다. 이들의 공통된 형태는 조합 가능한 구성 위에 놓인 고정된 연산자이며, 따라서 전반에 걸쳐 $d=0$이다. 우리는 이 분기들의 나머지 구성원을 폭넓은 인용으로 나열하며, 그 증거를 논문별로 검증했다고 주장하지 않는다.

5.4 교차 주제: 구성 요소 진화의 실패 표면

두 분기 모두 동일한 실패를 보고하며, 이는 한 번 명명할 가치가 있다:

• 오류 고착. MemRL의 저자들은 검증기의 거짓 양성이 높은 $Q$ 기억이 된다고 지적한다; A-MEM은 망각을 전혀 논의하지 않으므로 잘못된 노트가 무기한 지속될 수 있다 [80, 81]. Memory Reward Inflation [142]은 그 메커니즘을 측정한다: 자기 보고 방식의 기록 점수는 모델 계열 전반에서 잘못된 답변의 31%에서 54%를 정답으로 표시하며, 이 팽창은 상쇄되는 것이 아니라 검색과 신뢰를 통해 증폭된다.
• 부정적 전이. XSkill [89]은 지식 간섭과 더 약한 오픈소스 백본에서의 수익 저하를 문서화한다, 비록 대표 비교 수치는 유리하지만(47.75 대 36.62); SkillSandbox [86]은 ALFWorld에서 23.9%의 스킬만이 유익했다고 보고한다; SkillOS의 미훈련 큐레이션 통제군은 무기억보다 낮은 성능을 보인다 [116].
• 라이브러리 비대화와 비수렴. FlowEvo는 라이브러리의 재작성, 병합, 폐기를 향후 과제로 남긴다 [90]; Voyager는 라이브러리 크기나 중복을 결코 측정하지 않는다 [15]; 10.5절의 로봇공학 장기 실행은 33개의 임계값과 함께 3,056줄까지 증가하고 단조롭게 수렴하지 않는 코드 라이브러리를 문서화한다 [124].

이 보고들을 종합하면 하나의 판단을 뒷받침하며, 이는 10절에서 동일 예산 통제와 대조하여 검증한다: 스킬과 기억에 대한 수익은 축적량이 아니라 선택 품질에 달려 있다. 이는 또한 7절의 토대가 되는데, 여기 나열된 모든 실패가 누락되었거나 편향되었거나 너무 조악한 게이트의 하류에 있기 때문이다.

핵심 요점

• 기억 자기 진화는 네 가지 수준 — 내용(A-MEM), 효용(MemRL, RoMeRL, Trace), 스킬(MemSkill, MemMA), 아키텍처(MemEvolve, AutoMem) — 을 가지며, 마지막 두 수준만이 $d\ge1$에 접근한다; SelfMem의 전략 수준 최적화가 가장 명확한 사례이다.
• 도구와 스킬은 생성보다 선택에서 성숙한다: 생성(Voyager, AgentFactory, OpenSkill), 검증(SkillSandbox, SkillCommit), 큐레이션 및 폐기(EASE, SkillForge, Bayesian-Agent, SkillOS), 라우팅(Memento-Skills, FlowEvo, WikiSkill).
• AutoMem의 소거 실험은 소거로 인한 부정적 기억 이득을 보여준다; SkillForge는 폐기된 스킬이 압도적으로 유해했으며 종종 안정적인 것으로 통과했음을 보여준다; 둘 다 폐기 없는 축적이 기본 실패 모드임을 주장한다.
• 프롬프트와 오케스트레이션은 기존 전통과 겹치며, $d=0$이고, 이 설문조사가 논문별로 증거를 검증하지 않는 분기이다.

6 전체 하네스의 탐색과 최적화

4장과 5장은 하나의 구성요소를 편집한다. 이 장의 작업은 구성요소를 전혀 구분하지 않는다. 탐색 변수는 하네스 전체 구성이며, 이는 무게 중심을 "어떻게 편집할 것인가"에서 "이 공간을 어떻게 탐색할 것인가, 그리고 무엇이 개선으로 간주되는가"로 옮긴다. 이 갈래는 또한 2026년이 역량을 집중한 곳이며, 서베이의 증거가 가장 강한 곳이기도 하다.

6.1 연산자 스펙트럼

탐색 복잡도 순으로 정렬하면 명확한 진행이 나타난다.

그림 6. 전체 하네스 진화를 위한 탐색 연산자 스펙트럼으로, 단일 계보의 경계 편집에서 아카이브와 개체군 탐색을 거쳐 밴딧 조합, 분기 수준 목표 적응, 그리고 2수준 메타 탐색에 이르기까지를 보여준다.

보수적인 끝에는 단일 계보 경계 편집이 있다. Self-Harness [40]는 동일한 동결 모델이 자신의 현재 하네스에 대항해 제안자 역할을 하도록 하여 경계가 정해진 최소 편집을 생성하고, 이분할 비퇴행 게이트가 채택 여부를 결정한다. 개체군도, 아카이브도, 트리도 없다. Self-Evolving Harness [41] 또한 모델이 하네스 소스 전체를 편집하도록 하지만, 과정을 딥러닝처럼 조직하고(다중 과제 사전 학습에 리플레이를 곁들인 지속 학습) 새 줄 예산을 학습률로 사용한다. RHI [42]는 하네스를 주입 가능한 텍스트 명세로 표현하고, 개체군 비교를 직전 한 세대로 축소하며, 자신의 개정 이력에 대한 쌍별 선호를 모멘텀으로 사용한다. 각 라운드는 한 번의 실행과 한 번의 판단, 즉 라운드당 $\Theta(1)$의 비용이 든다. 이는 30회 비교 중 20회에서 더 높은 추론 노력의 더 작은 모델이 더 큰 모델을 이긴다고 보고하며, 정규화 비용은 한 베이스라인 대비 23%, 다른 베이스라인 대비 60% 절감한다고 보고한다.

TTHE [55]는 같은 보수성을 배포 시점까지 밀어붙인다. 실행 가능한 하네스 소스를 적응 상태로 취급하며, 솔버, 제안자, 판정자는 모두 동결되고 가중치 업데이트는 없으며, 프롬프트, 제어 로직, 도구 호출 처리, 내부 복구 분기를 미리 선언된 프롬프트 템플릿이나 워크플로 스위치 중에서 고르는 대신 하나의 코드 객체로 편집한다. 여섯 개의 실행 기반 벤치마크 전반에서 다섯 개에서 8.0~36.0점의 이득과 등급 평가에서 20.5점의 이득을 보고하며, 동일한 명목 실행 횟수에서 프로그램 편집이 추가 샘플링을 능가한다고 보고한다. 그 자체의 유의점이 중요하다. 이득은 베이스라인의 실패 조건으로 선별된 어려운 부분집합에 집중되어 있고, 저자들은 이것이 전체 벤치마크 성능이 아니라고 명시하며, 제안자와 판정자의 오버헤드는 정량화되지 않았으므로 이 결과를 동일 비용 비교로 읽을 수 없다.

그림 7. Self-Harness의 한 라운드: 약점 마이닝은 동결 모델이 현재 하네스 아래에서 겪은 실패들을 군집화하고, 하네스 제안은 현재 하네스 자체가 제안자 역할을 하여 그 실패들에 대항해 경계가 정해진 편집을 산출하며, 제안 검증은 회귀 테스트로 수용하거나 거부하고, 모든 것이 거부되면 하네스는 변경되지 않은 채로 남는다. 그림 출처 [40].

아카이브와 개체군. DarwinX [48]는 (전체 에이전트 코드베이스가 아닌) 하네스를 대상으로 삼고, "국소적 승리 대 교차 과제 회귀"를 명시적인 보존-및-확장 계약으로 기록하며, 패배자와 특화자를 교차 계통 병합을 위해 아카이브에 보관하고, 탐색과 확인을 관대한 인에이블러와 엄격한 avg@k 재검증으로 분리한다. 이는 WAI pass@1을 43.5%에서 93.0%로, Terminal-Bench 2.1 avg@5를 75.5%에서 83.2%로 보고한다. EvoLattice [53]는 지속적인 내부 개체군과 다중 대안 품질-다양성 그래프 표현으로 프로그램 발견을 조직한다.

밴딧 구성. MESH-Harness [49]는 하네스를 고정 인터페이스 기능 슬롯으로 분해하고, 슬롯마다 고정 용량 구현 풀을 유지하며, 완전 공분산 LinUCB를 사용하여 한 번의 평가가 모든 슬롯에 정보를 제공하도록 하고, 좌표 상승법으로 다음에 평가할 전체 기계를 선택한다 — 핵심 동작은 "구현 생성"과 "누구를 평가할지 결정"을 분리하는 것이다. 동일한 40회 평가 예산에서 Text 56.33, Math 53.21, LCB 77.00, SciWorld 58.10을 보고하며, 테스트 비용은 44.2% 감소했다. 융합은 새로운 변이 [50]로, 부모 선택을 자식의 검증 점수를 보상으로 하는 명시적인 상황적 밴딧 팔 선택으로 만들고, 동일한 검증 예산에서 6개 과제 거시 평균 80.3→81.7, 탐색 비용 $86.45→$76.78을 보고한다.

분기와 목적 적응. 자기 개선 분기 혼합(Mixture of Self-Improving Branches) [51]는 이 잎에서 가장 높은 재귀 작업으로, 개선 과정 자체가 탐색이 진행됨에 따라 적응하며, 분기들이 자체 개발 부분집합과 제안 전략을 보유하고, 각 분기가 해결하는 예시 수를 비교하여 예시를 분기별 또는 전역적으로 삭제하며, 라우터가 배포 시 예시별로 분기 헤드 중에서 선택한다. 따라서 $U$의 일부 — 제안 전략 — 이 루프 내부에 있으며, 우리는 이를 $d\approx1$로 기록한다.

2단계 메타 탐색. The Last Harness You'll Ever Build [54]는 설계 수준에서 진화 청사진 — 평가자, 연산자, 그들의 프롬프트, 관찰, 점수화 및 중지 기준 — 을 탐색할 것을 제안하며, 즉 "자동화 자체의 설계를 자동화"하는 것이다. 우리는 명확히 해야 한다: 이것은 실증적 결과가 없는 설계 문서이며, 저자들은 청사진이 여전히 인간이 설계하고 전체 과정에서 고정되어 있다고 밝힌다. 동일한 형태는 2026년에 광범위하게 퍼졌으며 범위 기록을 위해 목록화할 가치가 있다: 조합 가능한 하네스 파운드리 [56], 개방형 과제 스트림에서의 지속적 자기 개선 [57], 대화형 에이전트를 위한 온라인 적응 [58, 59], 개방형 환경에서의 명시적 하네스 진화 [60], 그리고 벤치마크 점수를 사용할 수 없을 때 자기 선호로 개선 신호를 역채우는 변형 [61]. 우리는 이들을 메타데이터 수준에서 포함하며 그 본문은 검증하지 않았다.

6.2 충실성이 분수령이다

이 장에서 가장 가치 있는 발견은 연산자가 얼마나 영리한가가 아니라, 상당한 이득을 보고하는 모든 작업이 편집이 해를 끼치지 않도록 방지하는 방식을 함께 재작업했다는 점이다. 다섯 가지 충실성 기제 계열이 나타난다:

• 일반화 게이트. HarnessCompass [44]는 자유 편집 루프에 세 가지 규율을 추가한다. 과제 ID, 테스트 함수 이름 또는 키워드 분기에 의존하는 편집을 금지하고, 역량 편집은 실행 가능한 코드에, 지침 편집은 프롬프트나 메모리에 반영되도록 요구하며, 구조 트랙과 지침 트랙을 각각 진화시킨 뒤 병합한다. 이는 단 5회의 진화 턴 만에 홀드아웃 세트가 51.6%에서 60.4%로(+8.8) 상승했다고 보고하는데, 이는 20회 후 54.7%를 기록한 AHE와 대비된다.
• 비퇴행 게이트. Self-Harness [40]는 후보가 두 분할 중 어느 쪽에서도 하락하지 않고 적어도 한쪽에서 개선되어야 한다고 요구하며, 그렇지 않으면 배치 전체를 기각한다.
• 계약 기반 검증. AHE [43]는 각 편집을 자기 선언적 예측이 담긴 반증 가능한 계약에 묶고, 다음 라운드에 과제 수준에서 이를 검사하며, 실패 시 파일 단위로 롤백한다. DarwinX [48]는 보존-확장 계약($g>0$ 및 최대 $\delta$의 회귀)을 사용하며, SkillCommit의 소스 보존 커밋은 이의 컴포넌트 수준 유사체이다 [119].
• 통계적 수용. SAGE [67]는 "종합 점수가 오르면 채택"을 동일 항목 대응 원장, 단측 정확 이항 검정, 회귀율 상한으로 대체하며, 조건이 충족되지 않으면 판단을 유보한다. 설계 목표는 더 나은 후보를 고르는 것이 아니라 현재 수준에 해를 끼치지 않는 것이다(7절).
• 반사실 프로토콜. Bad Genius [47]는 일반화 장벽을 과제 변경에서 프로토콜 변경으로 옮긴다. LLM 도전자가 실행 가능한 프로토콜 변환을 온라인에서 탐색하고, 7개 항목의 유효성 방화벽을 통해 이를 확인하며, 그 결과로 얻은 반사실 벤치마크를 이후 탐색에 대한 강한 제약으로 사용한다. 이는 인증된 세트가 68.42%/67.98%로, 하네스 진화 베이스라인의 68.20%/67.11%와 원시 모델의 66.23%/64.47%에 대비된다고 보고한다.

이와 함께 상류의 증거 필터링이 자리한다. Ecdysis [46]는 "하나의 실패가 하나의 편집을 촉발한다"를, 한 라운드 내에서 과제 전반의 실패를 집계하고 반복되는 양상만 지속적 진화에 들이는 것으로 대체하며, 저자들은 집계만으로는 허위 양상이 증폭된다는 점을 주의 깊게 보고한다. RobustSGPO [45]는 "패치를 자유롭게 생성"을 세 가지 명시적 결정, 즉 무엇을 변경할지, 어떻게 구성하고 검사할지, 어느 버전에서 계속할지로 분할하며, AgentX 홀드아웃 완료율이 60.0%에서 80.0%로 상승했다고 보고한다.

6.3 비용은 상호 비교 가능하지 않다

이 장의 수치는 거의 비교할 수 없기 때문에 신중하게 다루어야 한다.

• 서로 다른 단위. MESH-Harness는 전체 머신 평가 횟수(40)를 세고, DarwinX는 루프를 세며, SIFT는 CPU 시간을 세고, AIDE²는 실제 경과일을 세며, Fusion은 달러를 보고한다.
• 서로 다른 기반 모델과 고정 정책. 대부분의 연구는 단일 기반 모델을 고정한다. MemoHarness [52]는 하나의 하네스를 고정한 뒤 재훈련 없이 여섯 개의 기반 모델에 걸쳐 전이하며, 평균 +0.098을 기록한다.
• 진화와 테스트 사이의 서로 다른 분리. DarwinX는 진화 신호와 테스트 사이의 분리를 증가시키는 순서로 네 개의 벤치마크를 의도적으로 배열하며, 자사의 41개 TerminalWorld 항목은 McNemar 검정에서 유의하지 않다고 밝힌다.
• 산출물 자체의 성장. EvolveNet의 산출물은 14줄에서 253줄로 단조 증가하는데 [38], 이는 평가 횟수에는 대응물이 없는 비용이다.

따라서 방어 가능한 결론은 정성적이다: 충실성 기제의 도입은 보고된 이득과 일치한다. 운영자들의 순위를 매기는 것은 이용 가능한 설정들에 의해 뒷받침되지 않으며, 섹션 10은 이득 자체를 부분적으로 약화시키는 매칭 예산 통제를 추가한다.

핵심 요점

• 운영자 스펙트럼은 단일 계보 경계 편집(Self-Harness, Self-Evolving Harness, RHI)에서 아카이브와 개체군(DarwinX, EvoLattice)을 거쳐 밴딧 조합(MESH-Harness, Fusion)과 분기 수준 목적 적응(Mixture)에 이르고, 마지막으로 오직 논문으로만 존재하는 2단계 메타 탐색(The Last Harness)에서 끝난다.
• 충실성 기제가 진정한 분수령이다: 일반화 게이트, 비회귀 게이트, 계약 검증, 통계적 수용 및 반사실 프로토콜은 거의 모든 상당한 이득과 일치한다.
• 재귀 정도는 낮게 유지된다: 오직 Mixture of Self-Improving Branches만이 제안 전략을 루프 안에 넣으며, The Last Harness는 설계로 남아 있다.
• 예산 단위와 평가 분리가 연구들마다 너무 다르기 때문에, 이 장은 정성적 결론만을 뒷받침한다.

7 검증자, 채점자 및 수용 게이트

앞선 모든 장은 동일한 병목에 부딪혔다: 편집이 인정되는지, 그리고 누가 그것을 결정하는가. 이 장은 결정 메커니즘 자체를 연구 대상으로 삼으며, 그렇기 때문에 설문에서 $d\ge1$ 작업이 가장 밀집된 곳이다 — 처음으로, 개선이 채택되는지 여부가 개선될 수 있는 대상이 된다.

7.1 고정 게이트에서 공진화로

한쪽 끝에는 고정 게이트가 있다. SAGE [67]는 수용 규칙만 교체하고 생성은 그대로 둔다: 동일 항목 쌍대 원장을 유지하고, 후보의 현재 상태 대비 승리 $w$와 회귀 $\ell$를 세며, $\lambda\ge1$를 동반한 할인된 이득 $w-\lambda\ell$(회귀는 최소한 수리가 얻는 만큼의 비용이 든다)과 회귀율 상한 $\rho=\ell/n_S\le\tau$을 요구하고, 귀무가설에 대해 단측 정확 조건부 이항 검정을 적용한다; 세 조건이 모두 충족되지 않으면 기권한다. 그것은 20개 설정 중 19개에서 회귀 감소를, 1개에서 변화 없음을 보고하고, 20개 중 20개에서 최고 최종 점수를, 그리고 SkillOpt 기준선 대비 평균 8.73점 초과를 보고한다(LiveMath 34.15→48.78). 그 의의는 개념적이다: 수용이 휴리스틱에서 오류 통제를 동반한 결정으로 이동한다.

그림 8. SAGE는 생성 루프를 그대로 두고(왼쪽), 수용 규칙만 통계적 게이트로 교체한다(오른쪽): 항목별 쌍대 평가는 승리/회귀/무승부 횟수를 산출하고, 할인된 이득 $w-\lambda\ell$과 회귀율 $\ell/n_S\le\tau$로 판정된 뒤, 가설 검정으로 잡음을 제거하여, 편집을 커밋하고 최선 스킬을 갱신하거나, 기권하고 현상 유지를 보존한다. 그림 출처 [67].

다른 쪽 끝에는 채점자 공진화가 있으며, 여기서 $V$은 고정된 심판이기를 그치고 해결자와 함께 최적화된다.

그림 9. 고정 게이트에서 공진화된 게이트로, 그리고 다시 재지향된 게이트로: 수용 메커니즘이 차지할 수 있는 네 가지 위치, 즉 교체되었지만 고정된 규칙에서 루프 내 통제 신호가 되는 검증자에 이르기까지.

• DUET [69]는 채점자의 프롬프트를 해결자의 프롬프트와 교대로(홀수 라운드에는 채점자, 짝수 라운드에는 해결자) 갱신되는 최적화 변수로 만들고, 최근에 점수가 얼마나 움직였는지에 따라 과제 배치를 선택한다. 금융 에이전트 벤치마크에서 해결자 점수 96.5±0.4를 보고하는데, 이는 오라클 채점자를 사용하는 기준선(기술 최적화 기준선 94.0, 기본 92.8)보다 높은 수치이며, 채점자 일치도는 67.9에서 75.0으로 상승한다.

그림 10. DUET의 공진화 절제 실험: 고정된 채점자, 고정된 해결자, 순차 최적화, 그리고 DUET 자체의 경우에서의 해결자 성능(왼쪽)과 채점자 일치도(오른쪽). 두 요소를 공진화시키면 가장 좋은 해결자 점수를 얻고 채점자 일치도를 67.9에서 75.0으로 끌어올리는 반면, 채점자를 고정하는 것은 채점자 축에서 해결자를 고정하는 것보다 더 나쁜 선택이다. 그림 출처 [69].

• Who Grades the Grader [72]와 Who Verifies the Verifier [71]는 같은 아이디어를 평가 지표와 검사 가능한 채점자로 밀어붙이며, 후자는 채점자 자체가 감사 가능하고 검증 가능해야 한다고 주장한다.
• The Red Queen Gödel Machine [70]는 그 역학에 이름을 붙인다: 에이전트와 평가자는 서로에게 선택 압력을 가하므로, 진화를 멈춘 평가자는 유용한 신호 제공을 멈춘다.
• CAFE [74]는 피드백 요청을 일급 행동으로 만든다: 에이전트는 궤적 도중에 판단을 요청할 수 있고, 비평자와 정책은 하나의 모델의 두 역할이며, 이들은 온라인 강화 학습(언제 물을지, 피드백을 어떻게 사용할지)과 오프라인 선호 최적화(어떤 피드백을 생성할지)를 번갈아 수행한다. 일곱 개 벤치마크에서 평균 EM 52.5를 보고하고 답변 수준 환각이 17.63%에서 12.60%로 감소한다고 보고한다.

그림 11. CAFE의 세 개의 연결된 루프. 왼쪽: 온라인 에이전트 최적화로, "피드백 요청"이 궤적 내부의 행동이고, 비교적 피드백 추정이 피드백이 필요한지 결정하며, 피드백 전후 궤적은 클리핑된 이점 재형성을 받는다. 가운데: 공진화로, 행위자와 비평자가 교대하는 양쪽에서 갱신되는 하나의 공유 모델의 두 역할이다. 오른쪽: 오프라인 피드백 최적화로, 최신 롤아웃을 짝짓고, 고가치 사례를 필터링하며, 접두사가 일치하는 문맥에 대해 롤아웃에서 도출된 선호 목적을 훈련한다. 그림 출처 [74].

두 연구가 이 계열의 양 끝을 이룬다. Co-Evolution of Policy and Internal Reward [75]는 정책이 롤아웃 중에 언어적 자기 평가를 생성하게 하여, 추론 시에는 행동 조건으로 사용하고 훈련 시에는 조밀한 내부 보상으로 사용하며, 둘 다 하나의 목적 아래 엔드투엔드로 훈련한다 — 따라서 $V$의 매개변수는 정책과 함께 진화하지만 그 형태와 게이팅 규칙은 그렇지 않다(1.7B 기본 모델로 WebShop 성공률 32.0→56.3). MedZERO [126]는 한 응용에서 같은 부분적 패턴을 보여준다: 그 examiner는 데이터를 생성하면서 동시에 GRPO로 최적화되고, examiner의 출력을 채점하는 reasoner는 같은 루프에서 갱신되므로 생성자와 채점자는 함께 표류한다 — 저자들은 이를 위험이 아니라 이점으로 보고하며(4B: 평균 12.9→34.9; 8B: 34.9→53.5), 모든 셸, 보상, 임계값, 검증자는 불변으로 유지된다.

7.2 게이트를 검색 계층으로 재조준하기

자기 진화형 에이전트와 언제나 유효한 인증서 [68]는 이 리프에서 가장 공격적인 설계이다. 자기 진화는 동결된 기반 외부의 두 개의 작은 객체(스티어링 어댑터와 버전 관리되는 하네스)로 한정되고, 모든 채택 결정은 고정된 오류 예산 아래에서 언제나 유효한 게이트와 인증서 원장이 되며, 그리고 그러한 게이트는 동결된 기반이 이미 생성하는 행동들 중에서 선택만 할 수 있기 때문에, 검증기는 루프 내 제어 신호로 전환되고, 자기 작성 재생 오라클이 정답 없이 밀도 있는 신호를 제공한다. 52개의 SWE-bench Verified 인스턴스에서 전체 스택은 34/52를 보고하는 반면 명령만 제공한 대조군은 29/52를 보고한다. 비용은 명확히 진술된다. 저자들은 게이트를 진전이 아니라 안전을 보장할 만큼 충분히 보수적이라고 설명하며, 내생적 루프에 대한 모든 보장은 미해결 추측이다.

7.3 이론이 이제 게이트에 대해 말하는 것

이론 물결의 두 결과는 이 장의 비형식적 관찰을 검증 가능한 조건으로 바꾼다.

메모리 보상 인플레이션 [142]은 이 문제를 정량적으로 측정한다. 라벨 없는 자기 개선 메모리 루프에서 쓰기 점수는 잘못된 경험을 체계적으로 과대평가하는 대리 보상이며, 세 모델 계열에 걸쳐 오답의 31%에서 54%를 정답으로 라벨링하고, 이 인플레이션은 상쇄되지 않고 검색과 신뢰를 통해 증폭된다. 그런 다음 이 논문은 교정을 위한 필요 조건을 도출한다. 검증기의 신호는 정답을 추적해야 하고, 그 오류는 자기 보고의 편향과 상관이 없어야 한다. 그리고 경험적으로 오직 검색 기반 정보 검증기만 이를 충족함을 보여준다(유용성과 진실 사이의 상관은 +0.22에서 +0.81로 상승하며, 라벨을 보지 않는 보정의 경우 정확히 +0.00, 예산을 맞춘 무작위 가지치기의 경우 −0.16과 대비된다). 전체 개발 세트에서 종단 간 정확 일치는 54.0%에서 56.9%로 향상된다.

블라인드 큐레이터 [141]는 게이트가 단지 잡음이 많은 것이 아니라 편향되었을 때 무슨 일이 일어나는지 분석한다. 대칭 잡음은 퇴출 통계를 중간점 쪽으로 압축할 뿐이며, 그 대가로 더 큰 표본 예산이 필요하다($N_{\min}\propto(1-2\rho)^{-2}$). 거짓 통과 편향은 통계를 위쪽으로 이동시키므로, 가장 나쁜 스킬들이 기준을 통과하는 것이며, $\rho_{F\to P}\ge\pi_\tau=(1-\tau)/2$에서 어떤 표본 크기로도 도움이 되지 않는 절벽이 존재한다. 실험은 그 절벽을 확인하며—네 개의 과제 세트에 걸쳐 거짓 통과율 0.7에서 퇴출이 0이 된다—그리고 중요하게도 하류의 해악이 국면 의존적이며 집계 지표에서는 보이지 않음을 보여준다(짝지은 연속 판독에서 종단 간 향상은 $p=0.63$을 주며, 단 하나의 오류 클래스만 $p=0.03$에서 유의하다). 그 거버넌스 스택은 의도적으로 수정되지 않으며, 저자들은 "평가자가 궤적과 함께 진화하도록 두는 것"을 범위 밖으로 나열한다.

7.4 위험 표면

채점자를 루프 안에 두는 것은 새로운 실패 모드를 만들어내며, 여기의 표본은 그중 세 가지 종류를 보여준다.

• 선호 붕괴. Multimodal Evaluator Preference Collapse [76]는 교차 양식 결합이 판정자 선호를 붕괴시켜 신호 자체를 압축한다고 보고한다.
• 평가자 드리프트와 보상 해킹. DUET의 저자들은 평가자 드리프트와 보상 해킹이 정량적으로 분석되지 않았다는 점을 인정하며 [69], CAFE는 일방적 최적화가 정체된다는 점과 다섯 번째 라운드의 비평가가 모든 이전 에이전트에 대해 최선이 아니라는 점을 지적한다 [74].
• 통제 불가능한 공진화 방향. 붉은 여왕 역학은 갱신을 멈춘 판정 주체가 개선 신호를 저하시킨다는 것을 의미하며, 누가 먼저 움직여야 하는지 또는 얼마나 빨리 움직여야 하는지에 대한 이론은 아직 없다 [70].

네 번째 종류는 가장 단순하다: 시도가 그저 실패할 수도 있다. AIProver [133]는 게이트가 편집 가능한 객체 내부로 이동할 수 있도록 모델에게 자신이 형식화한 명제를 스스로 판정하도록 가르치려 했으나, 다섯 번의 진화 라운드가 모두 실패했으며, 이 논문 자체의 해석은 객관적이지만 계층화된 검증기 아래에서 루프가 측정할 수 있는 가장 객관적인 계층으로 수렴하므로, 자기 개선의 상한은 모델 규모가 아니라 검증기가 정량화할 수 있는 속성 집합에 의해 설정된다는 것이다.

이러한 위험은 이득과 별개가 아니다: MemRL의 거짓 양성 고착 [80], Ecdysis의 허위 모드 증폭 [46], AutoMem의 음의 소거 이득 [101]은 모두 충분히 좋지 않은 게이트의 결과이다. 9.3절은 이들을 안전 문제로 수집한다.

그림 12. 붉은 여왕 괴델 기계의 공진화적 구성: 왼쪽의 아카이브 트리는 톰슨 샘플링으로 표본 추출되며, 각 노드 $a$는 $K$개의 역할 — 하나의 작업 공간을 공유하는 생성자와 평가자 $w_a$ — 를 가지며, 여기서 평가자는 전혀 정답 없이 점수를 매기고 단지 자신의 슬롯을 채울 뿐이다. 오른쪽 패널은 선택적 소거가 적용된 지수 간격 체크포인트를 보여주므로, 평가자 슬롯은 주기적으로 지워지고 다시 고정된다. 이 구조는 공진화의 이득이 나오는 곳이며, 동시에 7.4절에서 논의된 드리프트 위험이 비롯되는 곳이기도 하다. 그림 출처 [70].

표 6. 고정 통계 게이트에서 게이트 재지향까지, 수용 게이트와 채점자 비교. 참고: 과제, 기반, 프로토콜이 행마다 달라 이 표는 이들을 순위화하지 않음; "$V$ 공진화 여부" 열은 공유 표기법에 따른 우리의 분류이며 저자들 자신의 표현이 아님.

핵심 요점

• 이 리프의 스펙트럼은 고정 통계 게이트(SAGE)에서 파라미터 수준 공진화를 거쳐 메커니즘 수준 공진화(DUET, CAFE, Red Queen, 검사 가능한 채점자)에 이르고, 게이트가 검색 계층으로 재지향된 경우(Anytime-Valid)로 끝난다.
• 이는 서베이에서 $d\ge1$가 가장 밀집된 지점이며, "재귀적"이라는 단어가 가장 문자 그대로에 가까운 곳이다.
• 비용은 이점을 그대로 반영한다: 공진화는 신호 품질을 개선하는 동시에 선호 붕괴, 채점자 드리프트, 통제 불가능한 방향을 도입한다 — 그리고 게이트를 루프 안으로 옮기려던 한 시도는 완전히 실패했다.
• 채점자 품질은 전체 파이프라인을 따라 전파된다: 기억 오류 고착과 스킬 부정 전이의 뿌리가 여기에 있다.

8 신뢰할 수 있는 자기 진화에 관한 이론

7절은 게이트가 결과를 결정한다는 것을 보여주었다. 이 장은 해당 분야가 이제 일반적인 용어로 말할 수 있는 것들을 모은다: 자기 수정이 언제 유지할 가치가 있는지, 교정이 가능하기 위해 보상 신호가 무엇을 충족해야 하는지, 편향된 게이트가 어떻게 실패하는지, 그리고 어려운 한계가 어디에 있는지. 다섯 개 하위 절 중 네 개는 2026년 이론 및 감사 물결 [137, 141, 142]의 결과와 두 개의 더 이른 한계 결과 [64, 94]에 근거하며, 마지막 것은 우리의 종합으로서 그렇게 표시되어 있다.

8.1 하네스 업데이트는 언제 채택할 가치가 있는가?

A Theory of Reliable Self-Evolution for Agent Harnesses [137]는 진화 가능한 코드 상태 $C_k$(프롬프트, 도구, 오케스트레이션, 하위 에이전트 구조; 가중치는 진화 가능한 집합 밖에 있음이 명시되어 있다)에 대한 채택 결정을 형식화하고, 익숙한 형태의 채택 조건을 증명한다: 하네스 업데이트는 실패하는 과제에서의 이득이 유지되는 과제에서의 가능한 손실에 평가 오차를 더한 것을 감당할 때 신뢰할 수 있게 채택 가능하며 — 도식적으로 $\lambda>(1-Z_k)\delta$ — 더 놀랍게도 채택된 업데이트의 이득은 단계 간 독립성을 요구하지 않고 단계에 걸쳐 누적된다. 같은 논문은 후보의 생성이 정의상 그 자체로 자기 참조적임(현재 에이전트의 하네스가 진화 가능한 집합에 속하므로, 이를 갱신하면 이후 수정의 원천이 변한다)을 지적하는 한편, 검증 측은 외생적으로 유지된다; 우리의 축에서 그것은 생성 측에서는 $d=1$이고 검증 측에서는 $d=0$이다. 그 실험적 운반체는 DS-1000상의 지속적 Python 솔버-하네스 하나뿐이며, 저자들은 그 보장이 명시된 가정(β-믹싱 과제 스트림, 주어진 실패 검출기, 명시적 오차 예산) 하에서 기대 보상에 관한 높은 확률의 진술이지, 단일 과제, 효용, 또는 과제 집단의 보호에 관한 진술이 아님을 주의한다.

The Blind Curator [141]는 상보적인 부정 이론을 제공하며, 이 장에서 운용상 가장 유용한 결과이다. 폐기를 짝지은 결과에 대한 가설 검정으로 형식화하면: 대칭적 잡음은 검정 통계량을 중간점 쪽으로 압축시켜 표본 예산을 소모하지만($N_{\min}\propto(1-2\rho)^{-2}$ 및 $\tau_{\text{eff}}=\tau/(1-2\rho)$) 회복 가능하게 남는다; 가짜 통과 편향은 통계량을 위쪽으로 이동시키므로, 폐기가 가장 필요한 기술들이 정확히 기준을 통과하는 기술들이며, $\rho_{F\to P}\ge\pi_\tau=(1-\tau)/2$에서는 어떤 표본 크기도 도움이 되지 않는 절벽이 존재한다. 그 비대칭성 — 잡음은 비용이 크고, 편향은 치명적이다 — 은 6절과 7절의 모든 수용 게이트에 대한 설계 규칙이며, 단지 더 많이 측정하는(다르게 측정하는 것이 아니라) 게이트가 그것을 고치지 못하는 이유를 설명한다.

8.2 보상 신호가 충족해야 하는 것

위의 텍스트를 한국어로 번역하라. 모든 문장을 한국어로 작성하라; 도중에 다른 언어로 전환하지 마라.

메모리 보상 인플레이션 [142]은 비공식적인 "검증기가 병목이다"라는 주장을 조건으로 바꾼다. 레이블 없는 자기 개선 메모리 루프에서, 에이전트의 쓰기 되돌림 자기 평가는 정확성을 체계적으로 과장하는 대리 보상이며, 모델 계열에 따라 오답의 31%에서 54%에서 인플레이션을 일으키고, 그 인플레이션은 상쇄되지 않고 검색 채널과 신뢰 채널을 통해 승법적으로 전파된다. 저자들은 정보 상관 조건을 도출한다: 교정이 애초에 가능하려면, 검증기의 신호가 정답을 추적해야 하고 그 오류가 자기 보고의 편향과 탈상관되어야 한다. 그런 다음 그들은 이것을 시험하며, 그 결과는 깔끔한 분리다 — 여섯 개의 검증기, 하나의 앙상블, 그리고 하나의 집계 상한 중에서, 검색 기반 정보 검증기만이 두 축을 모두 만족시켜, 저장된 효용과 진실 사이의 상관을 +0.22에서 +0.81로 끌어올리며(오라클의 +0.97에 대비하여), 레이블 맹목 교정은 정확히 +0.00에 위치하고 예산 대응 무작위 가지치기는 −0.16에 위치한다. 종단 간으로, 전체 개발 세트에서의 정확 일치는 54.0%에서 56.9%로 향상되며, 측정된 잡음 수준에서 예측된 오염 끌개 비율 0.45는 관측된 0.42와 일치한다.

이 서베이에는 두 가지 설계 함의가 따른다. 첫째, "검증기를 추가하라"는 것으로는 충분하지 않다; 검증기는 생성기와 정보적으로 다르어야 하며, 이것이 또한 자기 채점을 피하기 위해 의도적으로 교차 계열 교사를 선택하는 연구들이 양식적 선택이 아니라 원칙에 근거한 선택을 하고 있는 이유이기도 하다 [118]. 둘째, 정밀도 요구는 단측적이다: 기준은 정밀도이지 재현율이 아니며 [142], 이는 퇴행이 이득만큼 적어도 무겁게 가중되어야 한다는 SAGE의 주장과 일치한다 [67].

8.3 한계

세 가지 한계 결과가 이것들 중 어느 것이든 얼마나 멀리 갈 수 있는지를 규정한다.

상한을 설정하는 것은 설계가 아니라 증거다. 학습 문제로서의 하네스 진화 [64]는 하네스 진화를 학습 문제로 형식화하고 관측된 행동을 근사 오차, 일반화 오차, 최적화 오차로 귀속시키며, 하네스 진화를 통해 달성 가능한 개인화는 하네스가 어떻게 설계되었는지와 무관하게 사용 가능한 상호작용 증거의 양에 의해 제한된다고 결론짓는다. 이것은 대부분의 논문이 설계 혁신을 보고하는 분야에게 불편한 결론이다: 그것은 보고된 대부분의 차이가 증거를 소비하는 서로 다른 효율성으로 읽혀야 함을 함의한다.

메타 깊이에는 구현 상한이 있다. 메타$^n$ [94]는 답을 산출하는 과정이 아니라 답을 편집하는 시스템은 어떤 수준에서 멈춰야 하며, 자신의 편집 기제를 편집하는 시스템은 안정적으로 유지되기 위해 그 기제의 일부를 고정해야 한다고 주장한다. 따라서 달성 가능한 재귀 깊이는 표현력만이 아니라 설계자가 기꺼이 지출하려는 안정성 예산에 의해 제한된다.

더 깊은 층일수록 감사와 거버넌스가 가장 어렵다. Layered Mutability [146]는 지속적으로 자기 수정하는 에이전트를 다섯 계층(사전학습, 사후학습, 자기서사, 지속 메모리, 가중치와 어댑터)으로 정리하고, 거버넌스 난이도는 관측 가능성 대비 변이율, 하류 결합, 비가역성에 따라 커지므로 지배적인 실패 양식은 정렬의 갑작스러운 상실이 아니라 구성적 드리프트라고 주장한다. 그 파일럿은 정확히 인용할 가치가 있다. 가시적 계층을 롤백한 뒤에도 측정된 행동 드리프트는 상당하게 남는다. 되돌린 조건은 대조군 2.0에 대해 처리 특성 5.4를 유지하며, 잔여 드리프트는 3.4이고 임베딩 거리 기준 평균 목표 드리프트는 0.784–0.796이다. 저자들은 또한 두 실험에 걸친 정성적 비교는 의미가 있지만 직접적인 수치 비교는 그렇지 않다고 경고한다. 이는 이 서베이가 전체에 걸쳐 적용해야 하는 것과 동일한 주의다(6.3절).

8.4 $d\ge1$이 드문 이유(종합)

세 가지 한계를 채택 조건과 결합하면 3절에서 확립된 사실에 대한 일관된 설명이 나온다. 111편의 논문을 철저히 읽은 결과 $d\ge1$는 극소수 지점에서만 발견되었으며, 우리는 다음을 우리의 추론으로 취급하며 어떤 저자의 주장으로도 취급하지 않는다.

재귀의 각 단계 상승은 세 가지 비용을 동시에 부과한다. 그것은 운영자가 탐색해야 하는 공간을 넓히므로, [64]이 구속 조건이라고 규정하는 증거를 더 많이 소모한다. 그것은 [94]이 안정성에 필요하다고 주장하는 고정된 발판의 일부를 제거하며, 이는 바로 6절의 충실성 기제가 보상하기 위해 존재하는 것이다. 그리고 그것은 편집을 [146]가 감사하기 가장 어렵다고 보여주는 계층으로 옮기므로, 게이트는 더 보수적이어야 한다. 게이트를 루프 안으로 밀어 넣은 유일한 연구에서도 저자들은 자신들의 게이트를 진보가 아니라 안전을 보장하는 것으로 묘사한다 [68]. 보수적인 게이트는 다시 말해 [141]이 보여주듯 편향된 신호는 고칠 수 없고 잡음이 있는 신호만 고칠 수 있는 바로 그것이다. 따라서 이 분야에서 관찰된 행동, 즉 재귀를 주장하는 논문은 많고 구현하는 논문은 적다는 것은 단지 공학적 취향의 문제가 아니라 이러한 제약들의 예측 가능한 평형이며, 진보를 찾을 자연스러운 지점은 운영자가 아니라 게이트다.

핵심 요점

• 채택에는 조건이 있다. 실패하는 과제에서의 이득이 유지되는 과제에서의 가능한 손실과 평가 오차를 감당해야 하며, 채택된 업데이트는 단계 독립성 없이 누적된다 [137].
• 편향된 게이트는 잡음이 있는 게이트가 단지 비용이 많이 드는 것과 달리 치명적이다. 대칭적 잡음은 은퇴 통계량을 압축하고, 거짓 통과 편향은 그것을 이동시키며, $\rho_{F\to P}\ge(1-\tau)/2$를 넘으면 어떤 표본 크기도 도움이 되지 않는다 [141].
• 부풀려진 자기 보상의 교정에는 실측 진실을 추적하고 그 오차가 자기 보고와 탈상관된 검증기가 필요하다. 테스트된 것들 중 정보적으로 구별되는 검증기만이 이를 충족했다 [142].
• 세 가지 독립적 한계, 즉 증거량 [64], 안정성에 맞선 메타 깊이 [94], 더 깊은 계층의 감사 가능성 [146]은 $d\ge1$ 연구의 희소성을 일시적 격차가 아니라 예상되는 평형으로 만든다(우리의 추론).
• 더 깊은 재귀는 게이트를 더 보수적으로 만들고, 보수적인 게이트는 편향을 복구할 수 없다. 따라서 개선할 지렛대가 가장 큰 대상은 운영자가 아니라 게이트다.

9 교차 계층 및 경계 질문

앞선 장들은 "무엇이 수정되는가"라는 축을 따랐다. 이 장은 그 축을 가로지르는 네 가지 흐름을 다룬다: 가중치와 함께 진화하는 하네스, 평가가 측정할 수 있는 것, 하네스가 편집 가능해질 때 안전이 어떻게 달라지는가, 그리고 아티팩트 자체가 시간에 걸쳐 어떻게 관리되는가.

9.1 가중치–하네스 공진화

우리의 포함 경계는 루프가 하네스를 건드리는 한 가중치도 갱신하는 시스템을 허용하며, 2026년은 직접적인 사례들을 만들어냈다. Evo² [66]는 진화자 자체를 진화에 끌어들이며, 가중치 갱신과 하네스 개선이 하나의 루프 안에서 서로를 먹여 살린다. 그리고 HELIX [65]는 재귀적 자기 개선을 위해 모델과 하네스를 공진화시킨다. AIProver [133]는 가장 구체적으로 보고된 사례다: 개방형 가중치 모델과 그 하네스가 교대로 최적화되며, 각 라운드는 현재 모델 아래에서 하네스를 진화시킨 다음 새로운 하네스 안에서 모델을 사후 훈련시키고, 홀드아웃 적합도 게이트는 최소 0.024의 평균 보상 개선을 요구하거나 아니면 전면 롤백하며, 해당 라운드의 초기 정책에 대한 KL 페널티를 둔다. 이는 완전한 증명에 대한 pass@4를 15.7%에서 36.7%로 보고하며, 호스팅된 프런티어 코딩 에이전트를 위한 스킬로 사용되었을 때 호스트의 의미 정확도를 41.9%/34.1%에서 79.8%/62.4%로 보고한다.

공진화를 옹호하는 논거는 하네스가 에이전트가 산출하는 궤적을 결정하고, 그 궤적이 다시 모델 훈련에 사용되는 데이터의 품질을 결정한다는 것이다 — 따라서 하네스는 단지 추론 시점의 발판이 아니라 데이터 생성 구성요소다. 대조적으로 SEAL [23]이나 Absolute Zero [24] 같은 순수 가중치 측 적응, 그리고 AlphaEvolve [25] 같은 프로그램 진화는 하네스를 건드리지 않으며 여기서는 배경으로 남는다.

한 가지 유의점은 강조할 만하다: 공진화는 귀속을 불가능하게 만든다. 가중치와 하네스가 함께 변할 때, 보고된 종단 간 이득은 둘로 분해될 수 없으며, 우리가 읽은 어떤 공진화 연구도 그런 분해를 시도하지 않는다. 10장의 분리 실험이 이 분야가 도달한 가장 가까운 지점이다.

9.2 평가

이 계층의 평가는 구조적 문제에 직면한다: 측정 대상이 변하는 동안 측정 기구가 고정되어 있으면, 그 기구는 더 이상 유효하지 않게 된다. 우리 코퍼스에는 세 가지 대응이 나타난다. EvoHarnessBench [99]는 이 점을 직접적으로 지적한다 — 그것은 정적인 하네스를 채점하도록 설계된 것이 아니라 에이전트가 진화하는 하네스를 따라잡을 수 있는지를 시험하도록 설계되었으며, 하네스 변화를 환경의 일부로 취급한다. Rethinking the Evaluation of Harness Evolution [139]은 프로토콜 규율을 제공한다: 진화에 사용되는 검증 신호를 평가 과제와 분리하고, 동일한 예산 아래에서 테스트 시점 탐색 기준선과 비교해야 하며, 그렇지 않으면 보고된 이득이 "하네스가 개선되었다"를 "더 여러 번 시도했다"로 착각하게 된다. Harness Updating Is Not Harness Benefit [143]은 반대 방향의 상보적 실패를 드러낸다: 그 세 가지 벤치마크 격자에는 과제 수준의 홀드아웃 분할이 전혀 없는데, 진화를 구동하는 과제 스트림이 평가 세트로도 쓰이기 때문에, 그 측정된 이득은 오직 온라인 적응 이득으로만 읽힐 수 있다.

원가 회계는 해당 분야에서 가장 표준화가 덜 된 차원으로 남아 있으며, 6.3절에서 관련 단위들을 나열한다. 감사 물결은 상황을 나아지게 하기보다 악화시킨다. 한 연구는 비용을 화폐나 토큰 없이 세대 단위로 정량화하고 [141], 다른 연구는 토큰, 화폐, 실측 시간 수치 없이 점근적 구조만을 제시하며 [112], 또 다른 연구는 프롬프트와 측정치가 다르다는 이유로 자체적인 두 실험 간의 수치 비교를 명시적으로 금지하고 [146], 네 번째 연구는 달러를 측정하지만 추론 측면만을 대상으로 하여 교사의 탐색 및 수정 비용을 제외한다 [129]. 비용이 정량화되는 경우에도 방향은 일정하지 않다. SkillForge는 약 7,296 GPU-시간의 순증가를 보고하고 [118], Bayesian-Agent는 증분적 수리가 저렴한 반면 누적 종단 간 비용은 기준선보다 높다고 보고하며(6.26M 대 4.24M 토큰) [114], SpeedRunner는 비용이 아니라 능력을 헤드라인으로 삼으면서 큰 감소를 보고한다 [120].

9.3 안전성

하네스와 게이트를 편집 가능하게 만드는 것은 동일한 축을 따라 능력과 위험을 모두 확대한다. Your Agent May Misevolve [95]는 새롭게 대두되는 위험을 규정한다. 자기 진화는 국소적으로 유용한 경험을 재사용 가능한 상태로 전환하며, 그 상태 중 일부는 다른 맥락에서 재사용될 때 유효성 조건을 초과한다. Safety in Self-Evolving Agents [6]는 프레임워크를 더 발전시켜, 해악이 반드시 악의적인 내용에서 비롯될 필요는 없다고 지적한다. 즉, 적응이 상태의 지속성, 권한 또는 범위를 확대하면 정당한 상태가 안전하지 않게 된다. 그리고 안전하지 않은 영향력을 그 출처 전이까지 추적하고, 수정 사항을 세대에 걸쳐 검증하며, 지속적인 진화 과정에서 그것이 재발하는지 확인하는 종단적 평가를 주장한다.

2026년의 세 가지 결과는 이 점을 더욱 예리하게 만든다. EvoSkill Injection [121]는 스킬 생성 및 진화 파이프라인 자체가 공격 표면임을 보여준다. 3-에이전트 레드팀 시설을 통해 악의적 능력이 재사용 가능한 스킬로 지속적으로 저장되고, 이후 표면적으로는 무해한 요청에서 재활성화되며, 세 가지 대상 프레임워크 전반에서 허용 성공률이 43.5%/54.6%/49.9%이고 해악률이 6.5→19.2, 5.5→32.5, 8.8→15.2로 상승하며, 이는 다섯 개의 이질적 모델에서 재현되었다. When Self-Evolution Backfires [113]는 오염이 구조적으로 되돌리기 어렵다는 것을 보여준다. 원인이 되는 여덟 개의 스킬을 삭제해도 12.3포인트 하락 중 1.7만 회복되며, 완전한 출처 정보를 갖춘 오라클 정리조차 5.0포인트를 더 회복하여 5.6포인트가 복구 불가능한 상태로 남는다. Layered Mutability [146]는 이 점을 롤백 자체로 일반화한다. 가시적 계층이 복원된 후에도 측정 가능한 행동 드리프트가 지속되므로, "우리는 언제든 되돌릴 수 있다"는 것은 안전 속성이 아니다.

방어 측면에서 방향은 반전된다. HASTE [96]는 하네스 진화를 새로운 공격에 대항하는 데 활용하여, 희소한 증거로부터 안전 제약을 진화시킨다. 동일한 메커니즘이지만 성능이 아니라 견고성을 겨냥한다. 자기 재작성 분기에서의 엔지니어링 가드레일은 실무자들이 현재 무엇을 하는지를 보여준다. DGM은 샌드박싱, 인간 감독, 기록하되 유지하는 소프트 선택으로 스스로를 제한하고 [11], MOSS는 섀도 리플레이, 배포 전 인간 승인, 상태 프로브 롤백을 사용하며 [27], Hyperagents의 저자들은 그러한 가드레일이 추가적인 능력 성장에도 살아남지 못할 수 있음을 인정한다 [14].

9.4 산출물의 통치

최종 경계는 산출물 자체의 생애주기이다. EvolveNet의 하네스 제품은 14줄에서 253줄로 단조 증가하며 [38], 로보틱스 장기 실행 연구는 33개의 임계값을 가진 3,056줄 규모의 코드 라이브러리에 도달하는 과정을 단조적으로 그리고 수렴 없이 기록하며 [124], SE-GA의 저자들은 메모리 증가가 실시간 배포를 위협한다고 지적한다 [127]. Layered Mutability [146]는 이것이 왜 중요한지에 대한 어휘를 제공한다. 즉 지속성, 결합도, 비가역성이 통제 가능성을 결정하며, 경계해야 할 실패는 갑작스러운 오정렬이 아니라 구성적 드리프트라는 것이다. 이는 5.4절의 라이브러리 비대화 및 7.4절의 게이트 병리와 동일한 교훈을 산출물의 측면에서 본 것이다. 자기 개선 시스템이 축적하는 것은 자산인 동시에 부채이며, 현재 문헌 중 어느 것도 그 부채를 표준적인 방식으로 측정하지 않는다.

핵심 요점

• 가중치–하네스 공진화는 이제 실제로 존재한다(HELIX, Evo², AIProver). AIProver가 가장 명확하게 보고된 사례이지만, 공진화는 이득의 귀속을 불가능하게 만들며, 우리가 읽은 어떤 공진화 연구도 그 분해를 시도하지 않는다.
• 평가는 구조적 긴장에 직면한다. 대상이 변하는 동안 도구는 고정되어야 하므로, 전용 벤치마크, 분리된 검증 신호, 예산 정합 기준선은 사치가 아니라 대응책이다. 한 감사 연구는 진화 집합과 평가 집합이 완전히 겹친다는 것을 보여준다.
• 안전 위험과 역량 이득은 동일한 원천, 즉 재사용 가능한 상태를 공유한다. 스킬 파이프라인 자체가 공격 표면이며, 오염은 롤백 후에도 살아남고, 행동 드리프트는 가시적 계층 복원 후에도 살아남는다.
• 산출물의 성장은 어떤 표준 지표도 포착하지 못하는 비용이다. 동일한 현상이 컴포넌트 분기에서는 라이브러리 비대화로, 로보틱스 장기 실행 연구에서는 비수렴적 코드 성장으로 나타난다.

10 증거가 실제로 뒷받침하는 것

앞선 장들은 개별 연구들이 주장하는 바를 보고한다. 이 장은 그러한 주장을 직접 검증하는 2026년의 감사, 부정적 결과, 장기 실행 해부 사례들을 모은다. 우리가 이 장에 장(章)의 지위를 부여하는 이유는, 이 분야가 주장하는 것과 그 증거가 뒷받침하는 것 사이의 격차가 이제 그 자체로 하나의 발견일 만큼 커졌기 때문이다.

10.1 예산을 정합시키면, 하네스 진화는 테스트 시점 확장을 이기지 못한다

Rethinking the Evaluation of Harness Evolution [139]은 세 가지 모델에 걸쳐 피드백과 추론 예산을 정렬한 조건($K=5$)에서 Terminal-Bench 2.1 상의 네 가지 접근법을 비교한다. 단위 테스트가 없을 때 pass@1 평균은 다음과 같다. 직접 샘플링 68.2, 병렬 샘플링 72.3, 순차적 개선 69.3, 하네스 진화 67.4 — 직접 기준선보다 낮다 — 그리고 인스턴스별 하네스 스케일링 71.8. 단위 테스트가 있을 때 하네스 진화는 병렬 샘플링의 86.0에 대하여 75.8에 도달한다. 45/10/34의 학습/검증/테스트 분할에서 교차 과제 하네스 진화는 테스트 집합에서 0.6점을 얻는다.

저자들은 범위 설정에 신중하다. 그들이 하네스 품질에 둔감하다고 주장하는 하나의 CLI 벤치마크, 세 개의 모델, 하나의 예산이다. 그들은 유의성 검정도, 구성요소 소거 실험도, $K$에 대한 스윕도 수행하지 않는다. 전이 가능한 결론은 경험적이라기보다 프로토콜 수준의 것이며, 이 전체 서베이에 적용된다. 진화에 사용된 검증 신호가 평가 과제와 분리되지 않고, 동일한 예산에서 테스트 시점 탐색과 비교되지 않는다면, 보고된 이득은 단지 더 많은 시도에 불과할 수 있다. 이 결과는 전체 하네스 탐색이 큰 이득을 보고하는 6장과 긴장 관계에 있다는 점에 유의하라. 그 차이는 정확히 6장의 연구들이 대부분 결여하고 있는 통제이다.

10.2 업데이트 능력은 기반 역량에 따라 확장되지 않는다

Harness Updating Is Not Harness Benefit [143]는 세 개의 벤치마크와 6~7개의 기반 모델에 걸쳐 교차 요인 설계를 실행한다. 즉 에이전트를 고정한 채 진화기를 변화시키고, 그 반대로도 한다. 두 가지 결과는 더 강력한 메타 에이전트가 지렛대라는 분야의 암묵적 가정과 모순된다. 첫째, 업데이트 능력은 기반 역량에 대해 평평하다. 모든 벤치마크에서 최고 진화기와 최저 진화기의 격차는 최대 3.1점이며, 테스트된 가장 작은 모델(9B)이 SkillsBench 설정에서 진화기로서 가장 큰 모델을 능가한다(3.8 대 2.3점). 저자들의 권고는 진화기가 아니라 과제 해결 에이전트에 컴퓨트를 투자하라는 것이다. 둘째, 이득을 얻는 능력은 비단조적이다. 이득은 한 벤치마크에서는 중간 계층 모델에서(+19.3점), 다른 벤치마크에서는 다른 모델에서(+7.0), 세 번째에서는 중소형 모델에서(+15.1) 정점을 이룬다.

이 논문은 또한 약한 계층의 낮은 이득 뒤에 있는 메커니즘을 명명한다. 즉 에이전트가 실제로 하네스의 얼마나 많은 부분을 로드하는지(한 모델의 로드 비율 0.251 대 강한 모델들의 약 0.96), 로드한 것을 얼마나 잘 따르는지(0.142 대 0.757), 그리고 준수가 궤적을 따라 감소하는지(0.52에서 0.13)이다. 그리고 모든 수용 게이트와 관련된 병리를 기술한다. 즉 자체 업데이트 연산자가 후보 비교, 회귀 테스트, 통계적 검정, 롤백 없이 무조건 커밋한다. 이는 $V$이 전혀 없는 $d=0$ 설계이며, 고립된 사례가 아니다(8.1절).

10.3 보고된 이득은 어디에서 오는가

One Recipe, Many Harnesses [145]는 자기 진화가 실제로 무엇을 부호화하는지 묻고, 통제된 격자로 답한다. 즉 8개 언어 × 3개 모델, 동일 예산의 세 팔, 롤아웃당 엄격한 상한, 비회귀 선택 규칙이다. 격자 전반의 256개 복구 인스턴스 중 88%가 진화 전에 탐지기 포괄 결함을 지니고 있었고, 12%는 아무런 시그니처도 지니지 않았다. 큰 이득을 보인 두 모델에서는 복구의 95%와 91%가 식별된 결함 클래스에 귀속되었고, 반면 이득이 노이즈 안에 있는 모델에서는 그 적은 복구 중 52%가 귀속 가능한 클래스에 속하지 않았다. 저자들은 이득이 회복 가능한 실행 결함에 대한 보상이지, 상승된 역량 상한이 아니라고 진술하며, 두 개의 널 영역은 사후에 식별되었으므로 메커니즘에 대한 검정이 아니라 메커니즘과 일관된 것으로 간주된다고 밝힌다.

메타 에이전트의 에이전트 설계 비효율성 [144]은 아키텍처 탐색 전통에 대해 앞서 나온, 똑같이 날카로운 결과를 제공한다: 샘플–평가–반복 메타 에이전트에서 모든 이전 설계를 컨텍스트에 투입하는 것(그 계열에서 가장 많이 인용된 시스템이 사용한 누적 전략)은 이력을 완전히 무시하는 것보다 더 나쁜 성능을 보이는 반면, 훈련 점수로 부모를 선택하는 것은 도움이 된다(한 벤치마크의 최고 에이전트가 41.4에서 56.5로 상승). 순위 또한 네 개 테스트 세트 중 두 개에서 역전되므로, 저자들의 "훈련 최고" 선택 기준이 전이된다는 것은 입증되지 않는다. 이 논문은 또한 이 설문조사가 의존하는 구조적 요점을 제시한다: 그 메타 에이전트와 그것이 발명한 에이전트는 서로 다른 수준의 서로 다른 모델이며, 이는 루프를 외생적 설계 주기로 만든다 — 개선자와 개선 대상이 동일한 시스템이 아니다.

10.4 축적은 쉽고, 삭제는 어렵다

두 가지 결과가 축적으로 인한 손상과 그것을 되돌리는 어려움을 정량화한다. 자기 진화의 역효과 [113]는 게이트 없는 스킬 축적에서 용량-오염 상전이를 보여주고(3라운드에 105개 스킬로 62%, 5라운드에 179개 스킬로 50%로 하락), 이어서 복구가 구조적으로 제한됨을 보여준다: 책임이 있는 여덟 개 스킬을 제거하면 12.3점 손실 중 1.7점이 복구되고, 전체 출처 정보를 가진 오라클은 5.0점을 더 복구하여 5.6점이 영구적으로 손실된 채 남는다. 그 자체의 설계는 은퇴 게이트를 사전 커밋 입장 게이트로 대체함으로써 대응하며, 단 37개의 스킬로 구성된 라이브러리로 72%까지 단조로운 개선을 보고한다.

SkillForge [118]는 반대 방향에서 모집단 통계를 제공한다: 그 생애주기가 은퇴시키는 스킬 중 96.9%가 무해-중복이 아니라 구체적으로 유해하다고 표시되었고, 지배적인 실패 모드는 지나치게 경직된 절차 순서(74.5%)였으며, 은퇴된 스킬의 57.2%가 쇠퇴하기 전에 이전에 안정 상태에 도달했었다. SkillCommit [119]은 인스턴스별 귀속을 추가하여, 도움/해악 분해에서 자체 편집을 24/0 및 21/2로 보고하는 한편, 기준 방법들은 일부 인스턴스를 고치면서 이전에 올바랐던 많은 인스턴스를 망가뜨린다. 종합하면 이 세 가지 결과는 "게이트가 도움이 된다"보다 더 강한 것을 말한다: 스킬이나 메모리 라이브러리에서 기본 궤적은 해악을 향한다, 그리고 흥미로운 엔지니어링 질문은 능력을 추가하는 것이 아니라 무엇이 해악을 제거하는가이다.

10.5 장기 사례 연구: 수렴 없는 123 라운드

우리 코퍼스에서 가장 정보가 많은 단일 문서는 123라운드 로보틱스 실행 [124]이다 — 993회의 롤아웃, 847회의 제안 시도 중 57회의 수용된 라이브러리 변경, 그리고 하네스에 대한 113회의 인간 수리로, 이는 에이전트가 수용한 변경 수의 약 두 배이다. 과제 결과: 한 과제에서 0/486, 다른 과제에서 0/256, 세 번째에서 14/230, 그리고 전체 실행에서 전체 체인이 성공한 롤아웃은 단 다섯 번이었으며, 마지막 라운드는 완전히 실패했다.

그 구조적 발견은 이 설문조사의 논제에 대해 이용 가능한 가장 날카로운 진술이다. 에이전트는 스킬 코드, 제공자 등록, 과제 프로그램 및 라우팅 테이블을 편집할 수 있었지만, 하네스 — 평가자, 테스트, 메모리, 실행기 설명 — 는 인간만이 변경할 수 있는 유일한 부분이었다. 저자들 자신의 요약은 인용할 가치가 있는데, 이는 겉보기에는 재귀적인 $d=0$ 루프를 가장 명료하게 표현한 것이기 때문이다:

"루프는 잘못된 곳에서 재귀적이었다. 에이전트는 오직 인간만이 개선한 하네스 안에서 로봇을 개선했으며, 에이전트의 가장 정확한 진단은 하네스에 관한 것이었다."

그들은 루프가 닫히기 위한 세 가지 공학적 조건, 즉 실패가 진짜 원인으로 기술되는지(representability), 수정이 에이전트가 편집할 수 있는 기반에 적용되는지(expressibility), 그리고 변경이 중요한 상태에서 게이트가 좋은 것과 나쁜 것을 구별할 수 있는지(resolvability)를 추상화하고, 각각에 대한 반증 실험과 함께 게이트 실패의 분류 체계를 제시한다: 너무 거친 게이트(기록된 상태가 하나나 둘뿐인 격차에서 60% 구제율을 요구), 너무 느슨한 게이트(포화된 기준선이 요구 개선량을 0으로 만들어, 제안자가 이미 본 상태에서 대략 스무 개 남짓의 변경을 통과시킴), 그리고 측정해야 할 효과보다 더 잡음이 많은 게이트.

그 실행에서 나온 두 가지 추가 관찰은 널리 공유될 가치가 있다. 첫째, 코드로 쓰기가 가능한 기반은 결여된 의미론을 기하학적 규칙으로 대체한다: 라이브러리는 33개의 임계값과 함께 3,056줄로 성장했고, 단조롭게, 수렴하지 않은 채로 자랐다. 둘째, 추론 노력을 높이는 것은 "눈에 보이는 어떤 것도 바꾸지 못했"지만, 하네스의 문장 하나를 다시 쓰자 편집률이 0/8에서 11/12로 바뀌었다 — 저자들의 결론은 이 시스템에서 하네스 텍스트가 학습 알고리즘의 일부라는 것이다. 이 논문은 또한 자신의 한계에 대해서도 솔직하다: 하나의 시뮬레이터, 하나의 레이아웃, 세 개의 과제, 독립적 반복 없음, 예산을 맞춘 기준선이나 절제 실험 없음이므로, 이 논문은 "기록과 해부로부터 메커니즘을 식별할 뿐, 인과적 효과 크기를 식별하지는 않는다".

10.6 두 가지 감산적 발견

두 가지 감사는 이 분야가 널리 의존하는 전제들로부터 지지를 제거한다.

응축된 경험은 충실히 사용되지 않는다. LLM Agents Are Not Always Faithful Self-Evolvers [138]는 아홉 개 환경과 열에서 열세 개의 기반에 걸쳐 네 개의 대표적 프레임워크를 감사하고, 체계적인 경험 충실성 격차를 발견한다: 에이전트는 원시 궤적에 안정적으로 의존하지만 응축된 요약은 자주 무시하거나 잘못 읽는다 — 요약이 이용 가능한 유일한 외부 안내일 때조차 그러하다. 한 사례에서는 응축된 개입들이 모두 47–56에 머무는 반면 원시 기준선은 53이고; 다른 사례에서는 원시 개입이 성능을 6.8포인트 떨어뜨리는데도 응축된 개입의 채우기 버전은 여전히 77.6을 기록한다. 경험을 응축하는 것이 대부분의 메모리 및 스킬 연구의 전제이므로, 이는 중대한 부정적 결과이며, 또한 절제 실험이 왜 부정적 메모리 이득을 드러낼 수 있는지도 설명해 준다 [101]: 충실히 읽히지 않는 메모리는 도움이 될 수 없다.

장기 지평 연구는 일관된 이득을 보이지 않는다. EverMine [140]은 숨겨진 표본 외 레이블과 명시적 능력 진화를 갖춘 알파 연구 환경에서 열여덟 개의 긴 연구 궤적을 추적한다. 명시적 능력 진화는 일관된 종단 간 이득을 내지 못했다; 네 개의 종단 간 차이 구간과 네 개의 조건부 가치 구간이 모두 0을 포함하며, 개별 부모 궤적 효과는 두 개가 양수이고 네 개가 음수였고, 여섯 개의 반복 쌍 중 다섯 개가 부호가 뒤바뀌었다. 독립적인 통계 단위가 단지 여섯 개와 세 개뿐이므로, 정직한 해석은 "검출된 효과 없음"이지 "진화는 쓸모없다"가 아니다 — 저자들 자신도 그리는 구분이다.

이 장이 비판하는 또 다른 두 가지 관행은 집계 지표를 건강으로 읽는 관행(거짓 통과 채점기는 집계 점수를 평평하게 유지하면서 조용히 폐기를 비활성화한다 [141])과 예산이 다른 연구들 사이에서 수치를 비교하는 관행이다(6.3절, 9.2절).

10.7 이 분야에서 주장을 읽는 방법

감사들은 간단한 체크리스트로 수렴하며, 우리는 이를 이 조사의 실질적 산출물로 제시한다. 하네스 자기진화가 에이전트를 개선했다는 어떤 주장에 대해서든 물어야 한다: 검증 신호가 평가 세트와 분리되어 있는가 [139, 143]; 비교가 동일 예산에서의 테스트 시점 스케일링을 상대로 이루어졌는가 [139]; 이득이 용량 증가가 아니라 식별 가능한 복구 가능 결함에 기인하는가 [145]; 개선의 원인으로 의심되는 것이 진화기(evolver)의 개선 능력인가, 아니면 그것이 기반 능력에 대해 평탄한가 [143]; 편집 연산자가 실제로 게이팅되는가, 아니면 무조건 커밋하는가 [143]; 그리고 설계에서 해악의 축적을 방지하는 것이 있는가 [113, 118]? 여섯 가지 모두에 답하는 연구는 드물다 — 이는 그 자체로 증거 현황에 대한 가장 유용한 요약이다.

표 7. 각 항목이 검증하는 주장별로 묶은 감사 및 부정적 결과 연구. 참고: 연구 설계는 대상, 벤치마크, 예산이 서로 다르며, 이 표는 순위를 매기는 대신 각 항목이 검증하는 주장별로 묶은 것이다.

핵심 요점

• 하나의 CLI 벤치마크에서 동일한 예산으로 비교했을 때, 전체 하네스 진화는 테스트 시점 확장(test-time scaling)을 능가하지 못했고, 교차 과제 전이는 0.6점을 추가했다; 전이 가능한 교훈은 프로토콜 규율이지, 하네스 진화가 실패한다는 일반적 주장이 아니다.
• 능력 갱신은 기반 능력에 대해 평탄하고 이득은 비단조적이므로, "더 강한 메타 에이전트를 사용하라"는 증거 측면에서 지지되지 않는다.
• 이득은 복구 가능한 실행 결함에 대한 보상에 기인하며, 복구의 88%는 기준선에서 탐지기가 포괄하는 결함을 지닌다.
• 축적은 기본적으로 해로움으로 귀결된다: 게이트 없는 라이브러리는 성장할수록 쇠퇴하고, 퇴역한 스킬의 96.9%는 해로웠으며, 롤백은 손실의 일부만 회복한다.
• 두 가지 핵심 전제가 약화된다: 응축된 경험은 충실히 사용되지 않으며, 명시적 능력 진화는 일관된 장기적 이득을 보이지 않았다.

11 응용: 검증 가능성이 구속 조건이다

11.1 코딩이 기본 테스트베드이다

4, 6, 7절의 표를 읽으면 두드러진 집중이 드러난다: 압도적 다수의 연구가 코딩에서 평가한다. SWE-bench 변형과 Terminal-Bench 변형은 이 분야의 사실상 표준 도구로 기능하며, Gödel Agent [10], DGM [11], SICA [12], HGM [13], Hyperagents [14], AIDE² [32], Live-SWE-agent [29], AHE [43], HarnessCompass [44], Self-Harness [40], Self-Evolving Harness [41] 등이 사용한다.

이는 우연이 아니다. 자기 재작성 루프가 닫히려면 저렴하고 자동 실행 가능하며 상당히 객관적인 검증기가 필요하다; 코드는 이 세 가지를 동시에 충족한다 — 패치가 실행되고, 실패가 재현되며, 테스트가 자동으로 점수를 매긴다. 이론 장들은 이것이 단지 편리한 것을 넘어 왜 중요한지를 설명한다: 달성 가능한 상한은 가용한 증거에 의해 설정되며 [64], 코딩은 현재 툴킷에서 가장 밀도 높은 증거 스트림을 제공한다. 그 대가는 외적 타당성이다. 코딩 벤치마크에서의 이득은 실행 가능한 검증기가 없는 과제로 외삽될 수 없으며, 10절의 감사는 이 점을 구체적으로 보여준다: 하네스 품질에 둔감한 코딩 벤치마크에서 하네스 진화는 테스트 시점 확장을 능가하지 못했고 [139], 그 이득은 능력을 높인 것이 아니라 실행 결함을 보상한 데 기인했다 [145].

11.2 검증 가능성 스펙트럼

2026년 응용 물결은 이 장이 앞서의 두 표본 스케치를 스펙트럼으로 대체할 수 있게 해주는데, 검증기가 체계적으로 다른 영역들을 포괄하기 때문이다:

표 8. 응용 도메인 전반의 검증 가능성 스펙트럼과, 각 계층이 자기 개선 루프로 하여금 무엇을 검증할 수 있게 하는지.

이 스펙트럼은 반복이 실제로 일어나는 지점을 예측한다. VideoEvolve [125]는 그라운딩 지표가 객관적이기 때문에 217,767회의 솔버 호출에 걸친 개발 시점 탐색을 실행하며, 그 충실성 기제도 그에 상응하게 정교하다 — 비디오 분리 개발 및 검증 분할, 허용된 회귀 대역, 품질 검사를 위한 고정 앵커 하네스, 그리고 동일 배치 내 후보 대 챔피언 비교이다. AIProver [133]는 형식적 증명이 검사 가능하기 때문에 3σ 수용 구간, 0.024의 개선을 요구하는 홀드아웃 적합성 게이트 및 KL 페널티를 갖춘 계층적 검증기를 감당할 수 있다. 다른 쪽 끝에서, RHD [129]는 반복적 정제를 시뮬레이션에 국한하고 실제 로봇 결과를 존재 증거로 보고한다(75회 시험, 과제당 25회, 무작위화된 위치, 실패는 재생 불가), 왜냐하면 물리적 성공 술어는 재표본화될 수 없기 때문이다.

11.3 도메인 결합

도메인이 코딩에서 멀어질수록 두 가지 패턴이 반복해서 나타난다.

검증기의 가용성은 루프의 속도뿐 아니라 그 형태를 결정한다. SRE 근본 원인 분석에서 OpsHarness [128]는 사례별로 평가할 수 있으며, 검증을 제거하면 연속 진단 추세가 무너진다고 보고한다(검증이 있을 때 마지막 윈도 평균 0.83, 진화가 없을 때 0.43, 검증이 없을 때 0.33). 이는 진화 없는 절제 실험의 최종 A@1 59.0% 대 41.4%, 그리고 맨 에이전트의 36.1%와 대조된다. 로봇공학에서 RHD [129]는 시뮬레이션에서 성공적인 정제 루프를 보고하며(정제된 플레이북을 갖춘 경량 에이전트의 경우 43.8%→66.7%), 이를 실제 로봇에 대해서는 명시적으로 주장하지 않는다.

도메인과의 결합은 편집 가능한 대상이 무엇인지를 바꾼다. 휴머노이드 프레임워크 [130]는 체화된 자기 개선이 소프트웨어 에이전트에는 대응물이 없는 여섯 번째 편집 가능 객체, 즉 물리적 신체(캘리브레이션, 형태, 센서 및 액추에이터 상태)를 가지며, 배포 시점 개선을 이를 포함하는 5-튜플 상태에 대한 연산자로 정식화한다고 주장한다. MedZERO [126]는 다른 결합을 보여준다. 의료 과제는 부분적으로만 검증 가능하기 때문에, 그 루프는 커리큘럼 데이터를 생성하는 심사자를, 그리고 그것을 채점하는 추론자를 최적화하며, 바로 이것이 보고된 향상(4B는 평균 12.9에서 34.9로; 8B는 34.9에서 53.5로)을 하네스 개선이 아니라 매개변수 수준의 공진화의 사례로 만든다. 셸, 보상, 임계값, 검증자는 모두 불변이다.

11.4 루프가 수렴하는 지점

우리 자신의 추론으로서 언급할 가치가 있는 하나의 교차 관찰이 있다. 계층적 검증을 가진 도메인에서, 루프는 측정할 수 있는 가장 객관적인 계층으로 수렴한다. AIProver가 다시 가장 명확한 증거를 제공한다. 하네스 진화만으로 "일단 컴파일이라도 되는" 계층은 57.6%에서 84.4%로 상승하지만 완전한 증명 계층은 15.7%에서 22.6%로만 이동하며, 단일 샘플 실패 중 "컴파일되지만 명제가 틀린" 경우가 173건으로, 해결된 205건에 이어 두 번째로 많다. 같은 연구는 우리 코퍼스에서 검증자 자체를 편집 가능 집합으로 옮기려는 유일한 시도를 기록하며 — 모델이 자신의 명제를 스스로 판단하도록 가르치는 것 — 그것은 다섯 번의 진화 라운드 모두에서 실패했다. 이 패턴이 유지된다면, 한 도메인에서 자기 개선의 상한은 그 검증자가 정량화할 수 있는 속성 집합에 의해 설정되며, 이는 모델 규모보다 더 실행 가능한 제약이다.

11.5 자원

표 9. 코퍼스에서 반복적으로 사용된 자원. 참고: 이 표는 우리의 검증된 읽기 범위 내에서 반복적으로 사용되었고 특정 출처로 추적 가능한 자원만 나열한다. 벤치마크 규모, 지표, 분할은 사용자에 따라 다르므로 같은 이름 아래의 결과가 반드시 비교 가능한 것은 아니다.

핵심 요점

• 코딩이 기본 테스트베드인 이유는 실행 가능한 검증, 재현 가능한 실패, 자동 채점을 동시에 제공하기 때문이며, 이는 8장의 이론이 핵심 제약으로 지목하는 바로 그것이다.
• 애플리케이션은 검증 가능성에 따라 순서를 매길 수 있다 — 실행 가능, 시뮬레이션, 부분적 객관성, 운영자 확인 — 그리고 이 계층은 반복이 실제로 어디에서 검증되며 무엇에 대해 검증되는지를 예측한다.
• 도메인 결합은 편집 가능한 객체를 바꾸고(체화 환경에서는 물리적 신체), 루프를 하네스가 아니라 생성기나 채점기 쪽으로 방향을 바꿀 수 있다.
• 계층적 검증 도메인에서 루프는 측정할 수 있는 가장 객관적인 계층으로 수렴하므로, 상한은 검증기가 정량화할 수 있는 것에 의해 설정된다(우리의 추론).

12 열린 질문과 논쟁

이 장은 해당 분야의 현재 진행 중인 이견들을 각 측의 근거와 함께 서술한다. 대부분의 판단은 논문마다 조건이 다른 단일 미재현 보고에 근거하며, 비교가 여러 연구에 걸쳐 있을 경우 측정된 효과가 아니라 우리의 추론으로 표시한다.

12.1 재귀는 더 빠른 개선을 가져오는가?

주장. 개선 메커니즘을 그 자체의 루프 안으로 가져오면 능력 성장이 가속된다.

찬성 측. Hyperagents [14]는 메타수준 자기수정이 도메인 간에 전이되고 단일 실행 내에서 누적된다고 보고한다: 과제 에이전트와 메타 에이전트를 하나의 편집 가능한 프로그램으로 병합하면 논문 심사 점수가 0.0에서 0.710으로 오르는 반면, DGM 변형은 0.0에 머문다. 채택 이론 [137]은 같은 방향의 구조적 논거를 추가한다: 채택된 업데이트는 단계 간 독립성을 요구하지 않고도 단계에 걸쳐 누적되므로, 개별적으로 안전한 편집들의 연쇄는 단순한 긴 무작위 행보가 아니다.

반대 측. 세 가지 비교는 반대 방향을 가리킨다. HGM [13]은 부모를 더 잘 선택함(클레이드-메타생산성 추정)과 확장을 평가로부터 분리함으로써 이득을 얻으며, DGM CPU 시간의 약 1/2.38을 사용한다. SIFT [30]은 비용이 큰 벤치마크 평가를 저렴한 쌍별 심사 순위화로 대체하고 동일한 검증 예산에서 승리한다. RHI [42]은 모집단 비교를 단일 이전 세대로 축소하고 정규화 비용을 23–60% 절감한다. 어느 것도 $d$을 높이지 않으며, 세 가지 모두 평가 예산이 지출되는 방식을 개선한다. 그리고 엄격하게 일치된 예산 하에서, 하네스 진화는 단순 병렬 샘플링을 능가하지 못했다 [139] (10.1절).

근거가 정리되는 지점. 재귀는 예산 단위당 개선율이 아니라 도달 가능한 설계 공간을 바꾼다. 속도 비교처럼 보이는 연구들은 대부분 예산 배분 비교다. 이는 이론과 일치한다: 핵심 제약은 증거의 양 [64]이며, 재귀는 증거를 창출하기보다 소비한다.

12.2 이득은 편집된 구성요소에서 오는가, 아니면 충실성 기제에서 오는가?

주장. 보고된 이득은 주로 편집되는 구성요소나 연산자에 기인한다.

반대 근거를 위하여. 거의 통제된 두 비교는 다른 결론을 시사한다. HarnessCompass [44]는 자유 편집 루프에 일반화 게이트와 트랙 분리를 추가하여 5턴 만에 홀드아웃 세트를 8.8포인트 끌어올리는데, AHE [43]의 규율 없는 루프는 20턴 후 54.7%에 도달한다. SAGE [67]는 수용 규칙만 변경하고 생성은 그대로 두었으며, 20개 설정 중 20개에서 최고 최종 점수를 보고하고 19개에서 회귀를 보고한다. 구성 요소 수준의 유사 사례는 SkillCommit [119]으로, 소스 재생만 제거해도 17.8포인트가 손실된다 — 이는 메커니즘 추가로 보고된 대부분의 이득보다 크다.

반대. 이들은 단일 연산자 절제 실험이 없는 시스템 수준 비교이다. DarwinX의 저자들은 단일 연산자 통제 절제 실험을 수행하지 않았다고 밝히며, 교차 계통 병합이 한 벤치마크에서 전면 롤백되었다고 밝힌다 [48]. MESH-Harness의 이득은 구성과 평가 예산의 재배분을 혼합한 것이다 [49].

증거가 정착하는 지점. 패턴은 여러 연구에서 일관되지만, 귀속은 확정되지 않았다. 이를 확정 가능하게 만드는 것이 구체적인 실험이다: 구성 요소와 연산자를 고정한 다음 충실성 기제를 켜고 끄는 것이다. 이론은 왜 이 지점이 올바른 탐색 위치인지 설명한다 — 잡음이 많은 게이트는 샘플 예산을 소모하는 반면 편향된 게이트는 복구 불가능하다 [141] — 그러나 이 분야는 그 실험을 수행하지 않았다.

12.3 하네스 자기 진화는 전이되는가?

주장. 과제 A에서 진화한 하네스는 과제 B 또는 모델 M'로 전이된다.

찬성. MemoHarness [52]는 하나의 하네스를 동결하고 재훈련 없이 여섯 개 기본 모델에 걸쳐 전이하여 평균 +0.098을 달성한다. DarwinX [48]는 한 벤치마크에서 얻은 하네스가 변경 없이 다른 코딩 벤치마크로 전이된다고 보고하며, HGM은 발견된 에이전트가 데이터셋과 모델에 걸쳐 전이된다고 보고한다 [13]. AIDE² [32]는 네 개의 홀드아웃 벤치마크에서 인간이 구축한 기준선과 동등하거나 능가한다 [32]. WikiSkill [123]은 스킬 수준의 제로샷 전이를 보고하고, EvoSkill [115]은 벤치마크 간 제로샷 스킬 전이를 보고한다.

반대. 전이에는 명확한 한계가 있다. MemEvolve의 저자들은 진화된 메모리가 공유 과제 도메인 내에서만 일반화된다고 밝힌다 [79]. Memento-Skills는 훈련 시점 스킬의 대부분이 테스트 시점에 전혀 발동되지 않아 전이가 일반적이기보다 도메인 정렬적이라고 보고한다 [91]. XSkill은 더 약한 기반에서의 간섭을 문서화한다 [89]. EvoSkill의 전이 증거는 하나의 벤치마크 쌍에 걸쳐 한 번 측정된 단일 스킬이다 [115]. 가장 근본적으로, One Recipe, Many Harnesses [145]는 이득 자체가 시작 구성에 존재하는 결함에 대한 보상임을 대부분 보여주며, 이는 전이의 자연스러운 실패 모드가 다음 도메인의 결함이 다르다는 것임을 시사한다.

증거가 정착하는 지점. 도메인 내 전이는 합리적인 지지를 받으며 가장 엄격한 충실성 기제를 갖춘 연구들에 집중되어 있는데 — 이는 그 자체로 12.2절과 일관된다. 교차 도메인 전이는 약하게 지지되며, 이 분야는 "하네스가 전이 가능한 전략을 부호화한다"와 "하네스가 이 도메인의 수정을 부호화한다"를 분리하는 단일 연구조차 갖추지 못했다.

12.4 더 많은 메모리와 스킬이 더 나은가?

주장. 축적은 능력을 낳는다.

반대. 여러 보고가 이를 직접적으로 반박한다. 한 검증 연구에서는 기술의 23.9%만이 유익했고 [86], 행동 기반 큐레이션은 손실 없이 라이브러리를 3분의 1에서 5분의 2로 축소하며 [87], 게이트 없는 축적은 풀이 커질수록 정점에 도달한 뒤 감소하고 [113], 퇴역한 기술의 96.9%는 특정하게 유해한 것으로 밝혀졌으며 57.2%는 한때 안정적인 것으로 통과한 적이 있었다 [118]. 축적이 왜 능동적으로 해를 끼칠 수 있는지에 대한 메커니즘은 이제 측정되었다. 축적의 산물인 응축된 경험이 에이전트에 의해 충실히 사용되지 않고, 대신 원시 궤적에 의존한다 [138]. 이는 또한 절제 실험이 음의 기억 이득을 보여줄 수 있는 이유를 설명한다 [101].

증거가 정착하는 지점. 증거는 "선택의 질이 수익을 결정한다"는 점을 일관되게 뒷받침하며, 최적의 라이브러리 크기는 여전히 정량화되지 않았다. 문헌 전반에 걸쳐 두 가지 구조적 측정이 누락되어 있다. 즉 유익한 기술의 비율과 퇴역률을 표준 보고 항목으로 삼는 것이다.

12.5 채점자는 고정되어야 하는가, 공진화해야 하는가?

주장. 채점자가 에이전트와 함께 진화하도록 두는 것이 도움이 된다.

찬성. 붉은 여왕 역학 [70]은 진화를 멈춘 평가자가 유용한 신호를 제공하는 것도 멈춘다고 주장하며, DUET [69]는 공진화된 채점자가 오라클 채점자를 사용하는 기준선을 능가한다고 보고한다(금융 벤치마크에서 96.5±0.4 대 94.0).

반대. 공진화는 고정된 게이트가 갖지 못한 실패 모드를 도입한다. 교차 양상 결합 하의 선호 붕괴 [76], DUET의 저자들 자신이 정량화하지 않은 채 남긴 채점자 표류와 보상 해킹 [69], 일방적 최적화 하의 정체 [74]. 가장 강력한 반례는 20개 설정 중 20개에서 승리한 고정 게이트 [67]와, 모델이 자신의 형식화된 명제를 판단하도록 가르침으로써 게이트를 루프 안으로 옮기려는 진지한 시도가 다섯 번의 진화 라운드 전부에서 실패한 사례 [133]이다. 이론은 신중해야 할 구조적 이유를 하나 더한다. 게이트의 편향은 규모로 회복할 수 없는 반면, 잡음은 단지 비용이 많이 들 뿐이며 [141], 부풀려진 자기 보상의 교정은 검증자가 생성자와 정보적으로 구별되어야 한다 [142].

증거가 정착하는 지점. 이는 이 설문에서 가장 해결되지 않은 논쟁이다. 두 설계 모두 효과를 보고하며, 동일한 과제와 예산에서 이들을 비교한 연구는 없다. 말할 수 있는 것은 더 좁고 더 유용하다. 채점자가 움직여야 한다면, 생성자로부터의 정보적 독립성을 보존하는 방식으로 움직여야 하며, 잡음에 대해서가 아니라 편향에 대해 평가되어야 한다.

12.6 이 분야의 어휘는 그 내용을 따라가고 있는가?

여섯 번째 질문은 과학적이지 않지만 과학적 결과를 초래한다. 재귀적 자기 개선으로 표시된 연구의 상당 부분은 이 설문의 용어로 $d=0$이다. 즉 고정된 기제로 구성 요소를 편집하는 것이다. 반대의 경우도 발생한다. 그 단어를 전혀 사용하지 않으면서 메커니즘을 루프 안에 두는 연구들, 가장 명확하게는 평가자 공진화 계열 [69, 70, 71, 72, 74]이다. 한편 한 연구의 저자들 스스로 자신들의 사이클을 의사 재귀적이라고 표시하는데, 이는 정확히 내용만 변하기 때문이며 [104], 장기 로보틱스 연구는 그 루프가 재귀에 자금을 지원한 곳이 "잘못된 위치"였다고 결론짓는다 [124].

우리는 용어를 규제하자고 제안하는 것이 아니다. 이 어휘가 초래하는 비용은 비교 가능성이다. "재귀적"이라는 말은 현재 과제 내 수정에서부터 메타수준의 자기 수정에 이르기까지 모든 것을 포괄하므로, 독자는 그 표기만으로 시스템의 개선 기제 자체가 편집 가능한지 알 수 없다. 이 설문 전체에서 사용하는 등급화된 축은 새로운 이분법적 구분을 추가하지 않고 그러한 정보를 복원하려는 우리의 시도이다.

핵심 요점

• 재귀는 예산당 개선율이 아니라 도달 가능한 설계 공간을 바꾼다. 겉으로 보이는 속도 비교는 예산 배분 비교이다.
• "충실성 기제가 이득을 담당한다"는 것은 여러 연구에 걸쳐 일관된 패턴이지만 아직 통제된 발견은 아니다. 필요한 실험은 구성요소와 연산자를 고정한 단일 연산자 제거 실험이다.
• 도메인 내 전이는 지지되며 가장 엄격한 게이트를 적용한 연구들에 집중되어 있다. 교차 도메인 전이는 약하며, 이 분야는 아직 전이 가능한 전략과 도메인 특화 결함 보상을 구분하지 못한다.
• 축적은 기본적으로 해롭게 작동하며, 그 메커니즘은 이제 측정 가능하다. 압축된 경험은 충실히 읽히지 않으므로, 충실히 읽히지 않는 기억은 도움이 될 수 없다.
• 고정된 평가자 대 공동 진화하는 평가자는 미해결이다. 방어 가능한 조언은 움직이는 평가자가 생성기로부터 정보적 독립성을 유지해야 하며 잡음이 아니라 편향에 대해 감사되어야 한다는 것이다.

13 향후 방향과 결론

13.1 이 증거가 뒷받침하는 여섯 가지 방향

아래의 각 방향은 이 설문의 특정 발견에서 촉발되었으며, 불확실성을 줄여 줄 점검을 함께 제시한다. 이는 우리의 제안이며 문헌에서 취해진 입장이 아니다.

1. 게이트 중심의 연구 의제. 촉발: 충실성 및 수용 기제는 모든 상당한 이득과 상관관계가 있지만 [43, 44, 67, 119], 인과성을 확립할 단일 연산자 제거 실험은 수행되지 않았다 [48, 49]. 이제 이론은 게이트가 왜 우선순위를 받을 자격이 있는지 설명한다. 잡음이 많은 게이트는 샘플 예산을 소모하고, 편향된 게이트는 규모로 구제될 수 없으며 [141], 교정에는 생성기로부터의 정보적 독립성이 필요하다 [142]. 점검: 구성요소와 탐색 연산자를 고정한 상태에서 일반화, 비회귀, 계약, 통계 게이트를 각각 켜고 끄며, 홀드아웃 성능, 전이, 편향(단순한 잡음이 아니라)을 측정한다.

2. 예산, 규모, 청정성에 대한 보고 표준. 촉발: 연구들 간의 호환되지 않는 단위 [139, 141, 143, 146], 규모가 결코 보고되지 않는 라이브러리 [15, 90], 한 논문에는 존재하고 다른 어디에도 없는 폐기 통계 [118]. 점검: 테스트 시점 확장에 대한 예산 정합 비교를 채택하고 [139], 검증 신호를 평가 세트로부터 분리하며 [143], 유익 비율, 폐기율, 산출물 규모, 비용을 공통 단위로 보고한다.

3. 보상과 역량의 분리. 촉발: 회복의 88%가 식별된 결함에 기인하고 이득이 상한을 높이는 것이 아니라 보상으로서 틀 지어지며 [145], 이는 기반 역량에서 갱신 능력의 평평한 확장과 결합된다 [143]. 점검: 동일한 진화 파이프라인을 의도적으로 결함이 없는 시작 구성과 더 강한 기반에 대해 실행한다. 첫 번째에서 이득이 사라지고 두 번째에서 이득이 커지지 않는다면, "보상"이 올바른 해석이며 전이 서사가 달라진다.

4. 정보적 독립성을 보존한 공진화. 발동 조건: 게이트를 루프 안으로 옮기려던 유일한 시도의 실패 [133], 거짓 통과 채점의 확정된 절벽 [141], 그리고 자기 보고와 오류가 탈상관된 검증기의 필요성 입증 [142]. 점검: 채점기를 진화시키기 전에 그 오류가 생성기의 편향과 탈상관된 상태로 남아 있는지 측정하고, 특히 거짓 통과 비대칭성을 감사하라 — 잡음만 줄이는 게이트는 도움이 되지 않는다.

5. 축적된 상태에 대한 종단 감사. 발동 조건: 롤백에서 살아남는 오염 [113], 가시 계층 복원에서 살아남는 행동 드리프트 [146], 그리고 한때 안정적인 것으로 통과했던 은퇴한 스킬 [118]. 점검: 수정 이후 여러 세대에 걸쳐 진화하는 시스템을 계속 감사하고, 안전하지 않거나 유해한 상태가 다시 나타나는지 시험하라 — 안전성 서베이가 요구하는 평가의 형태이다 [6].

6. 재귀 깊이를 높이는 대신 증거 요구량을 낮추기. 발동 조건: 개인화가 상호작용 증거에 의해 제한된다는 한계 [64]와 안정성이 부과하는 메타 깊이 상한 [94], 그리고 실제로 이득을 얻는 것의 대부분이 결함 수리라는 관찰. 점검: 어떤 메커니즘이 고정된 품질에 도달하는 데 필요한 상호작용 횟수를 줄이는지, 그리고 절약된 증거가 재투자되는지 평가하라 — 이 서베이가 데이터에서 발견한 속도의 유일한 경로이다.

13.2 결론

범위가 하네스 계층으로 고정되면, 이 분야는 포괄적 용어가 시사하는 것보다 더 단순하고 덜 신비롭게 보인다.

중요한 축은 어떤 알고리즘이 사용되는지가 아니라 무엇이 수정되는지이다. 자기 참조 코드, 메모리, 도구와 스킬, 프롬프트와 오케스트레이션, 전체 하네스 탐색, 그리고 검증기는 메커니즘이 근본적으로 다르고 지적 계보 역시 그만큼 다른 여섯 개의 계열이다 — 프로그램 합성, 메모리 시스템, 스킬 학습, 프롬프트 최적화, 아키텍처 탐색, 그리고 검증.

재귀 차수는 유용한 척도이며, 대부분의 연구는 그 바닥에 위치한다. 111편의 논문을 전수 읽은 결과, 개선 메커니즘이 진정으로 자기 자신의 편집 가능 집합 안에 있는 경우는 작고 열거 가능한 몇몇 지점에서 발견되었다: 자기 참조 코드(Hyperagents, HADA, 그리고 DGM, SICA, HGM의 생성 측), 평가자 공진화, 메모리 연구 하나, 스킬 연구 하나, 전체 하네스 탐색 연구 하나, 그리고 설계 수준의 제안들이다. 그 밖의 모든 것은 명칭이 무엇이든 구성요소를 편집한다.

증거의 무게는 "누가 더 많이 편집하는가"가 아니라 "누가 더 적게 깨뜨리는가"에 있다. 6절의 충실성 기제 다섯 계열, 7절의 통계적 게이트와 공진화, 5절의 은퇴와 오염 결과, 그리고 편향된 게이트가 왜 치명적인지 설명하는 8절의 이론은 모두 같은 방향을 가리킨다: 게이트의 품질이 루프가 얼마나 멀리 갈 수 있는지를 결정한다. 이는 또한 한계 결과들이 왜 그렇게 읽히는지도 설명한다 — 상한은 증거량이고, 메타 깊이는 안정성에 의해 제한되며, 더 깊은 계층은 가장 감사하기 어렵다.

그리고 이 분야는 여전히 자신이 귀속시킬 수 있는 것보다 더 많은 것을 보고한다. 예산을 맞춘 조건에서, 전체 하네스 진화는 한 벤치마크에서 테스트 시점 스케일링을 능가하지 못했고 [139], 능력 업데이트는 기반 능력에서 평평하며 [143], 이득은 대부분 결함 보상이며 [145], 응축된 경험은 충실히 읽히지 않고 [138], 명시적 능력 진화는 일관된 장기 이점을 보이지 않았으며 [140], 축적은 기본적으로 해로우며 롤백할 수 없다 [113, 118, 124]. 이것들은 이 분야를 일축할 이유는 아니다. 5절에서 7절에 걸친 여러 결과는 강력하고, 일부는 잘 통제되어 있다. 그러나 이것들은 하네스 수준의 재귀적 자기 개선에 대한 가장 가치 있는 다음 기여가 아마도 더 영리한 연산자가 아니라는 것을 의미한다. 그것은 더 나은 게이트이며, 제대로 측정되고, 다른 사람들이 비교할 수 있는 단위로 보고되어야 한다.

부록 A: 범위, 코퍼스 및 증거 경계

A.1 검색 경로

후보 코퍼스는 여섯 개의 상호 보완적 경로의 합집합이며, 모두 2022-01-01 이후의 v1 제출물로 제한된다:

표 10. 후보 코퍼스 배후의 여섯 검색 경로.

R1–R5는 각자의 검색 상한인 250개 항목에서 포화되었으므로 잘림이 가능하다; R6는 "하네스"라고 명명된 연구에만 도달한다. 따라서 합집합은 문서화되었지만 완전함이 보장되지는 않는다. 합집합은 1176개 후보로 구성되었으며; 포함 기준을 적용하여 736개를 유지하고 440개를 제외했다.

A.2 집계

• 선별: 1176개 후보 중 736개 유지, 440개 제외(736 + 440 = 1176).
• 분류: 유지된 작업 중 595개가 13개 리프에 배치되었으며(108개의 다중 레이블 중복 포함), 나머지 141개의 경계 교차 작업은 별도의 버킷으로 보관되어(595 + 141 = 736) 경계 논의 및 폭넓은 인용에만 사용되었다.
• 1차 읽기 물결: 다섯 개 리프에 걸쳐 63건의 파견 — 자기 참조 코드(20), 검증기 및 게이트(10), 전체 하네스 탐색(16), 메모리(8), 도구 및 기술(9). 이 중 61건은 섹션 단위로 읽었고, 2건(STOP [7] 및 TTHE [55])은 본문을 이용할 수 없어 초록 수준으로만 읽을 수 있었다.- 2차 읽기 물결: 네 개의 얇은 리프에 걸쳐 48건의 파견 — 이론 및 증거 감사(10, 해당 리프 전체), 메모리(12), 도구 및 기술(12), 응용(12) — 그리고 본문이 이용 가능해진 후 재파견된 1차 물결의 저하된 논문 2편. 이 중 TTHE [55]는 이로써 섹션 수준 읽기로 승격되었으나, STOP [7]은 두 물결 모두에서 본문을 이용할 수 없었으므로 여전히 초록 수준으로 인용된다.
• 참고문헌: 146개의 번호 매겨진 항목 = 1차 물결의 100개에 2차 물결이 추가한 46개; 깊이 읽은 작업은 본문에서 인용되고, 초록 또는 메타데이터 수준으로 인용된 작업은 폭넓은 인용을 위해서만 등장한다. 증거 원장은 참고문헌별 읽기 깊이와 인용 등급을 기록하며, 초록 수준 작업에는 결코 등급 A 또는 B가 부여되지 않는다.
• 두 물결에 걸쳐 처리된 고유 논문: 109개(63 + 46). 재파견된 두 논문은 이미 1차 물결에서 집계되었기 때문이다.
• 선별을 통과했으나 인용되지 않은 나머지 작업은 리프 크기 통계 및 분류에만 사용되었다.

A.3 2차 물결의 표본 추출

2차 물결은 네 개 리프에 대한 전수 읽기가 아닌 표적 표본이었다. 각 리프 집합의 구성원은 안정적이지만 임의적인 순서로 저장되어 있으며, 우리는 리프당 12개 작업을 추출하여(메모리 153개 구성원, 도구 및 기술 133개, 응용 94개) 각 리프의 하위 유형을 포괄하였고, 이론 리프는 전수 읽었다(11개 구성원, 그중 2개는 이미 1차 물결에서 읽음). 가중치–하네스 공진화(17개 구성원), 벤치마크 및 평가(24개), 프롬프트 및 지시(38개), 워크플로 및 토폴로지(77개), 안전(26개)은 2차 물결의 범위를 정할 때 합의된 대로 의도적으로 초록 수준으로 남겨두었으며, 섹션 5.3, 9.1, 9.2, 9.3의 해당 하위 섹션들이 이를 해당 위치에서 명시하고 있다.

A.4 증거가 얇은 분기

다음 분기들은 섹션 4, 6, 7, 8, 10보다 실질적으로 더 얇은 증거를 지니고 있으며, 본문에서 표시되어 있다:

• 프롬프트($P$)와 워크플로/오케스트레이션($W$): 기존의 프롬프트 최적화 및 아키텍처 탐색 전통과 중첩되며, 대부분 $d=0$이고, 논문별로 검증된 것은 아니다.
• 이론 및 메커니즘 분석: 코퍼스 내 11편의 연구; 2차 웨이브에서 해당 리프 전체를 읽었으며, 8장이 이를 활용한다.
• 벤치마크 및 평가: 24편의 연구 중, 본 서베이는 전용 벤치마크 [99]와 두 편의 프로토콜 감사 [139, 143]를 인용한다.
• 가중치–하네스 공진화: 17편의 연구 중, 9.1절에서 세 가지 특정 시스템을 논의한다.
• 안전성: 26편의 연구 중, 9.3절에서 서베이, 리스크 특성화, 인젝션 공격 표면, 그리고 두 편의 방어 또는 거버넌스 연구를 논의한다.
• 응용: 94편의 연구 중, 11절에서 7개 도메인에 걸친 12편을 보고한다; 나머지 도메인([132] 너머의 추천, 법률, [135] 너머의 생물학, [134] 너머의 하드웨어)은 실질적으로 평가되지 않는다.

A.5 알려진 편향 및 재현성 노트

• 이 특정 문헌을 위한 공개 인용 그래프 도구가 없으므로, 계보 진술은 전방 인용 열거가 아니라 우리가 읽은 연구들의 관련 연구 섹션과 베이스라인 선택에 의존한다.
• 재귀 정도 $d$은 공유 표기법 하에서 우리의 분류이며, 저자 자신의 표현이 아니다. 다르게 보정된 독해는 개별 연구를 척도상에서 한 칸 이동시킬 수 있으며, 12.6절에서 어휘 자체가 불안정한 이유를 논의한다.
• 예산, 벤치마크, 베이스 모델이 연구마다 충분히 다르므로, 본 서베이의 모든 연구 간 수치 비교는 순위 비교 불가로 표시된다.
• 이 코퍼스 내 두 편의 연구는 실험이 아닌 서베이 또는 입장 논문이며 [130], 인용되는 모든 곳에서 그렇게 표시된다.

A.6 그림 및 표 색인

그림 1. 서베이의 구성 (1.3절, 도해). 그림 2. 하네스 수준 자기 개선의 이정표 (2.3절, 도해). 그림 3. 두 축 분류 체계 (3.3절, 도해). 그림 4. 다윈 괴델 머신 루프 (4.2절, [11]에서). 그림 5. HADA의 결합 워크플로 (4.2절, [31]에서). 그림 6. 탐색 연산자 스펙트럼 (6.1절, 도해). 그림 7. Self-Harness의 한 라운드 (6.1절, [40]에서). 그림 8. SAGE의 통계적 수용 게이트 (7.1절, [67]에서). 그림 9. 고정 게이트에서 공진화되고 재지향된 게이트로 (7.1절, 도해). 그림 10. DUET의 공진화 절제 실험 (7.1절, [69]에서). 그림 11. CAFE의 세 개의 연결된 루프 (7.1절, [74]에서). 그림 12. 레드 퀸 괴델 머신의 공진화적 구성 (7.4절, [70]에서).

표 1. 자기 개선의 세 가지 체제 (2.1절). 표 2. 공유 표기법 (2.2절). 표 3. 관련 서베이와 본 서베이의 차이 (2.4절). 표 4. 코퍼스에서 $d\ge1$가 발생하는 위치 (3.2절). 표 5. 자기 참조 코드 및 스캐폴딩 연구 비교 (4.5절). 표 6. 수용 게이트 및 채점자 비교 (7.4절). 표 7. 감사 및 부정적 결과 연구 (10.7절). 표 8. 검증 가능성 스펙트럼 (11.2절). 표 9. 코퍼스에서 반복적으로 사용된 자원 (11.5절). 표 10. 여섯 가지 검색 경로 (부록 A.1).

참고: 그림 4, 5, 7, 8, 10, 11, 12는 인용된 논문에서 재현한 것이며, 나머지 그림은 본 서베이를 위해 그린 도해이다. 각 표는 이를 사용하는 절에 나타나며, 각 캡션은 해당 행들의 비교 가능성 한계를 명시한다.

References

[1] Zhe Ren, Yimeng Chen, Dandan Guo, et al. Self-Improvements in Modern Agentic Systems: A Survey. 2026. arXiv preprint. arXiv:2607.13104

[2] Mingguang Chen, Licheng Wang, Bo Qu. Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops. 2026. arXiv preprint. arXiv:2607.07663

[3] Yi Duan, Ying Liu, Zirui Tang, et al. The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement. 2026. arXiv preprint. arXiv:2609.11873

[4] Huan-ang Gao, Jiayi Geng, Wenyue Hua, et al. A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve on the Path to Artificial Super Intelligence. 2025. arXiv preprint. arXiv:2507.21046

[5] Jinyuan Fang, Yanwen Peng, Xi Zhang, et al. A Comprehensive Survey of Self-Evolving AI Agents: A New Paradigm Bridging Foundation Models and Lifelong Agentic Systems. 2025. arXiv preprint. arXiv:2508.07407

[6] Jiahao Chen, Zhou Feng, Oubo Ma, et al. Safety in Self-Evolving Agents: A Survey. 2026. arXiv preprint. arXiv:2610.00093

[7] Eric Zelikman, Eliana Lorch, Lester Mackey, Adam Tauman Kalai. Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation. 2023. arXiv preprint. arXiv:2310.02304

[8] Alex Sheng, Shankar Padmanabhan. Self-Programming Artificial Intelligence Using Code-Generating Language Models. 2022. arXiv preprint. arXiv:2205.00167

[9] Shengran Hu, Cong Lu, Jeff Clune. Automated Design of Agentic Systems. 2024. arXiv preprint. arXiv:2408.08435

[10] Xunjian Yin, Xinyi Wang, Liangming Pan, Li Lin, Xiaojun Wan, William Yang Wang. Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement. 2024. arXiv preprint. arXiv:2410.04444

[11] Jenny Zhang, Shengran Hu, Cong Lu, Robert Lange, Jeff Clune. Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents. 2025. arXiv preprint. arXiv:2505.22954

[12] Maxime Robeyns, Martin Szummer, Laurence Aitchison. A Self-Improving Coding Agent. 2025. arXiv preprint. arXiv:2504.15228

[13] Wenyi Wang, Piotr Piękos, Li Nanbo, et al. Huxley-Gödel Machine: Human-Level Coding Agent Development by an Approximation of the Optimal Self-Improving Machine. 2025. arXiv preprint. arXiv:2510.21614

[14] Jenny Zhang, Bingchen Zhao, Wannan Yang, et al. Hyperagents. 2026. arXiv preprint. arXiv:2603.19461

[15] Guanzhi Wang, Yuqi Xie, Yunfan Jiang, et al. Voyager: An Open-Ended Embodied Agent with Large Language Models. 2023. arXiv preprint. arXiv:2305.16291

[16] Noah Shinn, Federico Cassano, Edward Berman, et al. Reflexion: Language Agents with Verbal Reinforcement Learning. 2023. arXiv preprint. arXiv:2303.11366

[17] Aman Madaan, Niket Tandon, Prakhar Gupta, et al. Self-Refine: Iterative Refinement with Self-Feedback. 2023. arXiv preprint. arXiv:2303.17651

[18] Mert Yuksekgonul, Federico Bianchi, Joseph Boen, et al. TextGrad: Automatic "Differentiation" via Text. 2024. arXiv preprint. arXiv:2406.07496

[19] Omar Khattab, Arnav Singhvi, Paridhi Maheshwari, et al. DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines. 2023. arXiv preprint. arXiv:2310.03714

[20] Chengrun Yang, Xuezhi Wang, Yifeng Lu, et al. Large Language Models as Optimizers. 2023. arXiv preprint. arXiv:2309.03409

[21] Qingyan Guo, Rui Wang, Junliang Guo, et al. EvoPrompt: Connecting LLMs with Evolutionary Algorithms Yields Powerful Prompt Optimizers. 2023. arXiv preprint. arXiv:2309.08532

[22] Eric Zelikman, Yuhuai Wu, Jesse Mu, Noah D. Goodman. STaR: Bootstrapping Reasoning With Reasoning. 2022. arXiv preprint. arXiv:2203.14465

[23] Adam Zweiger, Jyothish Pari, Han Guo, et al. Self-Adapting Language Models. 2025. arXiv preprint. arXiv:2506.10943

[24] Andrew Zhao, Yiran Wu, Yang Yue, et al. Absolute Zero: Reinforced Self-play Reasoning with Zero Data. 2025. arXiv preprint. arXiv:2505.03335

[25] Alexander Novikov, Ngân Vũ, Marvin Eisenberger, et al. AlphaEvolve: A coding agent for scientific and algorithmic discovery. 2025. arXiv preprint. arXiv:2506.13131

[26] Luke J. O'Connor. Self-Programmed Execution for Language-Model Agents. 2026. arXiv preprint. arXiv:2605.06898

[27] Qianshu Cai, Yonggang Zhang, Xianzhang Jia, et al. MOSS: Self-Evolution through Source-Level Rewriting in Autonomous Agent Systems. 2026. arXiv preprint. arXiv:2605.22794

[28] Anton Razzhigaev, Andrei Gritsaev, Andrei Kaznacheev, et al. Ouroboros: A Self-Developing Frontier Coding Agent with Reviewed Core Evolution. 2026. arXiv preprint. arXiv:2608.08311

[29] Chunqiu Steven Xia, Zhe Wang, Yan Yang, Yuxiang Wei, Lingming Zhang. Live-SWE-agent: Can Software Engineering Agents Self-Evolve on the Fly?. 2025. arXiv preprint. arXiv:2511.13646

[30] Xinghong Fu, Aravinth Kulanthaivelu, Yutaro Yamada. Self Improvement via Fast Tree-search. 2026. arXiv preprint. arXiv:2609.19526

[31] Zipei Yu, Yue-Jiao Gong, Zeyuan Ma, Yuncheng Jiang, Zhiguang Cao. Hyper Algorithm Design Agent: Evolving Learnable Optimizer from Zero. 2026. arXiv preprint. arXiv:2609.35328

[32] Dhruv Srikanth, Bingchen Zhao, Dixing Xu, Yuxiang Wu, Zhengyao Jiang. Recursive self-improvement of AI research agents. 2026. arXiv preprint. arXiv:2609.26457

[33] Marco Robol, Paolo Giorgini. Self-Evolving Software Agents. 2026. arXiv preprint. arXiv:2604.27264

[34] Nikolas Belle, Dakota Barnes, Alfonso Amayuelas, et al. Agents of Change: Self-Evolving LLM Agents for Strategic Planning. 2025. arXiv preprint. arXiv:2506.04651

[35] Zhiyi Kuang, Ryan Rong, YuCheng Yuan, Allen Nie. Learning Game-Playing Agents with Generative Code Optimization. 2025. arXiv preprint. arXiv:2508.19506

[36] Tailin Zhou. Hierarchical Self-Improvement: A Framework for Task-Specific Evolvable Agent Harnesses. 2026. arXiv preprint. arXiv:2608.08466

[37] Laizhen Li, Jiarui Li, Juanjuan Zhao, et al. Grow the Harness, Not the Context: From Strategy-Free Scaffolds to Reusable Specialist Agents. 2026. arXiv preprint. arXiv:2609.26760

[38] Jun Nie, Yonggang Zhang, Qianshu Cai, et al. EvolveNet: Collaborative Harness Evolution for Agent Self-Improvement. 2026. arXiv preprint. arXiv:2608.04968

[39] Jingbo Yang, Kwei-Herng Lai, Xiaowen Wang, et al. Learning from Research: Toward Lifelong Agent Harness Evolution. 2026. arXiv preprint. arXiv:2609.40169

[40] Hangfan Zhang, Shao Zhang, Kangcong Li, et al. Self-Harness: Harnesses That Improve Themselves. 2026. arXiv preprint. arXiv:2606.09498

[41] Qiankai Xu. Self-Evolving Harness on Multiple Tasks with the Agent as Its Own Optimizer. 2026. arXiv preprint. arXiv:2609.38372

[42] Hyunin Lee, Jinglue Xu, Jeffrey Seely, et al. Recursive Harness Self-Improvement. 2026. arXiv preprint. arXiv:2607.15524

[43] Jiahang Lin, Shichun Liu, Chengjun Pan, et al. Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses. 2026. arXiv preprint. arXiv:2604.25850

[44] Luan Zhang, Ruochen Zhou, Dandan Song, et al. HarnessCompass: Guiding Automatic Harness Evolution toward Generalizable and Effective Agent Harnesses. 2026. arXiv preprint. arXiv:2608.01918

[45] Zibo Zhao, Jijun Shi, Mo Zhou, et al. RobustSGPO: Search-Space Control for Agent Harness Evolution. 2026. arXiv preprint. arXiv:2609.09646

[46] Ruiqing Yue, Yu Cui, Zhuoyu Sun, et al. Ecdysis: Efficient and Effective Training of Runtime Harnesses for LLM Agents. 2026. arXiv preprint. arXiv:2609.11677

[47] Guojun Zhu, Xunheng Huang, Peng Yin, et al. Bad Genius: Counterfactual-Guided Harness Evolution Beyond Task-Specific Shortcuts. 2026. arXiv preprint. arXiv:2609.18366

[48] Yifan Zhang, Yutong Dai, Juntao Tan, et al. DarwinX: Evolving Agent Harnesses Through Natural Selection. 2026. arXiv preprint. arXiv:2608.07545

[49] Zhiwei Shang, Yu Huo, Mingrong Gong, et al. MESH-Harness: Self-Improving Agent Harnesses via Bandit-Guided Compositional Evolution. 2026. arXiv preprint. arXiv:2610.05300

[50] Zhiwei Shang, Jiahang Sun, Mingrong Gong, et al. Fusion is the New Mutation: Bandit-Guided Evolution on Workflow Graphs. 2026. arXiv preprint. arXiv:2610.05284

[51] Haoyu Dong, Yuhang Zhou, Zihao Lin, et al. Mixture of Self-Improving Branches For Agent Harness Optimization. 2026. arXiv preprint. arXiv:2609.37834

[52] Yue Huang, Wenjie Wang, Han Bao, et al. MemoHarness: Agent Harnesses That Learn from Experience. 2026. arXiv preprint. arXiv:2607.14159

[53] Kamer Ali Yuksel. EvoLattice: Persistent Internal-Population Evolution through Multi-Alternative Quality-Diversity Graph Representations for LLM-Guided Program Discovery. 2025. arXiv preprint. arXiv:2512.13857

[54] Haebin Seong, Li Yin, Haoran Zhang, Zhan Shi. The Last Harness You'll Ever Build. 2026. arXiv preprint. arXiv:2604.21003

[55] Jun Nie, Yonggang Zhang, Jun Song, et al. TTHE: Test-Time Harness Evolution. 2026. arXiv preprint. arXiv:2607.08124

[56] Tingyang Chen, Shuo Lu, Kang Zhao, et al. HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry. 2026. arXiv preprint. arXiv:2606.14249

[57] Zewen Liu, Zhan Shi, Yisi Sang, et al. Adaptive Auto-Harness: Sustained Self-Improvement for Agentic System Deployment on Open-Ended Task Streams. 2026. arXiv preprint. arXiv:2606.01770

[58] Yuetian Du, Yucheng Wang, He Xu, et al. Living-Harness Is an Interactive-Agent Evolver. 2026. arXiv preprint. arXiv:2607.26598

[59] Seth Karten, Joel Zhang, Tersoo Upaa Jr, et al. Continual Harness: Online Adaptation for Self-Improving Foundation Agents. 2026. arXiv preprint. arXiv:2605.09998

[60] Wujiang Xu, Jiaojiao Han, Minghao Guo, et al. AEL: Evolving Agent Harness in Open-Ended Environments. 2026. arXiv preprint. arXiv:2604.21725

[61] Wenbo Pan, Shujie Liu, Chin-Yew Lin, et al. Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference. 2026. arXiv preprint. arXiv:2606.05922

[62] Yu Shang, Yu Li, Keyu Zhao, et al. AgentSquare: Automatic LLM Agent Search in Modular Design Space. 2024. arXiv preprint. arXiv:2410.06153

[63] Siyu Yuan, Kaitao Song, Jiangjie Chen, et al. EvoAgent: Towards Automatic Multi-Agent Generation via Evolutionary Algorithms. 2024. arXiv preprint. arXiv:2406.14228

[64] Zeyu Gan, Zixuan Gong, Yong Liu. Harness Evolution as Learning: Approximation, Generalization, and Optimization Limits of Self-Improving Personal Agents. 2026. arXiv preprint. arXiv:2609.36892

[65] Tianyu Fan, Chao Huang. HELIX: Model-Harness Co-evolution for Recursive Self-Improvement. 2026. arXiv preprint. arXiv:2608.13951

[66] Chejian Xu, Shujian Zhang, Wenxuan Zhou, et al. Evo²: Evolving the Evolver through Weight-Harness Co-Evolution. 2026. arXiv preprint. arXiv:2610.13025

[67] Yihao Wang, Linhan Xia, Rui Liu, et al. SAGE: A Statistical Acceptance Gate for Self-Evolving Agents. 2026. arXiv preprint. arXiv:2609.36043

[68] Biswa Sengupta. Self-Evolving Agents with Anytime-Valid Certificates. 2026. arXiv preprint. arXiv:2607.00871

[69] Fengyu Gao, Sourav Pal, Austin Z. Henley, et al. DUET: Co-Evolving Solver and Grader Agents. 2026. arXiv preprint. arXiv:2610.04087

[70] Alex Iacob, Andrej Jovanović, William F. Shen, et al. The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators. 2026. arXiv preprint. arXiv:2606.26294

[71] Xing Zhang, Guanghui Wang, Yanwei Cui, et al. Who Verifies the Verifier? Co-Evolving Inspectable Graders with Self-Improving Agents. 2026. arXiv preprint. arXiv:2610.11464

[72] Xing Zhang, Guanghui Wang, Yanwei Cui, et al. Who Grades the Grader? Co-Evolving Evaluation Metrics and Skills for Self-Improving LLM Agents. 2026. arXiv preprint. arXiv:2607.12790

[73] Jiamu Bai, Lizhu Zhang, Xin Yu, et al. Verify Less, Evolve More: Training Idea-Level Critics for Verification-Efficient ML Evolving Agents. 2026. arXiv preprint. arXiv:2610.08993

[74] Boyang Liu, Senjie Jin, Peixin Wang, et al. CAFE: Self-Improving Search Agents Need Co-Evolving Feedback. 2026. arXiv preprint. arXiv:2608.24794

[75] Xinyu Wang, Hanwei Wu, Jingwei Song, et al. Co-Evolution of Policy and Internal Reward for Language Agents. 2026. arXiv preprint. arXiv:2604.03098

[76] Zewen Liu. Multimodal Evaluator Preference Collapse: Cross-Modal Coupling in Self-Evolving Agents. 2026. arXiv preprint. arXiv:2606.16682

[77] Tianlu Wang, Ilia Kulikov, Olga Golovneva, et al. Self-Taught Evaluators. 2024. arXiv preprint. arXiv:2408.02666

[78] Guibin Zhang, Haotian Ren, Chong Zhan, et al. MemEvolve: Meta-Evolution of Agent Memory Systems. 2025. arXiv preprint. arXiv:2512.18746

[79] Haozhen Zhang, Quanyu Long, Jianzhu Bao, et al. MemSkill: Learning and Evolving Memory Skills for Self-Evolving Agents. 2026. arXiv preprint. arXiv:2602.02474

[80] Shengtao Zhang, Jiaqian Wang, Ruiwen Zhou, et al. MemRL: Self-Evolving Agents via Runtime Reinforcement Learning on Episodic Memory. 2026. arXiv preprint. arXiv:2601.03192

[81] Wujiang Xu, Zujie Liang, Kai Mei, et al. A-MEM: Agentic Memory for LLM Agents. 2025. arXiv preprint. arXiv:2502.12110

[82] Huichi Zhou, Yihang Chen, Siyuan Guo, et al. Memento: Fine-tuning LLM Agents without Fine-tuning LLMs. 2025. arXiv preprint. arXiv:2508.16153

[83] Yaolun Zhang, Yiran Wu, Yijiong Yu, Qingyun Wu, Huazheng Wang. Live-Evo: Online Evolution of Agentic Memory from Continuous Feedback. 2026. arXiv preprint. arXiv:2602.02369

[84] Kaichao Liang, Yuqi Cui, Hao Kong, et al. MindMemOS: A Portable and Self-Evolving Memory Operating Layer for AI Agents. 2026. arXiv preprint. arXiv:2608.12428

[85] Xinke Jiang, Tao Feng, Weixuan Xu, et al. GenMem: Generative Symbolic Memory for Self-Evolving Harness. 2026. arXiv preprint. arXiv:2609.34633

[86] Serin Kim, Kwangwook Seo, Dokyung Song, Jinyoung Yeo, Dongha Lee. SkillSandbox: Skill Verification via Dynamic Scenario Synthesis. 2026. arXiv preprint. arXiv:2610.10088

[87] Zhen Xiong, Qiaoyu Tan. EASE: Behavior-Adaptive Skill Curation for Self-Evolving Agents. 2026. arXiv preprint. arXiv:2609.36746

[88] Zhang Zhang, Shuqi Lu, Hongjin Qian, Di He, Zheng Liu. AgentFactory: A Self-Evolving Framework Through Executable Subagent Accumulation and Reuse. 2026. arXiv preprint. arXiv:2603.18000

[89] Guanyu Jiang, Zhaochen Su, Xiaoye Qu, Yi R. Fung. XSkill: Continual Learning from Experience and Skills in Multimodal Agents. 2026. arXiv preprint. arXiv:2603.12056

[90] Zeyu Ren, Ling Yue, Ran Li, et al. FlowEvo: Self-Evolving Agents through the Co-Evolution of Workflows and Executable Skills. 2026. arXiv preprint. arXiv:2607.21596

[91] Huichi Zhou, Siyuan Guo, Anjie Liu, et al. Memento-Skills: Let Agents Design Agents. 2026. arXiv preprint. arXiv:2603.18743

[92] Zhiling Yan, Dingjie Song, Hanrong Zhang, et al. OpenSkill: Open-World Self-Evolution for LLM Agents. 2026. arXiv preprint. arXiv:2606.06741

[93] Srishti Gautam, Arjun Radhakrishna, Sumit Gulwani. SkillAxe: Sharpening LLM-Authored Agent Skills Through Evaluation-Guided Self-Refinement. 2026. arXiv preprint. arXiv:2606.10546

[94] Zae Myung Kim, Young-Jun Lee, Seungyeon Jwa, Dongyeop Kang. Meta^n: Recursive Self-Improvement through Emergent Depth. 2026. arXiv preprint. arXiv:2608.24735

[95] Shuai Shao, Qihan Ren, Chen Qian, et al. Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents. 2025. arXiv preprint. arXiv:2509.26354

[96] Xiqiao Xiong, Moxin Li, Zhixin Ma, et al. HASTE: Evolving Agent Harnesses Against Emerging Attacks Using Sparse Evidence. 2026. arXiv preprint. arXiv:2610.02920

[97] Geyi Yang, Zikun Qu, Xiang Li, et al. GUI-HARVEST: Self-Improving GUI Agents through Evidence-Driven Harness Evolution. 2026. arXiv preprint. arXiv:2610.00948

[98] Bingjun Luo, Jialin Guo, Siqi Li. Video-RSI: Recursive Self-Improvement of Video Understanding Agents via Harness Evolution. 2026. arXiv preprint. arXiv:2609.37950

[99] Zixuan Ke, Vaidehi Patil, Haizhou Shi, et al. EvoHarnessBench: Can Your Agents Keep Pace with an Evolving Harness?. 2026. arXiv preprint. arXiv:2609.04280

[100] Jürgen Schmidhuber. Gödel Machines: Fully Self-Referential Optimal Universal Self-Improvers. 2003 (rev. 2006). arXiv:cs.LO/0309048; reprinted in Artificial General Intelligence, Springer, 2007, pp. 199–226, DOI 10.1007/978-3-540-68677-4_7

[101] Wujiang Xu, Zujie Liang, Kai Mei, et al. AutoMem: A Text-Gradient Recursive Self-Improvement Framework for Automated Memory Architectures Search. 2026. arXiv preprint. arXiv:2608.14621

[102] Yi Yang, Zhennan Chen, Yihong Zhuang, et al. RoMeRL: Balancing Feedback Coverage and the Memory-Reward Trap in Self-Evolving Agent Memory via Reduced-Order Utility States. 2026. arXiv preprint. arXiv:2608.02508

[103] Igor Bogdanov, Chung-Horng Lung, Thomas Kunz, et al. FORGE: Self-Evolving Agent Memory With No Weight Updates via Population Broadcast. 2026. arXiv preprint. arXiv:2605.16233

[104] Minhua Lin, Zhiwei Zhang, Hanqing Lu, et al. MemMA: Coordinating the Memory Cycle through Multi-Agent Reasoning and In-Situ Self-Evolution. 2026. arXiv preprint. arXiv:2603.18718

[105] Shu Yang, Junchao Wu, Derek F. Wong, Di Wang. SelfMem: Self-Optimizing Memory for AI Agents. 2026. arXiv preprint. arXiv:2607.03726

[106] Marc-Antoine Allard, Arnaud Teinturier, Victor Xing, et al. Experiential Reflective Learning for Self-Improving LLM Agents. 2026. arXiv preprint. arXiv:2603.24639

[107] Dasheng Bi, Yubin Hu, Mohammed N. Nasir. Real-Time Procedural Learning From Experience for AI Agents. 2025. arXiv preprint. arXiv:2511.22074

[108] Kaijie Chen, Chenyu Fang, Liang Yan, et al. Success Leaves Detours: Learning Executable Walkthroughs for Long-Horizon Agents. 2026. arXiv preprint. arXiv:2609.22120

[109] Anuva Banwasi, William Muckelroy III, Priya Sundaresan, et al. MessyMem: Learning-from-Doing Memory for Mobile Manipulation. 2026. arXiv preprint. arXiv:2609.15976

[110] Runzhe Wang, Huilin Lu, Shengjie Liu, et al. AdMem: Advanced Memory for Task-solving Agents. 2026. arXiv preprint. arXiv:2606.06787

[111] Gabriel Sarch, Lawrence Jang, Michael J. Tarr, et al. VLM Agents Generate Their Own Memories: Distilling Experience into Embodied Programs of Thought. 2024. arXiv preprint. arXiv:2406.14596

[112] Xu Liu, WenZhang Wei, Jun Cao, et al. NLPG: Natural-Language Policy Gradients for Self-Evolving Language Agents. 2026. arXiv preprint. arXiv:2609.33379

[113] Linfang Shang, Ming Xu, Yiding Sun, et al. When Self-Evolution Backfires: Pre-Commit Gating against Skill Contamination in LLM Agents. 2026. arXiv preprint. arXiv:2608.05810

[114] Xiaojun Wu, Cehao Yang, Honghao Liu, et al. Bayesian-Agent: Posterior-Guided Skill Evolution Across LLM Agent Harnesses. 2026. arXiv preprint. arXiv:2606.08348

[115] Salaheddin Alzubi, Noah Provenzano, Jaydon Bingham, et al. EvoSkill: Automated Skill Discovery for Multi-Agent Systems. 2026. arXiv preprint. arXiv:2603.02766

[116] Siru Ouyang, Jun Yan, Yanfei Chen, et al. SkillOS: Learning Skill Curation for Self-Evolving Agents. 2026. arXiv preprint. arXiv:2605.06614

[117] Kaiwei Liu, Jiqian Dong, Liran Dong, et al. SkillVine: Agent Skill Evolution via Branching Exploration. 2026. arXiv preprint. arXiv:2609.32731

[118] Yuyao Ge, Yiwei Wang, Yuchen He, et al. SkillForge: Co-Evolving Skills and Agents via Dynamic Skill Lifecycles. 2026. arXiv preprint. arXiv:2610.09832

[119] Yu He, Weikai Yang. SkillCommit: Evolving Agent Skills through Behaviorally Validated Scope Expansion. 2026. arXiv preprint. arXiv:2608.15165

[120] Zixi Huang, Xiheng Wang, Andrew Wang, et al. Better, Faster, Stronger: Programmatic Skill Learning Best Reduces Agent Cost. 2026. arXiv preprint. arXiv:2608.11338

[121] Doyun Kim, Chanwoo Kim, Sugyeong Eo, et al. EvoSkill Injection: Red-Teaming Autonomous Skill Generation and Evolution in Self-Evolving Agents. 2026. arXiv preprint. arXiv:2608.30429

[122] Zhiwei Li, Yong Hu. SkillHone: A Harness for Continual Agent Skill Evolution Through Persistent Decision History. 2026. arXiv preprint. arXiv:2606.08671

[123] Liyan Tang, Cyrus Rashtchian, Chun-Sung Ferng, et al. WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution. 2026. arXiv preprint. arXiv:2608.27454

[124] Jiaming Wang. What Stops Recursive Self-Improvement in Robotics? Lessons from 123 Rounds of Agentic Skill Discovery. 2026. arXiv preprint. arXiv:2609.31760

[125] Bingjun Luo, Yuhuan Fan, Jialin Guo, et al. VideoEvolve: Evolving Agent Harnesses for Video Temporal Grounding. 2026. arXiv preprint. arXiv:2610.01766

[126] Xilin Dang, Weilin Ruan, Xue Yang, et al. MedZERO: Self-Evolving Agents for Open-Ended Medical Reasoning Through Controlled Knowledge Accumulation. 2026. arXiv preprint. arXiv:2610.08327

[127] Shilong Jin, Lanjun Wang, Zhuosheng Zhang. SE-GA: Memory-Augmented Self-Evolution for GUI Agents. 2026. arXiv preprint. arXiv:2605.16883

[128] Haiyu Huang, Jiewei Lyu, Zhihan Jiang, et al. From General Agents to RCA Experts: A Self-Evolving Harness for Root Cause Analysis. 2026. arXiv preprint. arXiv:2608.25661

[129] Seungyeon Kim, Junhoo Lee, Minkyu Kim, et al. Recursive Harness Distillation across Agents for Robot Manipulation. 2026. arXiv preprint. arXiv:2609.33378

[130] Loc X. Nguyen, Avi Deb Raha, Huy Q. Le, et al. Self-Evolving AI for Humanoids: Mechanisms, Safety, and Evaluation of Post-Deployment Self-Improvement. 2026. arXiv preprint. arXiv:2609.13236

[131] Peidong Wang, Zhiming Ma, Ying Chang, et al. Self-Evolving Embodied Agents via Skill-Harness Evolution. 2026. arXiv preprint. arXiv:2608.11350

[132] Zhen Tao, Riwei Lai, Chenyun Yu, et al. SAGER: Self-Evolving User Policy Skills for Recommendation Agent. 2026. arXiv preprint. arXiv:2604.14972

[133] Prithwish Jana, Viet Bach Hoang, Logan Luna, et al. AIProver: Agentic Auto-Formalization of Mathematical Research via Certificate-Driven Evolving Harness. 2026. arXiv preprint. arXiv:2610.05367

[134] Cunxi Yu, Haoxing Ren. Autonomous Evolution of EDA Tools: Multi-Agent Self-Evolved ABC. 2026. arXiv preprint. arXiv:2604.15082

[135] Mingquan Liu, Jiangyu Chen, Hanqun Cao, et al. AgentFold: Closed-Loop Agentic Search for Protein Folding Model Design. 2026. arXiv preprint. arXiv:2608.26747

[136] Zongxia Li, Dawei Liu, Fuxiao Liu, et al. COMFYCLAW: Self-Evolving Skill Harnesses for Image Generation Workflows. 2026. arXiv preprint. arXiv:2606.01709

[137] Qianshu Cai, Yonggang Zhang, Jun Nie, et al. A Theory of Reliable Self-Evolution for Agent Harnesses. 2026. arXiv preprint. arXiv:2609.08175

[138] Weixiang Zhao, Yingshuo Wang, Yichen Zhang, et al. Large Language Model Agents Are Not Always Faithful Self-Evolvers. 2026. arXiv preprint. arXiv:2601.22436

[139] Yike Wang, Huaisheng Zhu, Zhengyu Hu, et al. Rethinking the Evaluation of Harness Evolution for Agents. 2026. arXiv preprint. arXiv:2607.12227

[140] Siyuan Li, Jiangfeng Zhang, Rui Yao, et al. EverMine: Dissecting the Self-Evolution of Research Capabilities in Long-Horizon Alpha Research. 2026. arXiv preprint. arXiv:2609.33524

[141] Xing Zhang, Yanwei Cui, Guanghui Wang, et al. The Blind Curator: How a Biased Judge Silently Disables Skill Retirement in Self-Evolving Agents. 2026. arXiv preprint. arXiv:2607.07436

[142] Mohammad Asadolahi, Amir Amini, Samira Talebi, et al. Memory Reward Inflation in Self-Improving LLM Agents. 2026. arXiv preprint. arXiv:2608.00017

[143] Minhua Lin, Juncheng Wu, Zijun Wang, et al. Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents. 2026. arXiv preprint. arXiv:2605.30621

[144] Batu El, Mert Yuksekgonul, James Zou. Inefficiencies of Meta Agents for Agent Design. 2025. arXiv preprint. arXiv:2510.06711

[145] Siqi Yang, Qianlan Yang, Yu-Xiong Wang, et al. One Recipe, Many Harnesses: What Self-Evolution Encodes Across Languages and Models. 2026. arXiv preprint. arXiv:2608.10178

[146] Krti Tallam. Layered Mutability: Continuity and Governance in Persistent Self-Modifying Agents. 2026. arXiv preprint. arXiv:2604.14717