서베이
루프 및 재귀 깊이 트랜스포머: 아키텍처, 훈련, 적응형 추론, 이론 및 시스템
루프형(또는 재귀 깊이) 트랜스포머는 동일한 가중치 공유 블록을 토큰의 은닉 상태에 반복적으로 적용하여, "깊이"를 파라미터 수의 고정된 속성에서 추론 시에 투입할 수 있는 변수로 바꾼다.
Model Architecture
보고서 1개
보고서 1개
서베이
루프형(또는 재귀 깊이) 트랜스포머는 동일한 가중치 공유 블록을 토큰의 은닉 상태에 반복적으로 적용하여, "깊이"를 파라미터 수의 고정된 속성에서 추론 시에 투입할 수 있는 변수로 바꾼다.