Product Updates
Parallax의 문헌 검색: 집합 대수, 전체 코퍼스 재현율, Jev 스크리닝
범용 에이전트는 웹 검색 API를 통해 문헌을 검색하는데, 이 API는 상위 k개의 결과와 많은 노이즈만 반환하므로 전체를 망라할 수 없다. Parallax는 2020년 이후 모든 학문 분야에 걸친 약 158만 편의 arXiv 논문을 대상으로 전체 코퍼스 재현율(full-corpus recall)을 수행하며, 검색을 논문 집합에 대한 조합 가능한 연산으로 모델링한다. 키워드 검색은 인접 단어 프래그먼트 인덱스로 가속된다. 시맨틱 검색은 연도와 학문 분야로 가지치기된 halfvec ANN을 사용하며, 증명 가능하게 무손실인 정확한 배칭 경로를 폴백으로 둔다. 스크리닝과 분류는 Jev의 보정된 확률을 사용하며, 우리의 LLM 기반 파이프라인보다 10배 이상 빠르고 비용은 5분의 1 미만이다. 이 글은 시스템의 설계와 이를 프로덕션에서 운영하기 위해 필요한 성능 작업을 다룬다.