Product Updates
パララックスにおける文献検索:集合代数、全コーパス再現、およびJevスクリーニング
汎用エージェントはウェブ検索APIを通じて文献を検索しますが、これらのAPIは上位k件の結果と多くのノイズしか返さないため、網羅的な検索はできません。Parallaxは、2020年以降のあらゆる分野にわたる約158万件のarXiv論文に対して全文コーパスの再現率を実行し、検索を論文集合に対する合成可能な操作としてモデル化します。キーワード検索は、隣接語フラグメントインデックスによって高速化されます。セマンティック検索は、年と分野によって枝刈りされたhalfvec ANNを使用し、フォールバックとして証明可能なロスレスな正確バッチ処理パスを備えています。スクリーニングと分類にはJevの較正済み確率を使用し、当社のLLMベースのパイプラインより10倍以上高速で、コストは5分の1未満です。本記事では、システムの設計と、それを本番環境で運用するために必要だったパフォーマンス作業について説明します。
続きを読む