Parallax は、最初の検索から最終的なインサイトまで、研究者をひとつの場所でサポートします。

ここからなんでも質問できます

内容はAIが生成したものです。論文で確認してください。

Longer Thoughts, Better Answers: Log-Linear Test-Time Scaling in Reasoning Language Models

Lena Hartmann, Arjun Mehta, Yuki Tanaka · Preprint · August 2026

Abstract

Reasoning language models trained with reinforcement learning write long chains of thought before they answer, and on hard problems their accuracy tends to rise as these chains grow. It remains unclear, however, how reliably accuracy scales with the amount of thinking, and whether longer reasoning is itself the source of the improvement. We study this question with budget forcing, which caps or extends the thinking phase of a model at inference time without changing its weights, and apply it to three models of different sizes trained under an identical recipe.

On AIME 2024–2025, the accuracy of our largest model rises from 28.3% at a budget of 1K thinking tokens to 52.5% at 8K, gaining about eight points with every doubling of the budget. Forcing models to keep thinking after they would naturally stop adds a further 3.6 points. We argue that test-time scaling in reasoning models follows a log-linear law in reasoning length, and that longer reasoning, rather than additional compute in general, is what drives it.

1. Introduction

Prompting language models to write out intermediate steps improves their performance on multi-step problems [Wei et al., 2022], and sampling several such chains and taking a majority vote improves it further [Wang et al., 2023]. A recent generation of reasoning models goes beyond prompting: trained with reinforcement learning on verifiable rewards, they learn to produce extended traces in which they plan, check intermediate results and revise earlier steps before committing to an answer [DeepSeek-AI, 2025].

These models invite a simple question: if a model is allowed to think for longer, does it answer better, and by how much? Prior work has shown that inference-time compute can substitute for model size on some tasks [Snell et al., 2024], and that a model’s thinking can be lengthened by suppressing its end-of-thinking token [Muennighoff et al., 2025]. What is still missing is a controlled measurement of how accuracy depends on the length of a single reasoning trace, and of whether that dependence holds across scales.

We provide such a measurement. Our contributions are a scaling study of accuracy against thinking budget for three model sizes, an intervention that extends reasoning beyond the point where models would naturally stop, and a log-linear fit that predicts accuracy at intermediate budgets to within one point.

2. Experimental Setup

We train three decoder-only models with 1.5B, 7B and 32B parameters, initialised from the same family of pretrained checkpoints and fine-tuned with an identical reinforcement learning recipe on 120K competition-style math problems with verifiable answers. All models write their reasoning between dedicated thinking delimiters, followed by a short final answer.

We evaluate on the 60 problems of AIME 2024 and 2025, and report results on MATH-500 in the appendix. For every problem we draw 16 samples at temperature 0.6 and report mean accuracy across samples. We control the length of the thinking phase with two interventions:

Capping: as soon as the trace reaches the budget B, we insert the end-of-thinking delimiter and ask the model to give its final answer.
Extension: if the model emits the delimiter before reaching B, we remove it and append the token “Wait” so that it keeps reasoning, repeating this up to a fixed number of times.

Capping on its own measures how much of its natural reasoning a model can afford, while extension tests whether reasoning past its natural stopping point still helps. Unless stated otherwise, budgets count thinking tokens only and exclude the final answer.

3. Experiments

3.1 Scaling with the Thinking Budget

Table 1 reports accuracy under capping at budgets from 1K to 16K tokens. Accuracy rises monotonically with the budget at every scale, and larger models gain more from each doubling of the thinking budget than smaller ones do.

Budget	1.5B	7B	32B
1K	9.4	18.1	28.3
2K	13.0	24.6	36.7
4K	16.9	30.8	45.0
8K	20.2	36.9	52.5
16K	21.1	38.8	55.8

Between 1K and 8K tokens, the 32B model gains 8.4, 8.3 and 7.5 points with successive doublings; a log-linear fit over this range gives a slope of 8.1 points per doubling (R² = 0.99). The gain from 8K to 16K is smaller, at 3.3 points, which we attribute to the fact that only 18% of traces reach 16K tokens before the model stops on its own.

3.2 Extending Reasoning Past the Natural Stop

Capping cannot tell us whether reasoning past a model’s natural stopping point would still be useful. We therefore fix the budget at 16K and apply extension, appending “Wait” up to two times whenever a model ends its trace early. Forcing the models to keep thinking improves accuracy at every scale, indicating that longer reasoning itself, rather than the budget cap, drives the gains.

Model	Natural stop	+ Wait ×1	+ Wait ×2
1.5B	21.1	22.0	22.4
7B	38.8	40.9	41.7
32B	55.8	58.2	59.4

With two extensions the 32B model reaches 59.4%, 3.6 points above its natural stop. Inspecting the problems whose outcome changes, we find that in about 70% of cases the model revisits an earlier answer and corrects it, while in the remaining cases it abandons its first approach and works through a new one.

4. Discussion

Across three scales, accuracy grows log-linearly with the length of the reasoning trace up to 8K tokens, and keeps improving when models are made to think past their natural stopping point. We take this as evidence that reasoning length is the main lever of test-time scaling in these models, and that budgets should be set per problem rather than fixed in advance.

An alternative explanation is that the gains reflect additional compute rather than longer reasoning per se. In a preliminary comparison, majority voting over four independent 4K-token traces reaches 56.7% with the 32B model, slightly above a single 16K-token trace (55.8%) at the same total budget. We have not yet run this comparison systematically across budgets and model scales.

Our analysis also treats the visible trace as a faithful record of the model’s computation, which prior work suggests it may not always be [Lanham et al., 2023]. Compute-matched comparisons with parallel sampling, and truncation tests that check when the final answer is settled, would help separate these accounts; we leave both to future work.

5. Conclusion

We measured how the accuracy of reasoning language models depends on the length of their thinking. Across three model sizes, accuracy grows log-linearly with the thinking budget up to 8K tokens, and extending reasoning past the natural stopping point brings further gains. These results suggest that test-time scaling can be predicted from reasoning length alone, and they motivate adaptive budgets that let a model think for as long as each problem requires.

こんな研究機関の研究者に利用されています

R1キーワード絞り込み258

looped transformerrecurrent depthweight-tieduniversal transformer

R2キーワード絞り込み312

adaptive computation timeearly exitdynamic depthmixture-of-recursions

R3セマンティック検索600

reusing one transformer block across depth to get recurrent depth

R4セマンティック検索400

reasoning in latent space by looping a block instead of writing CoT

R5セマンティック検索300

what looped transformers can express, and why recurrence helps

統合と重複排除

AIスクリーニングJev320 / 1,412

採用確率しきい値 0.5

00.51.0

タイトル確率

1Thinking Deeper, Not Longer: Depth-Recurrent Transformers0.98

2One Model to Loop Them All: Elastic Latent Recurrence0.97

3Closing the Loop: Training Recipes for Looped LMs0.97

4What Makes Recurrence Effective in Looped LMs?0.96

AI分類

アーキテクチャの設計空間124

タイトル確率

1Hyperloop Transformers0.96

2Scaling Latent Reasoning via Looped Language Models0.95

3Relaxed Recursive Transformers0.93

4Mixture-of-Recursions: Dynamic Recursive Depths0.91

適応的なテスト時計算42

タイトル確率

1Mixture-of-Recursions: Dynamic Recursive Depths0.97

2Think-at-Hard: Dynamic Looped Transformers0.95

3AdaPonderLM: Gated Pondering Language Models0.93

4Enabling Dynamic Computation in Looped LMs0.91

メカニズムと解釈可能性40

タイトル確率

1Think Shallow, Solve Deep: Controlling Recurrent Dynamics0.94

2Loop as a Bridge: Representation Space and Language0.92

3Looped Transformers under the Jacobian Lens0.90

4What Makes Recurrence Effective in Looped LMs?0.88

より速く
Parallax · Jev 搭載約2分
汎用 LLM約20分
判定モデル Jev を搭載した Parallax は、1万本の論文を約2分でスクリーニング。汎用 LLM より10倍速く、コストは5分の1で、1回の研究で届く範囲を広げます。
より広く
キーワード検索とセマンティック検索を並列に実行し、数千件の候補を一度に収集。表現が違っても、関連する研究を取りこぼしません。
たどれる
Mixture-of-Recursions: Dynamic Recursive Depths
A0.91
B0.88
C0.12
採用にはすべて理由が付きます。各論文の確率や、スクリーニング・分類の各ステップの基準がセットに記録され、いつでも確認できます。

スキルマーケット

精読から新着のトラッキングまで、すぐに使えるリサーチ手法がそろっています。

すべての機能が、ツールに

コレクション、論文、セット、ワークスペース、ノート、レポートのすべてに、Agent が直接使えるツールが用意されています。

論文を検索

論文を読む

セットを作成

コレクションに追加

未読を探す

ノートを取る

ワークスペースを整理

レポートを公開

論文を検索

論文を読む

セットを作成

コレクションに追加

未読を探す

ノートを取る

ワークスペースを整理

レポートを公開

論文を検索

論文を読む

セットを作成

コレクションに追加

未読を探す

ノートを取る

ワークスペースを整理

レポートを公開

論文を検索

論文を読む

セットを作成

コレクションに追加

未読を探す

ノートを取る

ワークスペースを整理

レポートを公開

論文を検索

論文を読む

セットを作成

コレクションに追加

未読を探す

ノートを取る

ワークスペースを整理

レポートを公開

未読を探す未読3件

Looped LMs3本の論文

Hyperloop Transformers未着手

Relaxed Recursive Transformers読了

Think-at-Hard: Dynamic Looped Transformers読書中

Mixture-of-Recursions: Dynamic Recursive Depths読了

Scaling Latent Reasoning via Looped Language Models未着手

arXiv の日次同期

物理学や数学からコンピュータサイエンス、生物学、経済学まで、arXiv の全分野の新着論文を毎日同期します。

あなたの言語で

質問、全文翻訳の閲覧、リサーチレポートの受け取りをあなたの言語で。すべて原文の出典に紐づいています。

4. Discussion

4. 考察

別の説明として、これらの向上は長い推論そのものではなく、追加の計算量を反映しているとも考えられる。予備的な比較では、32B モデルで互いに独立した 4K トークンの推論 4 本の多数決が 56.7% に達した。

原文

向上の要因は、推論の長さではなく、追加の計算量かもしれません。1

コレクションと読書の進捗

論文をトピック別に整理し、読んだものをチェック。各コレクションの進捗がひと目でわかります。

トピックごとのワークスペース

ひとつのトピックのコレクション、ノート、チャットを一か所に集約。目標を一度書けば、すべての Agent が同じコンテキストで作業します。

離れている間も、作業は進む

Parallax はワークスペースの新しい動きを把握し、あなたの問いとの関わりを考え、次に取るべきステップを出典付きで届けます。

ゼミ：信頼できないトレースはモニタリングに役立つか？Snell et al.：同じバジェットでのテスト時計算未解決の問い：長い推論か、それとも計算量か？32Bの向上は8Kトークンを超えると頭打ちレビュー：長さに応じて精度が着実に向上同じ計算量で比較するすでにコレクションにある Snell et al. 2024 は、同じ計算バジェットで、長い逐次推論と並列サンプリングを比較しています。Longer Thoughts についてのあなたの疑問に必要な対照実験です。2件の観察に基づく

リサーチサーベイ

サーベイ2026年10月14日

ループ型および再帰深層トランスフォーマー：アーキテクチャ、学習、適応推論、理論、システム

ループ型（または再帰深さ型）トランスフォーマーは、同じ重み共有ブロックをトークンの隠れ状態に対して繰り返し適用することで、「深さ」をパラメータ数の固定された性質から、推論時に消費できる変数へと変える。

Model Architecture

サーベイ2026年10月14日

ハーネスレベルの再帰的自己改善：分類体系、証拠、フロンティア

エージェントの能力は、ますますその基盤モデルではなく、その周囲に構築されたハーネスに依存するようになっている。すなわち、指示、コンテキスト管理、メモリ、ツールとスキル、制御フローとオーケストレーション、そしてエージェント自身のコードである。

AI Agent RSI

サーベイ2026年10月14日

コンピュータ使用エージェント：手法、データ、評価、信頼

コンピュータ使用エージェント——スクリーンショット、アクセシビリティツリー、キーボードとマウスの操作を通じてグラフィカルインターフェースを操作するシステム——は、約3年の間に、スクリプト化された概念実証から、単一アプリケーションのタスクの過半数を完了する学習済みモデルへと進化した…

AI Agent Computer Use

サーベイ2026年10月14日

ゲーム制作のためのAIエージェント：2025年以降の技術的経路、検証器、未解決問題

ゲーム制作は再編されつつある。「人間がコードを書き、人間がアセットを作り、人間がプレイテストする」という体制から、「エージェントがエンジニアリング構造を提案し、エンジンツールを呼び出し、何らかの検証器がその結果が合格するかどうかを判断する」という体制へと。

AI Agent Game Production

進捗トラッキング

ダイジェスト2026年10月15日

2026年8月のWorld Action Models — 月次進捗号

2026年8月は、ワールドアクションモデル（WAM）がスローガンではなくエンジニアリングの課題へと変わり始めた月となった。スクリーニングされたコーパス全体で浮かび上がった共通のテンプレートは、シーン全体の変化を予測するビデオまたは潜在ダイナミクスのバックボーンと、アクションのエキスパートを組み合わせたものである…

World Models Robotics

ダイジェスト2026年10月14日

マルチモーダルデータとベンチマーク：2026年8月進捗概要

2026年8月のマルチモーダル・ベンチマーク文献は、異例なほど収束している。新しいタスクを発表するのではなく、現在のモデルが破綻する特定のステップを中心に評価を再構築している。すなわち、モデルが指摘しようとしない回答不能なクリップ、モデルが正しく把握できない2枚目の画像、モデルが…とするポリゴンである。

Multi-modal Benchmarks

ダイジェスト2026年10月14日

2026年9月における動画生成 — 進捗状況の追跡

2026年9月、動画生成は一度に七つの面で前進し、記憶に値する三つの変化は画質に関するものではない。エージェント的オーケストレーションはラッパーではなく研究対象となった。現在二つのシステムが、リクエストを構成するコントローラーを訓練しており、一つは…

Video Generation

ダイジェスト2026年10月14日

2026年9月のAIエージェント：道具、制御、そしてエージェントが実際に学ぶこと

9月のエージェント関連文献は、新しい能力よりも計測手段に焦点を当てている。今月最も優れた貢献は、ベンチマーク環境の監査、モデルを取り巻くハーネスのアブレーション、リーダーボードの分散分解、そして…を拒否するガバナンス層である。

AI Agent

ブログ

Product Updates2026年10月22日

パララックスにおける文献検索：集合代数、全コーパス再現、およびJevスクリーニング

汎用エージェントはウェブ検索APIを通じて文献を検索しますが、これらのAPIは上位k件の結果と多くのノイズしか返さないため、網羅的な検索はできません。Parallaxは、2020年以降のあらゆる分野にわたる約158万件のarXiv論文に対して全文コーパスの再現率を実行し、検索を論文集合に対する合成可能な操作としてモデル化します。キーワード検索は、隣接語フラグメントインデックスによって高速化されます。セマンティック検索は、年と分野によって枝刈りされたhalfvec ANNを使用し、フォールバックとして証明可能なロスレスな正確バッチ処理パスを備えています。スクリーニングと分類にはJevの較正済み確率を使用し、当社のLLMベースのパイプラインより10倍以上高速で、コストは5分の1未満です。本記事では、システムの設計と、それを本番環境で運用するために必要だったパフォーマンス作業について説明します。

よくある質問

お探しの答えが見つかりませんか？メールで問い合わせる

Parallax は汎用の AI アシスタントと何が違いますか？

Parallax は文献を読むために作られたワークスペースです。Agent が論文を直接検索・スクリーニング・分類し、回答中の引用はすべて出典の該当箇所にリンクします。検索履歴、コレクション、レポートはワークスペースに残るので、チャット、PDF、ノートの間でコンテキストを持ち回る必要がありません。

自分の分野の論文も対象ですか？

現在は、2020年以降に更新された arXiv 全分野（物理学、数学、コンピュータサイエンス、定量生物学、統計学、経済学など）の論文に対応しており、より古い論文や arXiv 以外のソースにも今後広げていきます。全文の閲覧はライセンスと処理状況によって異なります。まだ利用できない場合は、アブストラクトと読書ノートを読むか、原典を開いてご確認ください。

AI の回答はどうやって確かめればよいですか？

回答中の引用をクリックすると、出典の該当箇所がハイライトされた論文に移動し、文脈の中で確認できます。AI が資料を読み違えたり、言い過ぎたりすることもあります。引用は検証への入口であり、正しさの保証ではありません。重要な結論は、元の実験や条件に照らして確認してください。

Parallax は無料で使えますか？

はい。無料プランはずっと無料で、カードの登録も不要です。プロンプトの書き方を事前に学ぶ必要もありません。リサーチクエスチョンを入力するか arXiv のリンクを貼って、知りたいことを伝えるだけです。各プランの上限は料金ページでご確認ください。

新しいチャットのたびに、研究内容を説明し直す必要がありますか？

いいえ。関連するコレクション、ノート、レポートをワークスペースに追加しておけば、そこで始めるどのチャットでも利用できます。リフレクションを有効にすると、Agent がリサーチメモリとフォローアップの手がかりも整理します。目標や重要な制約を変更したばかりのときは、新しいチャットでもう一度伝えてください。

私のデータはモデルの学習に使われますか？

いいえ。レポート、ノート、チャットは、当社独自のモデルの学習には使用されません。アカウント内に保管され、あなたの同意なく公開されたり、他の人と共有されたりすることはありません。

生成したレポートを自分の論文に使えますか？

はい。あなた向けに生成されたレポートはあなたのものです。編集、Markdown でのエクスポート、公開ができます。注意点が2つあります。AI だけで生成されたコンテンツは、多くの法域で著作権による保護を受けられない場合があること、そして引用した論文の権利は引き続き著者に帰属することです。出典を明記し、学術誌、学会、所属機関が定める AI 利用の開示ルールに従ってください。利用規約の第6.4条もご覧ください。

重要な論文を、漏れなく見つける。

より速く

より広く

たどれる