o1 不是通向大模子推理的唯沿门道！世博体育APP最新版2024安卓最新版

MIT 的新究诘发现，在测试时对大模子进行检会，不错让推理水平大幅进步。

在挑战超难的 ARC 任务时，准确率最高可进步至蓝本的 5.83 倍。

这么的发扬不仅优于 GPT-4 和 Claude，如果与其他推理方法相伙同，还能突出东谈主类的平均水准。

OpenAI o1 团队成员Noam Brown暗意，o1 的大界限联想可能不是最佳的方法，很烦闷看到有学者在提高推理才略上探索新的方法。

在测试中检会模子

不同于传统的先检会后测试模式，测试时检会（Test-Time Training，TTT）在部署阶段面临新的测试样本时，不径直用检会好的模子去推理。

在推理之前，测试样本本身佩戴的信息，明白过快速的检会经由被用于调整模子参数。

总体来说，TTT 经由中一共有三个短处阶段——检会数据生成、模子稳妥范式联想以及推理阶段的计谋。

数据生成的中枢是将测试任务中蕴含的输入输出春联系，通过数据增强的时势最大禁止地欺诈，可具体分为两个关节。

最初是基于 leave-one-out 构造新的任务。

关于包含 K 个输入输出对的测试任务，顺序将每个样本留出当作测试样本，其余 K-1 个当作检会样本 , 由此构造出 K 个新的 TTT 检会任务。

这么就不错从一个测试任务起程，构造出 K 个结构一致但本色互补的新任务，从而引申了 TTT 检会数据。

在此基础上，作家还进行了数据增强，主要包括对输入输出施加各样几何变换，以及打乱检会样本对的顺序。

经过这一步，TTT 检会集的界限不错得到显赫扩大。

悉数这个词 TTT 数据构造经由可高度自动化，不依赖东谈主工标注。

欺诈构造好的 TTT 数据集，就不错对预检会好的说话模子进行测试时检会。

商量到测试时的资源收场，作家收受了参数高效的 LoRA，为每个测试任务学习一组孤立的 adapter 参数，附加在预检会模子的每一层之上，通过一个低秩矩阵与原始权重相乘起到诊疗作用。

经由中还特等加入了对悉数前缀序列的瞻望，所在是通过在各样长度的演示样本上都联想亏空，饱读舞模子尽早地从小数信息中记忆出玄虚法例，从而提高鲁棒性。

临了，为了已毕 TTT 效果的最大化，作家在推理阶段应用了数据增强和集成学习计谋。

推理经由中，先欺诈一系列预界说的几何变换算子（如旋转、翻转等）引申原始输入，生成多少等价视角下的输入变体。

之后将每个变体输入并行地送入 LoRA-tuned 模子，孤立完成瞻望，然后再对都和收复到原始输入空间，由此得到一构成对的瞻望。

在成对瞻望的基础上，通过分两层投票的时势完成集成交融：

第一层在每种变换里面进行投票，选出置信度最高的 Top-3 个瞻望 ;

第二层在不同变换的 Top-3 瞻望之间进行全局投票，选出最终的 Top-2 当作输出。

这一推理计谋，既通过数据增强引入了输入的各样性，又用分层投票的时势对不同源泉的瞻望进行了结构化的组合，进一步进步了 TTT 方法的效果。

ARC 任务准确率最高升至 6 倍

为了评估 TTT 方法的效果，究诘团队以 8B 参数的 GPT-3 当作基础模子进行了测试。

如果不使用 TTT 仅进行微调，模子在 ARC 数据集上的准确率唯有 18.3%，加入 TTT 后进步到 47.1%，增长率达到了 157%。

另外，作家还从 ARC 数据蚁合连忙采用了 80 个任务当作子集进行了测试。

测试发现，TTT 方法关于 1B 模子的进步效果愈加昭着，调整后模子的准确率接近调整前的 6 倍。

况且在调整前后，1B 和 8B 两个界限的模子之间的相对差距也在松开。

进一神色，作家还将 TTT 方法与之前在 ARC 任务上赢得优异得益的BARC（Bootstrapping Approach for Reward model Construction）方法进行了相比和伙同。

具体来说，作家最初孤立运转这两个系统，得到它们在每个测试任务上的输出。

如果两者输出澈底一致，则径直观得推理收场是正确的；

如果输出不一致，则看 BARC 是否大约生成详情的、唯独掩盖悉数测试样本的解题方法，淌若则觉得 BARC 的输出更可靠；

反之，如果 BARC 生成了多个候选方法但无法详情最优解，或者干脆无法生成任何知足延续的方法，则觉得 TTT 的输出更可靠。

两种时势互助使用后，赢得了 61.9% 的 SOTA 得益，也曾跨越了东谈主类的平均水平。

One More Thing

阐述作家在推文中的先容，在这篇论文发布前，一个叫作念 MindsAI 的团队也曾发现使用了调换的时期。

欺诈 TTT 时期，该团队也曾用 58% 的正确率赢得了 ARC 挑战的第又名。

作家的论文发布之后，MindsAI 团队携带者 Jack Cole 也发文进行了祝愿：

很烦闷，咱们掀翻了这场对 TTT 的兴趣风暴。

同期，Jack 还保举了另又名究诘 TTT 的学者——斯坦福大学华东谈主博士后Yu Sun，暗意他的究诘值得被怜惜。

Sun 的个东谈主主页涌现，他针对测试时检会进行了大批究诘，关联效果入选过 ICML、NeurIPS、ICLR 等多个顶级会议。

论文地址：

https://ekinakyurek.github.io/papers/ttt.pdf世博体育APP最新版2024安卓最新版