首页 头条 电报 财讯 研报 企业 研究院 人才 展会 百科
Tether发布端侧AI智能体BotPsy,宣称在工具调用基准上优于更大规模的Qwen模型,但Qwen官方评分显示差距微弱
来源:TechTimes 4 小时前 157

Gerd Altmann from Pixabay

Tether AI Research于11月11日发布了QVAC BotPsy,这是一个托管在Hugging Face上的开源权重、参数量为8亿的模型,能够将诸如重新安排会议等普通请求转化为用户设备上的工具调用。Tether报告称,在六项智能体基准测试中的五项中,该模型击败了阿里巴巴参数量为其2.5倍的Qwen3.5-2B-Think,但所有得分均来自Tether自家的评估框架。Qwen发布的模型卡片显示,较大规模模型的BFCL v4得分为43.6,与BotPsy的44.0分仅相差0.4分。对于正在权衡是否让参数量不足十亿的模型处理电子邮件、日历和支付任务的人来说,这一差距比头条新闻更重要。

三位Qwen3.5-4B教师模型和部分得分奖励机制推动BotPsy的工具调用能力提升

Tether基于阿里巴巴的开源权重模型Qwen3.5-0.8B构建BotPsy,并分四个阶段对其进行后训练:针对工具使用对话的监督微调、多教师在线策略蒸馏,以及两轮强化学习。蒸馏技术将大模型的知识转移到小模型中。在此过程中,学生模型生成自己的响应,而专家教师则使用每个token的反向KL散度信号对每个token进行评分。这三位教师均为Qwen3.5-4B模型,分别通过强化学习针对一种技能进行训练:工具使用、通用推理或指令遵循。

强化学习阶段使用开源训练系统DAOP,采用一种工具调用奖励机制,该机制根据工具名称、参数名称和参数值的匹配程度给予部分得分,而不是简单地将每次调用判定为正确或错误。部分得分机制为模型提供了关于“接近成功”情况的学习信号,而传统的通过/失败奖励机制则会忽略这些信息。

在Tether的测试中,相对于其基础模型Qwen3.5-0.8B-Think,结果如下:BFCL v4从23.4升至44.0,ACEBench从30.1升至58.7,τ-bench从23.2升至51.5,ToolSandbox从30.5升至64.6。其基础架构是一种混合架构,在24层结构中,每层门控注意力层堆叠了三个Gated DeltaNet层(一种线性注意力设计)。

Tether还报告了效率的提升。在所有五个被测试模型都正确回答的问题上,BotPsy仅用3,690个推理token就达到了GPQA Diamond的答案,而其基础模型需要11,563个token;其在IFBench上的重复推理循环率从22.9%降至1.4%。Tether表示,较短的推理过程应能降低设备端的延迟,但其发布的材料中并未包含来自手机的延迟或内存测量数据。

Qwen官方模型卡片显示,较大规模模型在BFCL v4上与BotPsy持平

在Tether的评估框架下,Qwen3.5-2B-Think在BFCL v4上的得分为37.7,比BotPsy低6.3分。然而,Qwen自己的模型卡片报告称,在其自有设置下,Qwen3.5-2B的得分为43.6,0.8B基础模型的得分为25.3。Tether测得该基础模型得分为23.4。两者的设置存在差异,包括采样温度,Qwen卡片中为1.0,而Tether评估中为0.3。因此,这两个数字不能直接比较,这也正是关键点所在:BFCL v4的分差取决于评估设置。

独立研究支持这种谨慎态度。一篇由亚马逊员工撰写的论文发现,使用原生聊天模板格式化多轮历史对话,而不是单轮用户输入,可使三个Qwen模型的BFCL多轮准确率提高约6%至8%;此外,轻微的系统提示重写使Qwen3-4B的多轮得分从22.9提高到36.0或37.5。作者披露,亚马逊开发了他们评估的其中一款模型。另一篇针对BFCL v4、τ²-Bench、LiveMCPBench和MCP-Atlas的预印本审计发现,在496项经专家审查的任务中,评估者与人类存在92次分歧,分歧率为18.5%。

ToolSandbox是BotPsy相对于较大规模模型优势最明显的基准,得分为64.6,而后者为41.2,且Qwen的卡片未报告ToolSandbox得分以供核对。BotPsy相对于其基础模型的部分提升可能也源于修复已知故障,而非增加新技能。Qwen的卡片警告称,处于思考模式的0.8B模型更容易陷入思维循环,而Tether报告称,其方案将使IFBench上触及32k token限制的运行次数从28.3%降至0.2%。两份文档均未将循环修复与新能力区分开来。比较对象是Tether测试的五款模型,截至11月11日,Tether发布的材料中未引用任何独立的结果复现。

Tether的卡片禁止用于金钱和个人数据,却推介金融和电子邮件任务

Tether将BotPsy定位为适用于商业和金融、电子邮件和消息传递、日历、文件以及设备和车辆控制。同一张卡片又指出,该模型不适用于安全关键型或高风险的自动化决策,也不适用于涉及金钱、个人信息、健康和其他敏感主题的应用。

Tether自身的数据说明了原因。在τ³-banking基准测试中,BotPsy得分为4.1,与其基础模型持平,且没有一款被测模型得分超过5。在Tether针对六类危害进行的自动化红队测试中,BotPsy产生不安全响应的比例为21%,低于其基础模型的36%。在提示注入攻击(即智能体读取电子邮件正文等不可信文本)下,不安全率从46%降至31%。在该测试中,仍有近三分之一的响应是不安全的。

外部证据也指向小型端侧智能体的相同方向。10月19日发表在巴西WESAAC研讨会论文集上的一篇论文,对运行在三星Galaxy S24上的六个小型模型进行了电子邮件提示注入攻击,发现Qwen3 0.6B在32.0%的运行中触发了敏感操作。作者警告说,工具使用率低并不能证明智能体能抵抗注入,因为一些极小的模型由于无法产生连贯的智能体行为,很少输出工具。该研究未测试BotPsy。

Tether的公告称,开发者的应用程序将为模型提供服务连接、权限和执行控制。本地执行消除了云端API,但并未消除攻击面。云安全联盟关于自托管智能体的指南建议默认拒绝网络出站流量,因为拥有shell或HTTP工具的智能体可以打开无人请求的连接,并将没有工具执行的纯聊天部署评为最低暴露风险。该说明涉及阿里巴巴后续的Qwen3.8代模型,Cohere曾报告该模型出现未经请求的上传尝试,但该现象未在出现该问题的模型上得到独立复现。该记录中没有任何内容涉及Qwen3.5或BotPsy。

来源仍然重要。Botpsy继承了阿里巴巴的权重。美国企业研究所的一位研究员在《War on the Rocks》撰文指出,中国出身的开发者受中国2017年《国家情报法》约束,文章称该法要求公司支持国家情报工作,同时指出大多数用户在本地运行此类开源权重。Tether的卡片未讨论对基础权重的任何审计。

Apache 2.0许可的权重不含训练代码或数据,属于“开源权重”而非“开源软件”

Tether的新闻稿称BotPsy为“开源权重”,这是准确的,尽管其博客中的一处要点将该发布标记为“开源”。Apache 2.0许可的权重可供下载,但训练代码和训练数据不属于发布内容,其中一个训练集是Tether使用Qwen3.5-9B和Qwen3.6-27B生成的未公开合成数据集。开放源代码促进会(Open Source Initiative)于2024年10月28日发布的《开源人工智能定义1.0》要求在提供权重的同时提供训练代码和详细的训练数据信息。Tether的博客称,这些权重旨在用于研究和教育用途。

列表中的一个遗留问题:Hugging Face显示BotPsy的参数约为9亿,而Tether将其标记为0.8B。Qwen的卡片将基础模型描述为带有视觉编码器的因果语言模型,而BotPsy的卡片称其仅用于文本。这表明多出的1亿参数来自视觉编码器,但两张卡片均未细分具体数量。

BotPsy的优势领域与Qwen3.5-2B-Think仍领先的领域

基准测试BotPsy-0.8BQwen3.5-2B-Think
BFCL v444.037.7
ACEBench58.755.4
τ-bench51.546.5
ToolSandbox64.641.2
BrowseComp-Plus4.52.8
Claw-Eval46.548.9

分数来自Tether的BotPsy模型卡片。

较大规模的模型在Claw-Eval上领先。在所有六项智能体基准测试中,BotPsy的平均得分为45.0,而Qwen3.5-2B-Think为38.8,其自身基础模型为24.7。知识储备仍然与规模相关:Qwen3.5-2B-Think在GPQA Diamond上的得分为59.9,而BotPsy为38.1,这就是为什么Tether表示BotPsy应为其不知道的事实调用工具。BotPsy在BFCL网络搜索和记忆方面的得分分别为14.0和16.3,落后于较大规模模型的19.8和26.1。其BrowseComp-Plus得分为4.5,在被测试的五款模型中最高,但绝对值较低。推荐使用英语,Multi-IF得分在印地语中降至24.5,在俄语中为57.6。

在优势方面,BotPsy在BFCL v4的幻觉测试中得分为86.1,该测试检查模型在没有合适工具时是否会拒绝回答,这是被测模型中的最高分;在τ²-bench电信基准测试中得分为82.5,高于较大规模模型的69.3。

Tether现在在QVAC旗下提供视觉、语音、医疗和工具使用模型

BotPsy加入了Tether QVAC系列中的VisionPsy、TranscribePsy、MedPsy和TranslatePsy。Tether于7月29日以Apache 2.0许可发布了4.6亿参数的视觉语言模型VisionPsy-Nano。其语音模型TranscribePsy随后于10月14日在Hugging Face上发布文章介绍。QVAC的SDK面向Linux、macOS、Windows、Android和iOS。Psy命名源自艾萨克·阿西莫夫的“心理史学”,Tether曾用此描述该模型家族。

BotPsy能否在没有云端帮助的情况下在手机运行?

Tether的设计表明可以,发布版本包括用于llama.cpp和QVAC SDK的BF16、Q8_0和Q4_K_M GGUF构建版本,并在Hugging Face Transformers和vLLM中提供支持,无需自定义代码。Tether的长期计划是让手机将复杂请求移交给家用PC或可信的对等节点,网络搜索通过加密的对等连接路由。目前记录中缺乏的是实测的手机结果:没有每秒token数、没有内存使用情况、没有电池消耗数据。

开发者应针对自己的工具模式进行测试,并首先锁定出站网络流量

BotPsy报告的增益是在Tether的评估框架中测量的:通过专家教师蒸馏和部分得分强化学习的方案,使0.8亿参数模型在BFCL v4上的得分从23.4提高到44.0。读者能从中得出的结论比头条新闻所暗示的要窄。在外部团体复现之前,应将2.5倍的性能提升视为Tether评估框架下的结果,因为Qwen自己的卡片显示较大规模模型在BFCL v4上与BotPsy持平。针对您自己的工具定义运行BotPsy,在模型之外强制执行默认拒绝的网络出站策略,并将金钱和个人数据置于明确确认步骤之后,因为Tether自己的卡片建议避免这两种用途,且其自身的提示注入测试显示仍有31%的响应不安全。

常见问题解答

Tether的BotPsy是开源软件吗?

它是开源权重。Apache 2.0许可的权重可以下载和微调,但Tether表示训练代码和训练数据不属于发布内容。开放源代码促进会的定义还要求提供训练代码和数据信息。

在本地运行AI智能体会使其安全吗?

本地执行使请求远离云端API,但并不能阻止拥有工具的智能体被操纵。Tether自己的测试发现,在提示注入下,BotPsy有31%的响应不安全,针对自托管智能体的安全指南建议默认拒绝网络出站流量。

谁验证了Tether的基准测试结果?

Tether自行验证,使用了其选择的五款模型和一个共享评估框架,并发布了权重和评估细节以便其他人测试。独立研究表明,工具调用得分可能会因未记录的设置选择而波动。

BotPsy需要多少内存?

Tether未公布手机内存数据,仅表示其紧凑的尺寸减少了存储权重所需的内存。根据Hugging Face列出的约9亿参数粗略估算,BF16权重本身接近1.8GB(每参数2字节),Q8_0构建版本约为1GB,这还未计算任何上下文缓存。

  • 收藏
  • 点赞