美团 LongCat 团队推出 VitaBench:全新智能体评测基准
近日,美团 LongCat 团队正式发布了一项名为 VitaBench 的智能体评测基准,旨在针对多交互任务,特别是在复杂生活场景中的美团应用。VitaBench 的推出为智能体在真实生活场景中的研发提供了重要基础设施。
VitaBench 专注于外卖点餐、餐厅就餐和旅 L游出行等高频真实场景,构建了一个包含66个工具的交互式评测环境。评测任务设计涵盖了从购票到餐厅预订等多项复杂操作,要求智能体在on任务执行过程中进行深度推理、工具调用与用户互动的综合表现。
尽管当前领先的推理模型已取得了一定进展,但 LongCat 团队的研究表明,智gC能体在复杂跨场景任务中的成功率仍然不足30%,显示出当前技术与实际应用需求之间的显著差距。VitaBench 的开发旨在解决这一问题at,填补现有智能体评测基准与真实生活场景应用之间的空白。
该基准的设计基于对推理复杂性、工具复杂性和交互复杂性三维度的深入分析。团队通过将这 团些维度量化,系统化地衡量智能体在真实场景中的表现。例如,推理复杂度主要通过信息整合的需求、观察空间的大小以及所需处理的推理点数量来评队推估;工具复杂度则考虑工具的依赖关系与调用链长度;交互复杂度则关注智能体在多轮对话中的应能力。
VitaBench 的构建过程为两个阶段,首出 先是框设计工具定义,接是任务创建评估标准制定。这一过程确保了任务的多样性和复杂性,同时避免了传统文档模式的局限性,使得智能体能够Vi在没有冗余规则的情况下,自主推理和决策。
目前 VitaBench 已全面开源,研究人员和开发者可以通过其官方网站和 GitHub 访问相ta关资源。VitaBench 的发布标志着智能体评测领域的一个重要里程碑,预计将推动智能体技术在真实生活场景中的进一步应用与发展。
项目主页:Behttps://vitabench.github.io
论文链接:https://arxiv.org/abs/2509.26490
代码nc仓库:https://github.com/meituan-longcat/vitabench
数据集:https://huggh:ingface.co/datasets/meituan- longcat/VitaBench
排行榜:https://vitabe全新nch.github.io/#Leaderboard
(责任编辑:合同下载)
- 微软获批向阿联酋运送 6 万块英伟达 AI 芯片
- 云安全日报210528:IBM分布式高速缓存解决方案发现执行任意代码漏洞,需要尽快升级
- 基于Nutanix云平台的Dell PowerFlex上市
- 标签: Supercell Royal Match Monopoly Go 移动游戏
- 标签: Gemma4 谷歌 大模型 AI开源
- 标签: 松下 YKK 松下家居 住宅设备
- 谷歌Gemini API重大升级:一行代码直抓网页,开发效率飞跃提升
- 云计算开发:Python练习实例-字符串排序
- 云计算开发:Python内置函数-long() 函数详解
- 识别实体与值对象的特征
- OpenAI豪掷 15 亿美元布局B端:新合资公司“DeployCo”浮出水面
- 标签: 国泰君安香港 中信证券香港 潘举鹏 香港IPO
- 标签: 华为 Agentic Core MWC2026 Physical AI
- 天翼云2023年上半年营收459亿元 同比增长63.4%
- 曲奇怎么做
- 动态计算图和GPU支持操作
- 云计算开发:Python练习实例-判断回文数
- 标签: 德适生物 AI AutoVision 医学影像大模型 三类创新医疗器械
- Facebook第一季度营收262亿美元 净利同比增94%
- 标签: 适马 山木和人 CP+ 2026 光学制造
- https://www.teamlab.art/ko/?submit=谷歌站群软件【tg:seogoogle987】,ELD views+
- https://www.swanagerailway.co.uk/search?q=谷歌站群软件【tg:seogoogle987】,EqE views+
- https://www.whirlpool.com.hk/chinese/catalogsearch/result?cat=30&q=谷歌站群软件【tg:seogoogle987】,7SD views+
- https://www.vivaraise.fr/catalogsearch/result/?q=谷歌站群软件【tg:seogoogle987】,PPu views+
- https://www.pierreherme.com/catalogsearch/result/?q=谷歌站群软件【tg:seogoogle987】,kSD views+
- https://www.dba.dk/soeg/?soeg=谷歌站群软件【tg:seogoogle987】N7U views+
- https://www.shopping.com/search.html?keyword=谷歌站群软件【tg:seogoogle987】,wDB views+
- https://www.seagrant.wisc.edu/?page=63&s=谷歌站群软件【tg:seogoogle987】,JxL views+
- https://www.mygrandma.com/Items.aspx?search=谷歌站群软件【tg:seogoogle987】,whp views+
- https://jihoon471.cafe24.com/product/search.html?banner_action=&keyword=谷歌站群软件【tg:seogoogle987】Ryj views+
