港大携手快手可灵突破长视频一致性瓶颈,"记忆检索"技术震撼发布
AIbase报道香港大学与快手可灵团队近日联合发表重磅论文《Context as Memory: Scene-Co港大nsistent Interactive Long Video Generation with Memory Retrieval》,携手提出革命性的"Context-as-Memory"方法,成功解决长视频生成中场景一致性控制的核心难题。
创新理念:快手将历史上下文作为"记忆"载体
该研究的核心创新在于将历史生成的上下文视为"记忆",通过context learning技可灵术学习上下文条件,实现长视频前后场景的高度一致性控制。研究团队发现,视频生成模型能够隐式学习视频数据中的3D先验突破,无需显式3D建模辅助,这一理念与谷歌Genie3不谋而合。
技术突破:FOV记忆检索机制大幅提升效率
为解决历史帧序列理长视论上可无限延长带来的计算负担,研究团队提出基于相机轨迹视场(FOV)的记忆检索机制。该机制能从全部历史帧中智能筛选频一出与当前生成视频高度相关的帧作为记忆条件,显著提升计算效率并降低训练成本。
通过动态检索策略,系统根据相机轨迹致性FOV重叠关系判断预测帧与历史帧的关联度,大幅减少需要学习的上下文数量,实现模型训练和推理效率的质的飞跃。
数据瓶颈构建与应用场景
研究团队基于Unreal Engine5收集了多样化场景、带有精确相机轨迹标注的长视频数据集,为技术验,"证提供坚实基础。用户仅需提供一张初始图像,即可沿设定相机轨迹自由探索生成的虚拟世界。
性能表现超越现有方法
实验结果记忆显示,Context-as-Memory在几十秒时间尺度下保持出色的静态场景记忆力,并在不同场景中展现良好泛化检索性。与现有SOTA方法对比,该技术在长视频生成场景记忆力方面实现显著性能提升,且能在未见过的开放域场景中有效保持记忆连"技续性。
此次突破标志着AI视频生成技术向着更长时序、更高一致性的方向迈出重要一步,为虚拟世界构建、影视制作等应术震用领域开辟新的可能性。
(责任编辑:热门搜索)
- 比尔·盖茨首次在Clubhouse“开房”:平时常用手机并非苹果制造
- AI对抗系列之--你的推荐算法被破防了吗?
- Firefox142上线:低调更新背后,本地AI扩展已悄然启航
- 谷歌为美国政府提供 Gemini 人工智能工具,助力数字化转型
- 苹果加速布局人工智能:传闻将收购两大 AI 初创公司!
- 云计算开发:Python内置函数-globals()函数详解
- 扎克伯格45分钟深度采访:透露下个十年VR和脑机接口野心
- 腾讯全新AI绘画升级!微调技术让生成图像美感提升300%
- 标签: 天兵科技 商业航天 液体运载火箭 液氧煤油发动机
- 标签: 零跑汽车 朱江明 年会事件 新能源汽车
- 易唱网
- 标签: 美团 LongCat-Video-Avatar 虚拟人模型 开源
- AI化身监工,上班还能摸鱼吗?
- 保险行业如何利用人工智能
- 标签: 好未来 TAL 智能学习 教育科技
- AI 发展加速引发焦虑,Anthropic 负责人希望用户能轻松跟上
- 璇村ソ鏈€瀹夊叏鍛�紵鑻规灉鍟嗗簵鍑虹幇瀹樻柟骞垮憡
- 标签: 美团 小象超市 美团无人机 鸭觅
- 标签: 贝壳集团 彭永东 社区居住服务平台 居住决策支持
- 亚马逊Prime Day开门红:首日销售额超过56亿美元
- https://www.yli.ro/catalogsearch/result/?q=谷歌搜索留痕【tg:seogoogle987】,6ck views+
- https://www.wellbees.com/catalogsearch/result/?action=CHECK&q=谷歌搜索留痕【tg:seogoogle987】,vGH views+
- https://www.tcv.org.uk/search/谷歌搜索留痕【tg:seogoogle987】,DIY views+
- https://www.rotherham.gov.uk/site-search/results/?q=谷歌搜索留痕【tg:seogoogle987】,cHG views+
- https://www.smics.com/tc/site/search?token=谷歌搜索留痕【tg:seogoogle987】,QoS views+
- https://www.roberthalf.com/us/en/jobs/all/谷歌搜索留痕【tg:seogoogle987】E3q views+
- https://www.rookwinkel.nl/catalogsearch/result/index/?q=谷歌搜索留痕【tg:seogoogle987】,aVk views+
- https://www.simcoemuskokahealth.org/SearchResults.aspx?SearchQuery=谷歌搜索留痕【tg:seogoogle987】,D5d views+
- https://www.vfw.org/search-results?q=谷歌搜索留痕【tg:seogoogle987】,nmq views+
- https://www.mexperience.com/?T=1686132112324&s=谷歌搜索留痕【tg:seogoogle987】,Hig views+
