NVIDIA AI模型QUEEN实现高效内容直播
这个被称为 QUEEN 的模型模型支持低带宽、高质量的现高效内场景生成,可用于工业机器人操作、容直3D 视频会议和直播等流媒体应用。模型
NVIDIA Research 与马里兰大学合作开发的现高效内 AI模型 QUEEN 将内容直播带入全新的维度。有了 QUEEN,容直直播自由视角视频有望成为现实,模型也就是现高效内说,观众可以从任意视角体验 3D 场景。容直
QUEEN 可用于构建沉浸式直播应用,模型例如教授烹饪等技能、现高效内让球迷就像身处球场一样从任意视角观看比赛,容直或者在工作场所举行更加身临其境的模型视频会议。QUEEN 也能用于工业环境,现高效内帮助操作员远程操控仓库或工厂中的容直机器人。
该模型在本月于温哥华举行的年度 AI 盛会 NeurIPS 上进行了展示。
NVIDIA 研究总监、杰出研究科学家 Shalini De Mello 表示:“要想近乎实时地直播自由视角视频,就必须同时重建和压缩 3D 场景。QUEEN 巧妙地平衡了压缩率、视觉质量、编码时间和渲染时间等各种因素,从而创建了一个优化的流程,为视觉质量和可直播性树立了新的标杆。”
通过减少渲染量,重复利用
和循环利用等方式实现高效直播
自由视角视频通常使用来自各种摄像角度拍摄的视频素材制作而成,例如多机位拍摄、仓库里的一组安防摄像头或是办公室中的视频会议摄像头系统。
以往用于生成自由视角视频的 AI 方法要么占用过多的内存用于直播,要么为了缩小文件大小而牺牲视觉质量,而 QUEEN 在两者之间取得了平衡。即便是存在火花、火焰或毛茸动物的动态场景,也能轻松地把高质量的视频内容从主机服务器传输到客户端设备。而且,与之前的方法相比,它还能够更快地渲染视频内容以进行直播。
在大多数真实环境中,场景中的许多元素都是静止不动的。在视频中,这意味着某个帧中的大部分像素与其它帧中的像素相同。为了节省计算时间,QUEEN 跟踪并重复使用这些静态区域的渲染,从而腾出资源来专注于重建那些随时间变化的内容。
研究人员使用了一块 NVIDIA Tensor Core GPU,在多个基准测试中评估 QUEEN 的性能,他们发现该模型的表现在一系列指标上都优于目前最先进的在线自由视角视频制作方法。对于从不同角度拍摄同一场景的 2D 视频,通常只需不到五秒的训练时间,就能以每秒约 350 帧的速度渲染自由视角视频。
同时实现高速度和高视觉质量,这意味着音乐会和体育赛事转播能够提供身临其境般的虚拟现实体验或比赛集锦的即时回放。
在仓库场景中,机器人操作员可以利用 QUEEN,在操纵物体时更精准地测量深度。在视频会议中,例如 SIGGRAPH 和 NVIDIA GTC 大会上的 3D 视频会议 demo,它可以帮助主持人演示烹饪或折纸等场景,同时让观众可以选择最适合自己学习的视角。
NVIDIA 为 NeurIPS 制作和撰写了 50 多篇学术海报和论文,QUEEN 是其中之一。这些学术海报和论文介绍了在模拟、机器人和医疗等领域具有巨大应用前景的开创性 AI 研究成果。
首次介绍了 GAN 模型的论文《生成式对抗网络》在 NeurIPS 2024 大会上荣获“时间检验奖”。该论文被引用超过 8.5 万次,其中一个作者是 NVIDIA 的杰出工程师Bing Xu。
NVIDIA Research 在全球拥有数百名科学家和工程师,专注于 AI、计算机图形学、计算机视觉、自动驾驶汽车和机器人等领域的研究,欢迎点击“阅读原文”查看他们的最新研究成果 。
大型语言模型、模拟和建模、边缘 AI 等领域的学术科研人员可以申请 NVIDIA 学术资助计划。
-
NVIDIA AI模型QUEEN实现高效内容直播你的家,你说了算,美的空调掀2019AWE个性化热潮—万维家电网海尔智家北京001体验中心9月11日开业,一起去打卡定制智慧生活—万维家电网爱的乐章,欧阳娜娜的圣诞夜暨京东&奥克斯19年战略合作启动会—万维家电网大模型安全联盟在北京成立,360展示多项创新成果清华伯克利造出“打不死”的机械小强!在生活中又有哪些成功的「仿生」案例?—万维家电网首个采暖全生态行业峰会举办 苏宁亿元补贴掀普及风暴—万维家电网奥克斯恶意侵权赔偿格力4000万,一文回顾格力奥克斯这些年的纷争!—万维家电网大模型安全联盟在北京成立,360展示多项创新成果5500Km极境穿越|无惧89℃,海尔家庭中央空调火焰山见绿洲—万维家电网
- ·CBB电容如何选型 CBB电容的耐压等级
- ·引领物联网时代智慧家庭,2019CES的看点都在这—万维家电网
- ·美的空调春装季火爆四月:至高立省1399元,4月购机抄底正当时—万维家电网
- ·穿越5500Km|海尔家庭中央空调开启茶马古道52%恒湿健康空气新体验—万维家电网
- ·中国5G用户超10亿!本田和日产计划2026年合并!一周科技新闻点评
- ·相遇阳朔,畅享健康森呼吸 海尔洗空气空调G系列全球首发—万维家电网
- ·董明珠开卖口罩?但你要买得到才算是真本事!—万维家电网
- ·装修必读 中央空调和普通空调有什么区别?—万维家电网
- ·NVIDIA CUDA
- ·海尔挑战盛典暨感恩月启动:在央视舞台挑战不可能—万维家电网
- ·科技赋能生态共荣!美的空调×华为鸿蒙合作发布会引领智慧家居新变革—万维家电网
- ·格力实名举报奥克斯,捅破空调能效虚标的窗户纸—万维家电网
- ·RJ45转接头的用途和分类 如何判断RJ45线缆质量
- ·海尔挑战盛典暨感恩月启动:在央视舞台挑战不可能—万维家电网
- ·奥克斯道歉了!能效虚标、高低能效,大家对空调能效知多少?—万维家电网
- ·品质消费搭台高端家电唱戏 红顶奖见证十年巨变—万维家电网
- ·英诺达发布全新静态验证产品,提升芯片设计效率
- ·实测25款空调明示参数,25款存在虚标,消费者该何去何从?—万维家电网
- ·海尔:以AI之力,重塑中央空调新未来—万维家电网
- ·618前夕手撕奥克斯,格力誓要将“维权”进行到底—万维家电网
- ·余承东领衔参与央视跨界对话
- ·科技赋能生态共荣!美的空调×华为鸿蒙合作发布会引领智慧家居新变革—万维家电网
- ·一款四季都能吹得爽的空调,美的风尊系列3D环游风空调新品亮相—万维家电网
- ·国美&海尔超级直播解读 带货直播背后的“生意经”—万维家电网
- ·2024年11月127款产品适配LoongArch平台
- ·购买空调时说的1p、1.5P 匹是什么意思—万维家电网
