CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务

CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com。

来自香港科技大学,清华大学的研究者提出了「GenN2N」,一个统一的生成式 NeRF-to-NeRF 转换框架,适用于各种 NeRF 转换任务,例如文字驱动的 NeRF 编辑、着色、超分辨率、修复等,性能均表现极其出色!

CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务

  • 论文地址:https://arxiv.org/abs/2404.02788
  • 论文主页:https://xiangyueliu.github.io/GenN2N/
  • Github 地址:https://github.com/Lxiangyue/GenN2N
  • 论文标题:GenN2N: Generative NeRF2NeRF Translation

近年来,神经辐射场(NeRF)因其紧凑、高质量、多功能性在三维重建、三维生成和新视角合成领域引起了广泛关注。然而,一旦创建了 NeRF 场景,这些方法通常缺乏对生成几何和外观的进一步控制。因此,NeRF 编辑(NeRF Editing)最近成为了一个值得关注的研究重点。

目前的 NeRF 编辑方法通常是针对特定任务的,例如 NeRF 的文本驱动编辑、超分辨率、修复和着色。这些方法需要大量的特定任务领域知识。而在 2D 图像编辑领域,开发通用的图像到图像(Image-to-image)转换方法成为一种趋势,例如利用 2D 生成模型 Stable Difussion 支持多功能的图像编辑。因此,我们提出了利用基础的 2D 生成模型进行通用的 NeRF 编辑。

随之而来的挑战是 NeRF 和 2D 图像之间的表示差距,尤其是图像编辑器通常会为不同视角生成多种不一致的编辑。最近的一种基于文本的 NeRF 编辑方法 Instruct-NeRF2NeRF 对此进行了探究。其采用 “渲染 – 编辑 – 聚合” 的流程,通过逐步渲染多视角图像、编辑这些图像,将编辑图像聚合到 NeRF 中逐步更新 NeRF 场景。然而这种编辑方法,针对特定的编辑需求,经过大量的优化,只能生成一种特定编辑的结果,如果用户不满意则需要反复迭代尝试。

因此,我们提出了「GenN2N」,一种适用于多种 NeRF 编辑任务的 NeRF-to-NeRF 通用框架,其核心在于用生成的方式来刻画编辑过程多解性,使其可以借助生成式编辑轻松产生大量符合要求的编辑结果供用户挑选。

在 GenN2N 的核心部分,1)引入了 3D VAE-GAN 的生成式框架,使用 VAE 表征整个编辑空间,来学习与一组输入的 2D 编辑图像对应的所有可能的 3D NeRF 编辑分布,并用 GAN 为编辑 NeRF 的不同视图提供合理的监督,确保编辑结果的真实性,2)使用对比学习解耦编辑内容和视角,确保不同视角间的编辑内容一致性,3)在推理时,用户简单地从条件生成模型中随机地采样出多个编辑码,就可以生成与编辑目标对应的各种 3D 编辑结果。

相比于各种 NeRF 编辑任务的 SOTA 方法(ICCV2023 Oral 等),GenN2N 在编辑质量、多样性、效率等方面均优于已有方法。

方法介绍

我们首先进行 2D 图像编辑,然后将这些 2D 编辑提升到 3D NeRF 来实现生成式的 NeRF-to-NeRF 的转换。

CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务

A. 隐式蒸馏(Latent Distill)

我们用 Latent Distill Module 作为 VAE 的 encoder,为每张编辑图像学习一个隐式的编辑码,在 NeRF-to-NeRF 转换中通过此编辑码控制生成的内容。所有编辑码在 KL loss 的约束下服从一个良好的正态分布,以便更好地采样。为了解耦编辑内容和视角,我们精心设计了对比学习,鼓励相同编辑风格视角不同的图片的编辑码相近,不同编辑风格但视角相同的图片的编辑码互相远离。

B.NeRF-to-NeRF 的转换(Translated NeRF)

我们用 NeRF-to-NeRF Translation 作为 VAE 的 decoder,其以编辑码作为输入,将原始的 NeRF 修改为一个转换 NeRF。我们在原 NeRF 网络隐藏层之间添加了残差层,这些残差层以编辑码作为输入来调制隐藏层神经元,使得转换 NeRF 既能够保留原本 NeRF 的信息,又可以根据编辑码来控制转换 3D 内容。同时,NeRF-to-NeRF Translation 也作为生成器参与生成对抗训练。通过生成而非优化的方式,使得我们可以一次性得到多种转换结果,显著提升了 NeRF 转换效率和结果多样性。

C. 条件判别器(Conditional Discriminator)

转换 NeRF 的渲染图片构成了需要判别的生成空间,这些图片的编辑风格、渲染视角各异,导致生成空间非常复杂。因此我们提供一个 condition 作为判别器的额外信息。具体而言,判别器在鉴别生成器的渲染图片(负样本)或训练数据中的编辑图片(正样本)时,我们都从训练数据中再挑选一张相同视角的编辑图片作为条件,这使得判别器在鉴别正负样本时不会受到视角因素的干扰。

CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务

D. 推理(Inference)

在 GenN2N 优化后,用户可以从正态分布中随机采样出编辑码,输入转换 NeRF 即可生成出编辑后的高质量、多视角一致性的 3D NeRF 场景。

实验

我们在多种 NeRF-to-NeRF 任务上进行了大量的实验,包括 NeRF 文本驱动编辑、着色、超分辨率、修复等。实验结果展示了 GenN2N 卓越的编辑质量、多视角一致性、生成的多样性和编辑效率。

A. 基于文本的 NeRF 编辑

CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务

B.NeRF 着色

CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务

C.NeRF 超分辨率

CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务

D.NeRF 修复

CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务

对比实验

我们的方法与各种特定 NeRF 任务的 SOTA 方法进行了定性和定量对比(包括文本驱动编辑、着色、超分辨率和修复等)。结果表明,GenN2N 作为一个通用框架,其表现与特定任务 SOTA 相当或者更好,同时编辑结果具有更强的多样性(如下是 GenN2N 与 Instruct-NeRF2NeRF 在基于文本的 NeRF 编辑任务上的对比)。

A. 基于文本的 NeRF 编辑

CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务

了解更多实验、方法内容,请参考论文主页。

团队介绍

该论文来自香港科技大学谭平团队、清华大学 3DVICI Lab、上海人工智能实验室和上海期智研究院,论文的作者为香港科技大学学生刘襄阅,清华大学学生薛晗,香港科技大学学生罗堃铭,指导老师为清华大学弋力老师和香港科技大学谭平老师。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2024年5月19日 下午3:01
下一篇 2024年5月19日 下午3:13

相关推荐

  • 建立党员管理上的“净化池”(净化党员队伍)

    建立党员管理上的“净化池”。党的全面领导的实现,一靠正确的路线、方针、政策,二靠党员发挥先锋模范作用。 提出了新时代党的建设总要求,基层党组织特别是负责人要紧紧围绕新时代党的建设总…

    科研百科 2023年3月1日
    307
  • 商科付费科研项目

    商科付费科研项目: 提升商业技能的秘密武器 随着商业竞争的加剧,越来越多的企业需要提高自己的商业技能,以应对日益激烈的市场竞争。然而,对于大部分学生而言,学习商业技能是一个艰巨的任…

    科研百科 2025年2月26日
    0
  • 株洲市教育科学研究院副院长帅晓梅:从整本书阅读中发现文学与生活的意义

    湖南省义务教育教师阅读指导能力提升培训班现场,株洲市教育科学研究院副院长、特级教师、正高级教师帅晓梅作专题分享。 红网时刻新闻记者 蔡娟 通讯员 金剑 白洁 长沙报道 12月16日…

    科研百科 2024年4月18日
    135
  • 最新“国自然”放榜!四川各家医院,科研实力哪家强-(四川省人民医院 国自然)

    国自然对医学研究日趋重视,其中,青年基金项目或将成为未来各大医院国自然立项数量的增长点以及医学创新的生力军。 近日,国家自然科学基金委员会官网发布《关于2023年国家自然科学基金集…

    科研百科 2024年4月2日
    198
  • 通达信链接大全

    通达信链接大全 通达信是一款非常流行的股票分析软件,用于进行技术分析和基本面分析。今天,我将介绍通达信链接大全,帮助用户更好地使用这款软件。 1. 安装通达信链接 在安装通达信链接…

    科研百科 2024年10月20日
    0
  • 科研项目观看

    科研项目观看:探索科技未来之旅 随着科技的不断发展,科研项目也在不断推进。这些项目旨在探索科技的潜力和发展方向,为我们的未来带来无限的可能。在这篇文章中,我们将一起观看一些最新的科…

    科研百科 2025年2月21日
    1
  • 企业科研项目邮件格式

    标题:企业科研项目邮件格式 尊敬的XXX团队, 我是XXX,是XXX公司的XXX部门经理。最近,我们公司正在开展一项科研项目,我希望通过电子邮件向您介绍该项目的情况。 该项目的目标…

    科研百科 2025年3月20日
    0
  • 华北理工科研项目多吗知乎

    华北理工大学科研项目多吗? 华北理工大学是一所位于中国北京的综合性大学,拥有丰富的科研资源。学校设有多个学院,包括工程学院,信息学院,化学与分子工程学院,经济管理学院,马克思主义学…

    科研百科 2024年4月8日
    146
  • 民政部:严禁以任何形式挤占、挪用、截留、滞留救助资金(民政部门专项救助)

    在国新办今天(17日)举行的例行政策吹风会上,民政部副部长唐承沛介绍,民政部、财政部日前印发通知,部署各地进一步完善相关兜底保障措施,切实保障好城乡困难群众基本生活。 在加大临时救…

    科研百科 2022年8月7日
    294
  • 科研项目申报材料有哪些

    科研项目申报材料有哪些 科研项目申报材料是科研项目申请过程中非常重要的一环。这些材料记录了科研项目的基本信息,描述了项目的目的、研究内容、研究方法、预期成果等。如果科研项目获得成功…

    科研百科 1天前
    1