「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

1新智元专栏

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

我们希望能为读者朋友们介绍一些国内优秀的人工智能领域的实验室和他们的研究项目,今天为大家带来的是中山大学人机物智能融合实验室(中大HCPLab)和他们的“基于注意力机制学习的人脸幻构”研究。

中山大学人机物智能融合实验室介绍

中山大学人机物智能融合实验室(http://hcp.sysu.edu.cn)依托于中山大学数据科学与计算机学院,围绕“人工智能原创和前沿技术”布局研究方向与课题,并与产业界开展广泛合作,输出大量原创技术及孵化多个创业团队。

在感知计算与智能学习、机器人与嵌入式系统、人机协同技术、大数据挖掘与分析等领域开展研究,以“攀学术高峰、踏应用实地”为工作理念。实验室目前有教授1名,副教授2名,特聘研究员4名,工程师3名。

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

中山大学人机物智能融合实验室人员:从左到右依次为——林倞 王青 成慧 张冬雨 李冠彬 陈崇雨 刘中常

其中林倞教授担任商汤集团执行研发总监,是国家优秀青年科学基金获得者,教育部超算工程软件工程研究中心副主任,2017年入选IET Fellow;成慧副教授是中山大学“百人计划”人才引进,分别在香港科技大学和香港大学获得硕士、博士学位;王青副教授获得Google ResearchAward,并曾在麻省理工大学媒体实验室(MIT Media Lab)访问工作。实验室承担或者已完成各级科研项目30余项,共获得科研经费超过数千万元。科研团队迄今在顶级国际学术期刊与会议上发表论文100余篇,包括在IEEE/ACM Trans汇刊发表论文50余篇,在CVPR/ICCV/NIPS/Multimedia/AAAI/IJCAI等顶级会议发表论文40余篇,获得NPAR 2010 BestPaper Award, ACM SIG CHI Best Paper Award Honorable Mention, ICME 2014 BestStudent Paper, The World’s FIRST 10K Best Paper Diamond Award by ICME 2017等奖励。

而在上个月的CVPR 2017计算机视觉顶级年度会议上,林倞教授带领的实验室团队在本次大会共有7篇paper被收录。以下为大家精选一项人脸幻构技术作为分享。

基于注意力机制学习的人脸幻构

低分辨率人脸图像复原,指的是利用一副或者多幅低分辨率的人脸图像恢复出清晰并且高分辨的人脸图像。目前主流的复原方法都是尝试学习低分辨率图像区域到高分辨率图像区域的映射,而没有对不同区域相关关系进行建模。在监控视频等实际应用场景中,人脸分辨率通常很低,这类方法较难以恢复出高分辨率人脸。针对此难点,我们提出了Attention-awareFace Hallucination增强学习模型框架,旨在通过循环地选择并复原低分辨人脸图像上的不同区域来实现低分辨率人脸的超分辨重建。具体来说,策略网络(Policy Network)将基于之前部分复原的人脸图像,选择一个待复原区域;另一个局部增强网络(local enhancementnetwork)将参考之前复原的结果,仅对该区域进行增强。这样的方式使得区域在进行复原时能获得其它已增强区域的信息,从而在整个图像上对区域的关系进行建模。训练模型时,我们同时对策略网络和局部增强网络进行训练。使用强化学习的方法,将全图的PSNR为奖励信号训练策略网络,使用每一步的局部均方误差训练局部增强网络。我们在LFW上进行了实验,结果表明,我们提出的这项算法大大优于当前最好的算法。

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

图1. 对局部区域进行超分辨率重建时,给出相关高清区域信息将使复原变得更为简单

  • 模型:

下图2是我们Attention-aware Face Hallucination的整体框架示意图:

图2. Attention-aware Face Hallucination的整体框架示意图

在每一步,输入之前的全图增强结果,使用策略网络选取全图的一块区域,并通过局部增强网络进行图像增强,增强的结果将拷贝并覆盖至原图,并作为下一步的输入。重复该步骤T次,得到最终的复原结果。

策略网络和局部增强网络模型细节过程如图3所示:

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

图3 策略网络和局部增强网络模型细节过程

在每一步中,策略网络的输入为上一轮产生的“状态”。“状态”包含两个部分,一部分是之前所有步骤在全图的局部增强结果,另一部分是S3中策略网络里长短期记忆网络产生的隐向量。策略网络将输入图像拉成一个长向量,经过一个全连接层,和一个长短期记忆网络产生一个512维的隐变量,该隐变量通过全连接层输出原图大小的概率图。我们依据概率图,随机采样出一个固定大小的图像区域。

局部增强网络则同样将之前的增强结果使用两层全连接层进行编码,然后通过另一层全连接层缩放至和选择区域同样大小的特征图,并和图像区域合并在一起,经过卷积神经网络得到增强的图像区域,放回到输入图像中。

我们使用两种不同的训练方法来同时训练策略网络和局部增强网络。对于局部增强网络,我们使用选择区域和高分辨图像区域的均方误差作为损失函数,使用梯度下降的方法训练网络。而策略网络的区域选择并没有监督信息,我们使用强化学习的方法进行训练。设定奖励信号R为最后恢复出的图像与原始的高分辨率图像之间的均方误差。这种延迟的全局奖励信号能训练策略网络,使得网络更多的考虑整个序列选择的区域和选择的顺序,提高最终的恢复效果。

  • 实验:

我们在LFW和BioID数据集上测试了8倍降采样和4倍降采样人脸图像的恢复效果,相比于之前的方法有了较大的提高:

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

图4. 部分复原图像的可视化结果:

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

图4

附录:

1. 论文信息:

“Attention-AwareFace Hallucination via Deep Reinforcement Learning”, Qingxing Cao, Liang Lin*, Yukai Shi,Xiaodan Liang, and Guanbin Li,roc. of IEEE Conference on Computer Vision andPattern Recognition (CVPR), 2017.

2. 中山大学人机物智能融合实验室官网对应论文链接:http://hcp.sysu.edu.cn/attention-aware-face-hallucination/

点击阅读原文可查看职位详情,期待你的加入~

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2024年4月1日 上午8:15
下一篇 2024年4月1日 上午8:21

相关推荐

  • 128㎡“皮肤管理中心”设计方案(皮肤管理中心设计效果图)

    ▽ 思路 / Ideas “火烈鸟的羽毛”是此次空间设计的原型。设计通过提取羽毛的基本特征形态,来衍生空间的基础结构框架,借用羽毛特有的层叠效果,营造室内空间层层叠加的秩序感与雕塑…

    2022年9月10日
    423
  • 项目管理流程体系

    项目管理流程体系 项目管理流程体系是项目管理的基础,它是一套完整的、科学的、高效的项目管理方法。一个好的项目管理流程体系可以帮助企业有效地组织和管理项目,提高项目的效率和质量,降低…

    科研百科 2024年9月24日
    24
  • 都有什么合同管理

    合同管理是一个非常重要的领域,涉及到企业、政府机构、非营利组织等各种组织。合同管理可以帮助组织确保合同的有效性、合法性和合规性,避免合同漏洞和纠纷,提高合同执行效率,降低管理成本。…

    科研百科 2024年9月2日
    33
  • 企业科研项目的劳务费是什么企业科研项目的劳务费是什么

    企业科研项目的劳务费是什么? 企业科研项目的劳务费是指企业为参加科研项目而派遣的劳动力(如工人、农民、技术人员等)所应得的费用。这种费用通常是按照小时或天数计算的,并且与项目的具体…

    科研百科 2024年9月13日
    32
  • 长武县市场监督管理局:党建引领促监管 为民服务保安全

    今年以来,长武县市场监督管理局紧紧围绕中心抓党建、抓好党建促业务的总体思路,积极拓展“党建 ”内涵,持续推动党建工作与业务工作有机统筹、深度融合、贯穿始终,不断加强事前、事中、事后…

    科研百科 2023年10月18日
    174
  • 科研项目有证书么吗现在

    科研项目是否获得证书,取决于具体的项目类型和性质。一般来说,科研项目可以获得证书,以证明其研究和开发工作的有效性和成果的可行性。 证书通常是由政府机构或学术机构颁发,用于证明项目的…

    科研百科 2025年5月16日
    1
  • 棋牌软件制作开发多少钱

    棋牌软件制作开发多少钱是一个常见的问题,许多人都对此感兴趣。在当前数字化时代,棋牌游戏已经成为人们休闲娱乐的重要方式之一。因此,越来越多的人开始考虑开发自己的棋牌软件。那么,棋牌软…

    科研百科 2023年7月22日
    113
  • 科研项目和科技计划区别

    科研项目和科技计划的区别 科研项目和科技计划是两种不同的项目管理方式,具体区别如下: 1. 目的不同:科研项目的目的是为了探索新的科学领域,发现新的科学知识,解决现有的问题或改善现…

    科研百科 2025年4月12日
    0
  • 科研项目 回扣

    科研项目的回扣 近年来,随着科技的不断发展,科研项目已经成为了国家经济发展的重要支柱之一。然而,在支持这些项目的过程中,一些人却试图从中谋取不当利益。这就涉及到了科研项目回扣的问题…

    科研百科 2025年2月10日
    0
  • 手机协同办公平台

    手机协同办公平台:让工作更便利 随着智能手机的普及,越来越多的人开始利用手机进行协同办公。手机协同办公平台已经成为现代工作方式的重要组成部分,可以让人们的工作效率大大提高。 手机协…

    科研百科 2024年8月29日
    26