「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

1新智元专栏

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

我们希望能为读者朋友们介绍一些国内优秀的人工智能领域的实验室和他们的研究项目,今天为大家带来的是中山大学人机物智能融合实验室(中大HCPLab)和他们的“基于注意力机制学习的人脸幻构”研究。

中山大学人机物智能融合实验室介绍

中山大学人机物智能融合实验室(http://hcp.sysu.edu.cn)依托于中山大学数据科学与计算机学院,围绕“人工智能原创和前沿技术”布局研究方向与课题,并与产业界开展广泛合作,输出大量原创技术及孵化多个创业团队。

在感知计算与智能学习、机器人与嵌入式系统、人机协同技术、大数据挖掘与分析等领域开展研究,以“攀学术高峰、踏应用实地”为工作理念。实验室目前有教授1名,副教授2名,特聘研究员4名,工程师3名。

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

中山大学人机物智能融合实验室人员:从左到右依次为——林倞 王青 成慧 张冬雨 李冠彬 陈崇雨 刘中常

其中林倞教授担任商汤集团执行研发总监,是国家优秀青年科学基金获得者,教育部超算工程软件工程研究中心副主任,2017年入选IET Fellow;成慧副教授是中山大学“百人计划”人才引进,分别在香港科技大学和香港大学获得硕士、博士学位;王青副教授获得Google ResearchAward,并曾在麻省理工大学媒体实验室(MIT Media Lab)访问工作。实验室承担或者已完成各级科研项目30余项,共获得科研经费超过数千万元。科研团队迄今在顶级国际学术期刊与会议上发表论文100余篇,包括在IEEE/ACM Trans汇刊发表论文50余篇,在CVPR/ICCV/NIPS/Multimedia/AAAI/IJCAI等顶级会议发表论文40余篇,获得NPAR 2010 BestPaper Award, ACM SIG CHI Best Paper Award Honorable Mention, ICME 2014 BestStudent Paper, The World’s FIRST 10K Best Paper Diamond Award by ICME 2017等奖励。

而在上个月的CVPR 2017计算机视觉顶级年度会议上,林倞教授带领的实验室团队在本次大会共有7篇paper被收录。以下为大家精选一项人脸幻构技术作为分享。

基于注意力机制学习的人脸幻构

低分辨率人脸图像复原,指的是利用一副或者多幅低分辨率的人脸图像恢复出清晰并且高分辨的人脸图像。目前主流的复原方法都是尝试学习低分辨率图像区域到高分辨率图像区域的映射,而没有对不同区域相关关系进行建模。在监控视频等实际应用场景中,人脸分辨率通常很低,这类方法较难以恢复出高分辨率人脸。针对此难点,我们提出了Attention-awareFace Hallucination增强学习模型框架,旨在通过循环地选择并复原低分辨人脸图像上的不同区域来实现低分辨率人脸的超分辨重建。具体来说,策略网络(Policy Network)将基于之前部分复原的人脸图像,选择一个待复原区域;另一个局部增强网络(local enhancementnetwork)将参考之前复原的结果,仅对该区域进行增强。这样的方式使得区域在进行复原时能获得其它已增强区域的信息,从而在整个图像上对区域的关系进行建模。训练模型时,我们同时对策略网络和局部增强网络进行训练。使用强化学习的方法,将全图的PSNR为奖励信号训练策略网络,使用每一步的局部均方误差训练局部增强网络。我们在LFW上进行了实验,结果表明,我们提出的这项算法大大优于当前最好的算法。

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

图1. 对局部区域进行超分辨率重建时,给出相关高清区域信息将使复原变得更为简单

  • 模型:

下图2是我们Attention-aware Face Hallucination的整体框架示意图:

图2. Attention-aware Face Hallucination的整体框架示意图

在每一步,输入之前的全图增强结果,使用策略网络选取全图的一块区域,并通过局部增强网络进行图像增强,增强的结果将拷贝并覆盖至原图,并作为下一步的输入。重复该步骤T次,得到最终的复原结果。

策略网络和局部增强网络模型细节过程如图3所示:

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

图3 策略网络和局部增强网络模型细节过程

在每一步中,策略网络的输入为上一轮产生的“状态”。“状态”包含两个部分,一部分是之前所有步骤在全图的局部增强结果,另一部分是S3中策略网络里长短期记忆网络产生的隐向量。策略网络将输入图像拉成一个长向量,经过一个全连接层,和一个长短期记忆网络产生一个512维的隐变量,该隐变量通过全连接层输出原图大小的概率图。我们依据概率图,随机采样出一个固定大小的图像区域。

局部增强网络则同样将之前的增强结果使用两层全连接层进行编码,然后通过另一层全连接层缩放至和选择区域同样大小的特征图,并和图像区域合并在一起,经过卷积神经网络得到增强的图像区域,放回到输入图像中。

我们使用两种不同的训练方法来同时训练策略网络和局部增强网络。对于局部增强网络,我们使用选择区域和高分辨图像区域的均方误差作为损失函数,使用梯度下降的方法训练网络。而策略网络的区域选择并没有监督信息,我们使用强化学习的方法进行训练。设定奖励信号R为最后恢复出的图像与原始的高分辨率图像之间的均方误差。这种延迟的全局奖励信号能训练策略网络,使得网络更多的考虑整个序列选择的区域和选择的顺序,提高最终的恢复效果。

  • 实验:

我们在LFW和BioID数据集上测试了8倍降采样和4倍降采样人脸图像的恢复效果,相比于之前的方法有了较大的提高:

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

图4. 部分复原图像的可视化结果:

「中国AI实验室项目巡礼」中大HCPLab:基于注意力机制学习的人脸幻构

图4

附录:

1. 论文信息:

“Attention-AwareFace Hallucination via Deep Reinforcement Learning”, Qingxing Cao, Liang Lin*, Yukai Shi,Xiaodan Liang, and Guanbin Li,roc. of IEEE Conference on Computer Vision andPattern Recognition (CVPR), 2017.

2. 中山大学人机物智能融合实验室官网对应论文链接:http://hcp.sysu.edu.cn/attention-aware-face-hallucination/

点击阅读原文可查看职位详情,期待你的加入~

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2024年4月1日 上午8:15
下一篇 2024年4月1日 上午8:21

相关推荐

  • 盱眙项目管理系统

    盱眙项目管理系统 盱眙项目管理系统是一款功能强大的软件系统,旨在帮助项目经理和团队高效地管理项目进度、成本和质量。该系统提供了丰富的功能,包括任务管理、项目计划、预算管理、风险管理…

    科研百科 2024年12月12日
    0
  • 项目工程管理的系统包括(项目工程管理的系统)

    项目工程管理的系统 随着现代信息技术的不断发展,项目工程管理已经成为了一项非常重要的工作。传统的项目工程管理方法已经无法满足现代项目管理的需求,因此开发一款高效的项目工程管理系统已…

    科研百科 2024年6月8日
    72
  • 软件saas项目管理软件

    软件saas项目管理软件:让项目管理更高效 随着现代软件开发的日益复杂和快速,传统的项目管理方式已经无法满足企业的需求。因此,软件saas项目管理软件成为了现代软件开发中不可或缺的…

    科研百科 2024年7月23日
    36
  • massCode:一个自由开源的代码片段管理器

    massCode 是一个开源的代码片段管理器,使你能够涉足代码,提高生产力,并节省时间。 如果一个工具能让事情变得更快、更有效率,那对许多开发者来说就是救命稻草。 虽然有各种服务和…

    科研百科 2022年11月8日
    415
  • 澳门“快速支付系统”跨行转帐免费用、提限额(澳门转账)

    来源:海外网 海外网澳门9月18日电(记者富子梅)记者从澳门特区金融管理局获悉,该局会同澳门金融机构完成“快速支付系统”升级优化,将于9月25日试行推出“过数易”(Easy Tra…

    科研百科 2024年5月1日
    117
  • 机电科研项目怎么写简历

    写简历时,机电科研项目的研究方向和成果通常是吸引雇主的关键。以下是一些撰写简历时需要考虑的因素和技巧,有助于在机电科研项目方面取得成功。 关键词:机电科研项目、简历、撰写技巧、研究…

    科研百科 2025年4月8日
    1
  • 区财政局做好直达资金管理,兜牢社保民生底线(财政局做好资金保障工作)

    【来源:南京市玄武区人民政府_部门动态】 为了更好的落实直达资金制度,玄武区财政局强化直达资金管理,为资金精准直达市场民生主体提供有力保障,实现财政直达资金使用效益最大化。 一是聚…

    科研百科 2022年12月23日
    266
  • 怎么找导师科研项目

    怎么找导师科研项目? 如果你想在科研领域中获得成功,找到一份优秀的导师科研项目是至关重要的。以下是一些找到导师科研项目的方法: 1. 了解你的研究领域和兴趣。找到与你研究领域相关的…

    科研百科 2025年3月22日
    1
  • 理正结构工具箱TB7.0 密码

    理正结构工具箱TB7.0密码理正结构工具箱TB7.0密码2022年的工作计划是一本非常不错的书,而且这本书不仅有自己的一套绝地测试学习方法,还有自己的一套备考教材,可以近距离地了解…

    科研百科 2024年11月27日
    5
  • 赋能下一代5G平台(5G赋能平台)

    将终端用户设备连接到中央电信网络和云的无线接入网(RAN)和相关的核心网络层次结构,对于构建无处不在的蜂窝网络连接至关重要,它将扩大该技术所支持的应用场景的数量和广度。在制定开发和…

    科研百科 2022年11月16日
    354