DeepMind提出心智神经网络ToMnet,训练机器的理解能力

DeepMind提出心智神经网络ToMnet,训练机器的理解能力

原文来源 :arXiv

作者: Neil C. Rabinowitz、Frank Perbet、H. Francis Song、Chiyuan Zhang、S. M. Ali Eslami、Matthew Botvinick

「雷克世界」编译:嗯~阿童木呀、KABUDA

一般来说,心智理论(ToM,Premack和Woodruff于1978年提出)泛指人类理解自己与他人的心理状态,包括欲望、信仰和意图等,并基于此预测和解释他人行为的能力。我们打算对机器进行训练从而构建这样的模型。我们设计了一个心智理论神经网络——ToMnet,它使用元学习(meta-learning),通过对其所遇到的智能体的行为进行单独观察,从而构建该智能体模型。通过这个过程,它获得了一个智能体行为的强有力的先验模型,以及仅使用少量行为观察就能够更加丰富地预测特征特征和心理状态的能力。我们将ToMnet应用于在简单的gridworld环境中运行的智能体,显示它学习为来自不同群体的随机、算法深度强化学习智能体进行建模,并且它通过了经典的ToM任务,如“SallyAnne”测试(Wimmer和Perner于1983年、BaronCohen等人于1985年提出),认识到其他人可能持有错误的世界观。我们认为这个系统,即自主学习如何在其世界中对其他的智能体进行建模,是开发多智能体AI系统、构建机器—人机交互的中介技术、推进可解释性AI发展的重要一步。

就目前而言,虽然在深度学习和深度强化学习领域取得了令人兴奋的发展成果,但有些人担心,我们对这些系统的理解已经落后了。神经网络通常被描述为不透明的、不可解释的黑盒子。即使我们对它们的权重有完整的描述,也很难掌握它们正在使用的模式以及它们可能出错的地方。随着人工智能体逐渐地进入人类世界,对于我们能够理解它们的需求也越来越大。

那我们不禁要问:“理解”另一个智能体究竟意味着什么?作为人类,我们每天都面对这一挑战,因为与我们所交流接触的人,他们的潜在特征、潜在状态和计算过程几乎完全无法访问。但我们具有非常出色的能力,我们可以对陌生人的未来行为进行预测,并推断出他们对世界的了解。我们对与他人的互动做出规划,并建立起与其之间的高效和有效沟通。

DeepMind提出心智神经网络ToMnet,训练机器的理解能力

ToMnet架构

其他智能体的这些“理解”的一个突出特点是,他们几乎对智能体的真正潜在结构没有任何参考。我们通常不会试图估计他人神经元的活动,推断他们前额皮质的连通性,或者计划与其他人的海马体地图(hippocampal maps)动态的详细近似进行交互。认知心理学的一个重要观点是,我们的社会推理取决于其他智能体的高层次模型(Gopnik和Wellman于1992年提出)。这些模型涉及的抽象概念并未描述所观察行为的基础的详细物理机制。相反,我们理解的是他人的心理状态,例如他们的欲望、信仰和意图。而这种能力通常被描述为我们的心智理论(Premack和Woodruff于1978年提出)。尽管在某些情况下,我们也可以利用我们自己的想法对他人的想法进行模拟(例如Gordon于1986年、Gallese和Goldman于1998年提出),但我们对其他智能体的最终理解并不是通过我们的模型与机械基础事实之间1-1对应来实现的,而是由这些模型为诸如预测和规划等任务提供了多少支持(Dennett于1991年提出)实现的。

DeepMind提出心智神经网络ToMnet,训练机器的理解能力

一个随机智能体在其中活动的gridworld示例

在本文中,我们从人的心智理论中获得灵感,并试图建立一个能够学习如何对其他智能体进行建模的系统。我们将此描述为机器心智理论(Machine Theory of Mind)。我们的目标不是提出一种智能体行为的生成式模型以及对其进行反转的算法。相反,我们的关注点在于,观察者是如何自主学习使用有限的数据为其他智能体进行建模的(Botvinick等人于2017年提出)。这将使我们的研究与以前的研究成果区分开来,以往研究依赖于将手工制作的智能体模型作为嘈杂理性的规划者(noisy-rational planners),例如,使用反向强化学习、贝叶斯推理、贝叶斯心智理论或博弈论等。与其相反的是,我们学习智能体模型,并学习如何从头开始,通过元学习来对它们进行推理。

构建一个丰富、灵活并具有高性能的机器心智理论对于AI而言可能是一个巨大的挑战。我们并不是要在这里解决所有问题。本文要传递的一个主要信息是,只要它们以正确的方式表达,构建ToM的许多初始挑战可以被视为简单的学习问题。我们这里的工作就是要弄明白这些简单公式。

DeepMind提出心智神经网络ToMnet,训练机器的理解能力

在随机智能体上进行训练的ToMnet

这项工作具有很多的潜在应用,学习他人的丰富模型将改善复杂的多智能体任务的决策,尤其是在需要基于模型的规划和想象力的情况下(Hassabis等人于2013年,Hula等人于2015年,Liehok和Amato于2016年提出)。这些模型对于价值调整(Hadfield Menell等人于2016年提出)和灵活合作(Nowak于2006年,Kleiman-Weiner等人于2016年,Barrett等人于2017年提出)是重要的,并且可能成为未来机器伦理决策(machines’ ethical decision making)的一个组成部分(Churchland等人于1996年提出)。它们对传播学和教育学也非常有用(Dragan等人于2013年,Fisac等人于2017年,Milli等人于2017年提出),因此可以在人机交互中起到关键作用。探索产生这些能力产生的条件可以揭示我们人类能力的起源(Carey等人于2009年提出)。最终,这样的模型可能成为我们人类理解人工智能体的重要媒介。

最后,我们强烈的动机是使人类理解人工智能体,我们在此尝试了一种新颖的方法:我们试图建立一个中介系统,以减少行为空间的维度,并以更易理解的形式展现它们,而不是修改智能体结构以人类易于理解的解释方式揭示其内部状态。在这方面,对Machin ToM的追求是为了在机器和人类期望之间建立缺失的界面(Cohen等人于1981年提出)。

在本文中,我们使用元学习来构建一个系统,用来学习如何对智能体进行建模。我们通过一些列实验展示了ToMent如何在训练分布中学习智能体的通用模型,以及如何在观察一个新智能体的同时,在线构建一个特定智能体模型。ToMent可以在一系列不同类型的智能体上灵活地学习这些模型,并且对驱动这些智能体制定决策的生成过程几乎没有做出任何假设。ToMnet还可以发现行为空间内的抽象概念。

我们注意到,我们在这里进行的实验很简单,旨在说明这一系统的核心思想和功能。要将ToMnet扩展到更广阔的领域,还有许多工作要做。

第一,由于这种环境具有控制力, 因此导致我们完全在gridworld内工作。我们期待将这些系统扩展到复杂的3D视觉环境中,并在其他具有丰富状态空间的POMDP中运行。

第二,我们在这里没有尝试限制观测者本身的可观测性。 这显然是现实世界社交活动中的一个重要挑战,例如,我们试图确定别人知道我们所不知道的是什么时,这本质上是一个推理问题(Baker等人于2017年提出),学习如何做到这一点是ToMnet未来面临的挑战。

第三,我们希望能在其他更多维度上描述智能体的特征 ,例如,它们是否有生命(Scholl和Tremoulet于2000年提出),友好还是敌对(Ullman等人于2009年提出),被动的还是有计划的(Sutton和Barto等人于1998年提出)。或许更令人感兴趣的是利用ToMnet发现自然或人工种群行为的新结构的可能性,即作为一种机器人类学(machine anthropology)。

第四,心智理论对社会人而言十分重要 ,因为它能指导我们的社会决策。这项研究的一个重要步骤是将ToMnet放置在人工智能体内部,人工智能体必须学习执行多智能体任务。

在追求这些目标的过程中,我们预见了许多未来的需求:丰富ToMnet必须做出一系列预测;向ToMnet的智能体行为生成式模型中引入温和的归纳偏见;思考智能体如何从它们自身的经验和知识中不断总结,以便让它们的模型了解他人。解决这些问题对于推进机器心智理论是必要的,该理论可以学习负责任的社会人士所具有的丰富能力。

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。 由互联网进化论作者,计算机博士刘锋与中国科学院虚拟经济与数据科学研究中心石勇、刘颖教授创建。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

本文来自人工智能学家,创业家系授权发布,略经编辑修改,版权归作者所有,内容仅代表作者独立观点。[ 下载创业家APP,读懂中国最赚钱的7000种生意 ]

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2024年5月9日 上午11:29
下一篇 2024年5月9日 上午11:41

相关推荐

  • 工地项目管理系统

    工地项目管理系统是一种用于管理工地项目的计算机软件系统,能够帮助项目经理和工程师高效地组织和管理工地项目,确保项目能够按时按质完成。 工地项目管理系统的好处如下: 1. 项目管理更…

    科研百科 2024年5月26日
    112
  • 国际空间站的科研项目是什么样的(国际空间站的科研项目是什么)

    国际空间站的科研项目是什么 国际空间站(ISS)是国际空间站,是由美国航天局(NASA)于1990年发射的一艘太空船,旨在进行科学研究和人类实践任务。自那以后,国际空间站一直在太空…

    科研百科 2024年8月2日
    27
  • 河北科研项目申报的企业

    在河北,有许多企业致力于推动科技创新,积极参与科研项目申报。这些项目旨在为企业带来技术上的突破,提升企业的核心竞争力。 作为一家有追求的企业,我们深知科技创新的重要性。因此,我们积…

    科研百科 2025年4月9日
    0
  • 省直司法行政戒毒系统开展2023年度党组织书记抓党建述职评议考核工作

    省戒毒局 1月19日,贵州省戒毒管理局召开省直司法行政戒毒系统2023年度党组织书记抓党建工作述职评议会。述职评议以现场及书面述职相结合的形式开展。参加述职的各基层党组织书记紧紧围…

    科研百科 2024年6月28日
    61
  • 蚕业所全国首批“青年人才托举工程”项目结题

      日前,中国农业科学院蚕业研究所马琳博士承担的全国首批中国科协青年人才托举工程项目。专家认为,通过3年的项目实施,马琳博士在纳米材料及特种经济动物饲养交叉学科领域取得初步研究成果…

    科研百科 2022年5月14日
    318
  • aspice项目管理

    Aspice项目管理:一种高效且可靠的软件开发方法 软件开发是一个不断发展和变化的领域,随着技术的进步和需求的变化,软件开发方法也在不断演变。在过去的几年中,一些新技术和方法已经被…

    科研百科 2024年7月16日
    39
  • 嵌入式开发:嵌入式软件开发和编程(嵌入式开发-嵌入式软件开发和编程的区别)

      每天,人们都要面对和使用数十种设备,这些设备的功能依赖于微芯片和电路板,这些是带有内置软件的小工具,例如照相机、健身追踪器、咖啡机等。由于许多在生活的某些领域执行关键功能,因此…

    科研百科 2023年3月22日
    261
  • 中小学公用经费管理办法

    中小学公用经费管理办法 为规范中小学公用经费管理,提高学校运营效率,保证学校运营经费的及时、有效地支出,根据《中华人民共和国义务教育法》和国家有关规定,制定中小学公用经费管理办法。…

    科研百科 2024年7月12日
    52
  • 广西科研项目经费

    广西科研项目经费: 推动科技创新的引擎 近年来,广西政府高度重视科技创新,出台了一系列政策和措施,以推动科技创新的发展。作为广西科技创新的重要力量,科研项目经费的充足和高效是实现科…

    科研百科 2025年2月8日
    0
  • 科研项目资金使用要求

    科研项目资金使用要求 科研项目资金是支持科学研究和发展的重要资源。然而,由于科学研究的复杂性和不确定性,资金使用的要求也越来越高。本文将介绍科研项目资金使用的要求,包括资金用途、使…

    科研百科 2025年3月27日
    1