面孔的身份信息和表情信息在日常生活和社会交往中发挥着重要作用。当我们与他人互动时，我们可以通过对方的面部身份信息来识别他/她是谁，也可以通过对方的面部表情信息来辨别其情绪。面孔身份信息加工和表情信息加工之间的相互关系，是认知科学所关注的重要科学问题之一。

近年来，人工智能领域取得了突破性进展。深度卷积神经网络（Deep Convolutional Neural Network, DCNN）在人脸识别和情绪识别方面已经达到、甚至超越人类水平，并广泛地应用于公共安全、金融等相关领域，给人们的生活带来了巨大的改变。有趣的是，近期的科学研究发现，被专门训练为识别面孔身份信息的DCNN，能够自发的涌现出具有表情识别能力的“表情神经元”。这一发现为理解人脑面孔加工和情绪识别的认知加工机制提供了新途径。

北京师范大学心理学部周可课题组和华南师范大学心理学院孟明课题组开展合作，以DCNN为“人工脑模型”，借鉴人类表情研究中的认知科学实验范式，研究面孔身份信息相关的视觉经验在面孔表情识别能力发展中的重要性。

图1 能够识别面孔身份信息的pretrained VGG-Face

该研究首先从已经训练好的用于面孔身份信息识别的深度卷积神经网络（pretrained VGG-Face，图1）中筛选出对六种基本表情（愤怒、厌恶、恐惧、快乐、悲伤和惊讶）具有选择特异性的“表情神经元”。研究者们使用在人类被试上所建立的经典实验范式来打开深度卷积神经网络的黑箱，揭示这些“表情神经元”如何表征面孔情绪信息。他们发现，这些“表情神经元”具有与人类似的情绪知觉表征特性，呈现出相似的表情混淆现象和类别知觉效应（图2）。

图2 pretrained VGG-Face中自涌现的“表情神经元”的表情混淆效应和类别知觉效应

进一步，为了考查面孔身份相关的视觉经验，是否是VGG-Face自涌现出“表情神经元”所必需的，研究者引入了另外两个深度卷积神经网络模型，预训练好的VGG-16（pre-trained VGG-16）和没有经过训练的VGG-Face（untrained VGG-Face），来进行比较。这两个网络的基本架构与VGG-Face相同，但pretrained VGG-16是通过大量的自然图片被训练用于物体分类任务，untrained VGG-Face则没有任何训练经验。研究者们发现，虽然pre-trained VGG-16和untrained VGG-Face也能涌现出 “表情神经元”，具有情绪选择特异性（图3A），但这些“神经元”不能表现出稳定的与人类似的表情混淆效应和类别知觉效应（图3D-G）。这个结果表明，面孔身份信息相关的视觉经验在面部表情知觉能力的发展中具有重要作用，强调了后天环境因素在形成类人面部表情知觉方面的必需性。

图3 pretrained VGG-Face, pretrained VGG-16和untrained VGG-Face中的“表情神经元”的表征差异

该研究提供了新的证据表明，DCNN可以作为一种“生物模型”，来帮助理解人脑的认知加工机制。反过来，认知科学的实验方法也可以帮助打开DCNN的“黑箱”，揭示其内部表征。另外，该研究也提示在研究生物系统和人工系统的趋同进化时，除了获取在“输入-输出”层面的弱等价证据，也应关注在算法和表征层次的强等价证据。

上述成果于2022年3月23日发表在国际知名期刊Science Advances。北京师范大学心理学部博士后周丽琴是本论文的第一作者。北京师范大学心理学部周可教授和华南师范大学心理学院孟明教授为本文的共同通讯作者。本研究得到国家科技创新2030重大项目(2021ZD0203803)、国家自然科学基金(31871136)、以及国家重点研发计划(2019YFA0709503)资助，特此表示感谢。

论文：“Emerged human-like facial expression representation in a deep convolutional neural network”

“深度卷积神经网络中自涌现的类人表情表征”

论文网址：https://www.science.org/doi/10.1126/sciadv.abj4383