复旦大学高分子科学系张红东教授、李剑锋副教授与加拿大滑铁泸大学陈征宇教授合作,在深度学习与物理研究交叉领域取得新进展,提出了一种全新的概念表征方法。近日,研究成果以《用强关联神经网络进行结构预测与反向设计》(“Structural Prediction and Inverse Design by a Strongly Correlated Neural Network”)为题发表于《物理评论快报》(Physical Review Letters 123, 2019, 108002)。
将深度学习或神经网络运用于研究自然语言或其它学科时,首先需要对涉及的一些概念(词或物理实体)进行恰当的、充分的表征。之前,人们大多采用静态热点表征(One-Hot Encoding)或向量表征(Vector Representation),此两种表征方式虽可描述概念的特征,却不能反映环境对其属性之影响,亦不能体现概念的功能。
“因此,我常在想:大脑是不是真的用一个静态的向量来表达概念与物理实体呢?我觉得不一定,比如我们说自行车时,这个概念本身它应该自带‘构造’,另外它跟环境有关系。在不同光线下其形象应该是有差别的。因此,我们想把概念的表示从向量提升成算符,做个升级。” 李剑锋表示。
据此想法,团队创造性地提出用算子表示概念表示实体的思想。具体而言,用一个个子神经网络来表示一个个物理实体:网络的输入相当于物理实体所处的环境,网络的输出表示在此环境下物理实体展现的物理属性。
物理实体所处的环境再由其它实体的物理属性联合决定,通过这种自洽迭代形成物理属性与环境的强关联,从而极大地提高神经网络预测的准确性。该方法目前被运用于HP蛋白质模型的预测与反向设计中,取得良好的效果;他们发现新方法特别适合解决涉及简并度的问题。
文章链接:https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.123.108002