手机贤集

贤集网技术服务平台欢迎您

登录 注册

基于贝叶斯深度多视图学习的视觉信息编解码框架

文章来源: 自动化研究所       发布时间:2018-12-19

现代认知神经科学以及功能磁共振成像技术(functional Magnetic Resonance Imaging,fMRI)的不断发展使得采用科学手段对大脑视觉皮层信号进行解读成为可能。研究人脑视觉信息解码模型不仅可以加深人们对人脑视觉信息处理机制的研究,还可以有力地促进新一代脑-机接口(Brain-Computer Interface,BCI)技术的发展。


尽管现有的视觉信息解码模型在对大脑信号的分类、识别任务上表现良好,但是试图通过大脑视觉皮层信号精确重建视觉刺激内容仍然非常困难。阻碍人们有效地进行视觉信息解码的因素主要包括fMRI数据维度高、样本量小、噪声严重、解码模型不科学等。传统的基于多体素模式分析(Multi-Voxel Pattern Analysis,MVPA)的视觉信息解码方法直接在高维的fMRI体素空间和视觉图像像素空间建立映射关系,这种解码方法很容易造成对冗余或噪声体素的过拟合。此外,现有的视觉信息解码方法大多数基于对视觉图像的线性变换,没有结合人脑视觉系统的信息处理机制,解码效果差并且缺乏生物学基础。


中国科学院自动化研究所研究员何晖光团队近年来一直致力于更复杂刺激(如人脸,自然图像,乃至动态视觉刺激)的大脑解码工作,继去年关于“利用fMRI信号重建图像”的工作被MIT Technology Review头条报道后,基于以往工作积累,提出了一种基于贝叶斯深度学习的大脑视觉信息解码模型(见图1),针对基于fMRI数据的视觉神经信息编解码问题,提出了统一的多视图深度生成式模型(Deep Generative Multi-view Model,DGMM)(见图2),为基于大脑信号的视觉图像重建问题提供了有效的解决方案。相关研究成果“Reconstructing Perceived Images from Human Brain Activities with Bayesian Deep Multi-view Learning”近日已在神经网络及机器学习领域国际期刊IEEE Transactions on Neural Networks and Learning Systems(TNNLS)在线发表,为脑-机接口的进一步研究打下了坚实的基础。

基于贝叶斯深度多视图学习的视觉信息编解码框架

该研究以一种科学合理的方式建立起了视觉图像和大脑响应之间的关系,将视觉图像重建问题转化成多视图隐含变量模型中缺失视图的贝叶斯推断问题。

基于贝叶斯深度多视图学习的视觉信息编解码框架

受人脑视觉信息处理机制(层次化、Bottom-up、Top-down)的启发,团队采用了深度神经网络从视觉图像中逐层提取视觉特征和概念,提高了模型的表达能力和可解释性;受视觉区域的体素感受野和视觉信息的稀疏表达准则的启发,团队采用了稀疏贝叶斯学习从大量体素中自动筛选出对视觉信息解码贡献较大的体素,提高了模型的稳定性和泛化能力。深度生成式多视图模型充分利用了fMRI体素之间的相关性信息,有效抑制了体素噪声的干扰,增强了算法的鲁棒性。得益于贝叶斯方法的优点,深度生成式多视图模型能够方便灵活地融合先验知识,进而提升预测性能。大量的实验结果验证了深度生成式多视图模型的优越性。


新算法为大脑信号解码问题提供了一个行之有效的通用框架,具有很强的可扩展性,允许从不同角度对其进行扩展以适应不同任务。该项目不仅为探究大脑的视觉信息处理机制提供了一个强有力的工具,而且为脑-机接口的发展提供了技术支持,将对类脑智能的发展起到一定的促进作用。


论文的第一作者是博士生杜长德。该工作同时受到国家自然科学基金重点项目、中科院先导项目以及中科院青促会优秀会员项目的资助。

注:文章内的所有配图皆为网络转载图片,侵权即删!

声明:“贤集网”的所有作品,版权均属于贤集网,如需转载,请注明出处;本网站转载的内容版权归原网站所有,如有侵权或其他问题, 请及时通过电子邮或者电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失

我来说几句


获取验证码
最新评论

还没有人评论哦,抢沙发吧~