10月18日消息,据外媒报道,麻省理工学院(MIT)的科学家们找到了一种可以在运动模糊的视频帧中恢复细节并重现清晰图像的方法。这套“视觉投影模型”通过使用卷积神经网络(CNN)来解码图像。


MIT卷积神经网络:能恢复模糊图像中的清晰信息


资料图


MIT计算机科学和人工智能实验室(CSAIL)的研究人员通过扫描数千对图像(投影)训练CNN,其中一幅图像质量较低,另一幅图像则图像模糊。神经网络利用这些信息然后通过学习像素模式和像素来源从本质上逆转模糊效果。


CNN的另一部分责备称为“变分自动编码器(variational autocoder)”,它能够分析输出并评估网络跟信号的匹配程度。随后,它则会创建一幅“蓝图”告诉AI如何对一个投影到所有可能的匹配源进行处理。当给定一幅新图像时,CNN会检查像素模式并使用该蓝图寻找可能导致模糊的每个信号,然后它组合数据创建一个“高维”副本。


打个比方,在一段显示一辆汽车飞驰而过的视频中你可能能分辨出那辆车是红色的,但除此之外其他的信息则都不清楚。而视觉投影模型可以获取这些素材并创建一个足够清晰的复制品来识别制作和模型。


这篇论文的首席作者、CSAIL的博士后Guha Balakrishnan表示:“对于我们能够恢复这些细节就像变魔法一样。”


实际上,研究人员对它在医学领域的作用更感兴趣。他们相信这项技术可以被用来制造类似于X射线CT的3D扫描。这一突破将能显著降低成本,因为MRI和CT设备都非常昂贵。该软件将能够从成本相对较低的X射线等低信息图像中重建出高信息图像。


“如果我们能将X射线转换成CT扫描,那将在某种程度上改变游戏规则,”Balakrishnan说道,“你只需拍一张X光片,然后通过我们的算法就能看到所有丢失的信息。”


关于卷积神经网络


卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deep learning)的代表算法之一  。卷积神经网络具有表征学习(representation learning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification),因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks, SIANN)”  。

我来说几句

不吐不快,我来说两句
最新评论

还没有人评论哦,抢沙发吧~