用AI辅助，让机器的夜视能力像白天一样清晰——
如今，这种颠覆现有热成像技术的新方法已成为封面。
来自美国普渡大学和密歇根州立大学，还有一位是浙江大学毕业的博士。
通过克服传统解决方案中的“重影”问题，该方法在基准测试中显示出巨大的优势，不仅可以像白天一样看到环境的纹理和深度，还可以感知RGB和热视觉之外的各种物体。 物理信息对于机器感知可以说是相当有好处的，尤其是对于自动驾驶行业来说。
笔者认为，这一成果可以直接加速第四次工业革命。
你怎么看？ 我们打开纸来看一下。
夜视如白天般清晰
当前最先进的机器感知方法使用无处不在的热信号来再现环境信息。
但它有一个非常明显的缺点，那就是会产生“重影效应（）好好学习网”。
具体来说，该效应是指由于物体和环境不断发射热辐射而产生的三个物理特性：温度（T，物理状态）、发射率（e，材料指纹）和纹理（X，表面几何形状）。 混合 光子流中发生的现象（仅在夜视情况下）。
这种现象主要是环境/物体缺乏纹理造成的，如下图所示：
我们只能在灯泡关闭时看到灯泡上的几何纹理，一旦照亮就完全消失，而黑体辐射无法“关闭”，所以这意味着我们总是得到缺乏纹理的热图像，无法看到一个完全真实的黑暗世界。
在这里，作者提出了一种名为 HADAR（heat-and）的方法，该方法以热光子通量为输入，记录高光谱成像热立方，并通过 TeX 分解解决重影效应的挑战。
作者表示，TeX分解利用机器学习从杂乱的热信号（下图中的彩色部分）生动地恢复纹理，并使人工智能算法达到信息论的极限，这是迄今为止传统RGB或热信号难以做到的。视觉方法可以做到这一点。
其具体实现如下图所示：
据作者介绍，其建筑的物理灵感来自于三个方面。
首先，热立方体的 TeX 分解依赖于空间模式和光谱热特征，这启发他们在 UNet 模型中使用光谱和金字好好学习网塔（空间）注意层。
其次，由于TeX的简并性，必须指定以下数学结构来保证逆映射的唯一性（，表示物体的指数，v为波数），因此热照明系数V必须为也就是说，TeX-Net 不能进行端到端的训练。
最后，材料库M及其维度是整个网络的关键。
另外，作者还提出了一种非机器学习方法，即TeX-SGD来生成TeX-vison作为补充。
在测试中我们可以看到HADAR方法带来了非常高的精度。
如下图所示，第一行显示基于原始热图像的里程计方法由于重影而导致精度较差； 第二行显示 HADAR 中恢复的纹理和增强比热里程计精确约 100 倍；
在下面的场景（黑色汽车、人和纸板爱因斯坦）中，我们可以看到：
视觉驱动的物体检测光学成像中（a）错误识别了两个人和一辆车，而激光雷达点云（c）不仅识别了两个人还丢失了汽车，只有HADAR方法才能带来全面的理解，准确地框出一个人和一辆车。
最后一组图充分证明了HADAR在夜间的整体视觉能力优于目前最先进的热测距方式（），并且其RGB立体视觉与白天测试的基本处于同一水平，即哈达尔在黑暗中。 就像在白天一样查看环境纹理和深度。
关于作者
作者之一，普渡大学研究员。 2011年6月获得浙江大学物理学学士学位，2016年6月获得浙江大学光学博士学位。
鲍先生之前的研究重点是非齐次系统（量子力学）中的卡西米尔效应，现在扩展到张量网络、神经网络及其在量子物理中的应用。
通讯作者为普渡大学电气与计算机工程系教授祖宾雅各布(Zubin Jacob)和密歇根州立大学计算机科学与工程系助理教授(后者正在招收具有“强大数学背景”的学生)。好好学习网
论文地址：
广告声明：文章中包含的外部跳转链接（包括但不限于超链接、二维码、密码等）用于传达更多信息，节省选择时间。 结果仅供参考。 IT之家的所有文章均包含此声明。
