WISH: wavefront imaging sensor with high resolution
原创作者：胡铁 纳米光子实验室 目前研究方向：可见光宽谱介质偏振计
——||背景介绍||——
2019年5月1号，Rice University 的Yicheng Wu 及其合作者提出了一种结合空见光调制器（SLM），CMOS相机和相位恢复算法的波前成像传感器（Imaging Sensor with High resolution ，WISH ），其工作发表在期刊《Light: Science & Applications》。光作为一种电磁波，其特征在于其幅度和相位。然而，当前诸如CMOS成像传感器完全丢失相位信息并将所有信息仅映射到输入场的幅值信息中，从而限制传统成像系统的设计。这种映射并不总是可行的并且导致许多限制。相反，波前传感的目标是同时测量输入光场的幅度和相位。这两种信息的组合能够检测在任何平面上的光场信息。传统的波前传感器主要分为两大类：一类是基于几何光学，如传统的哈特曼—夏克波前传感器（ShackHartmann wavefront sensor ，SHWFS），每个透镜基于传感器上焦斑的位置改变量的测量计算出平均相位斜率（在透镜区域上）。 为了实现高相位精度，每个透镜需要许多像素来精确定位光斑。 因此，尽管CMOS传感器具有数百万像素，但是所测量的空间分辨率非常低。目前，商用SHWFS提供高达73×45的测量点；另一种是基于衍射光学，通过引入参考光束将信息编码成干涉条纹信息中。 然而，这些干涉系统具有系统复杂、体积大且对微米级振动高度敏感的缺陷。简言之，传统的波前传感器必须在空间分辨率和相位精度上做权衡，从而导致传统波前传感只有几千像素的空间分辨率。
——||创新点||——
该团队提出了一种基于计算成像的波前成像方法，能够在保持优良相位精度条件下，实现大约1000万像素的空间分辨率，比商用Shack-Hartmann传感器好几个数量级。待测光场被SLM产生的一系列随机相位图调制，并且在CMOS传感器上进行一系列相应的空间强度测量，然后通过相位恢复算法处理数据，以便迭代恢复入射在SLM上的波前的相位和幅度信息。实验证明了其设计思想适用于全空间尺度：第一，结合一个大数值孔径，低Q的菲涅透镜，该波前传感器能用于远距离近衍射极限的天文成像；第二，宏观世界中，经过散射介质后，高分辨率图像的恢复重建；第三，设计的波前传感器可以当作无目镜的显微镜，具有高空间和时间分辨率的特点。
——||图文一览||——
图一：WISH系统结构图
（a） WISH由有一个相位SLM，CMOS传感器和数据处理器组成，用于测量照射在SLM平面上的波前。 通过反向传播数值地恢复测试对象（例如菲涅耳透镜）的复合场。
（b） 直径为76.2毫米的菲涅耳透镜恢复重建：恢复的幅度和相位都包含微米分辨率的细节。
（c） 波前传感器的性能比较：表中列出了使用小透镜阵列的SHWFS的基本性能参数，使用二元掩模的编码WS，使用编码衍射图案的IBRS-WS以及文中所提出的WISH。 WISH可以在高帧率下以最佳空间分辨率恢复任意复杂场，并且可以应用于各种空间尺度。
小结：恢复的场的空间分辨率大于1000万像素。与传统的SHFWS相比，空间分辨率提高了1000倍以上。与其他最新设计的波前传感器相比，WISH的空间分辨率提高了10倍以上。尽管需要多次拍摄才能恢复一个复杂的场景，但WISH可以录制帧速率高达10Hz的动态场景。 其次，由于该设计不含参考，WISH对环境噪声和运用的鲁棒性非常大，从而拓宽了该技术的各种应用领域。
图二：用WISH的高分辨率波前重建
（d） WISH的实验设置图。绿色箭头表示光场在传感器内传播路径。
（e） 通过迭代地强制执行传感器平面上的强度测量约束并对来自SLM平面上的多个模式的求平均估计来高分辨率恢复入射场u。
（f） 为了从灰尘指纹中恢复入射波前，在SLM上投射了8个随机相位模式并捕获了相应的图像。在执行WISH算法之后，高分辨率恢复出幅度和相位
小结：实验中采用532nm波长模块二极管激光器（(Z-LASER Z40M18B-F532-PZ），仅相位SLM（HOLOEYE LETO，1920×1080分辨率，6.4μm单元面积），相机采用Thesensorisa 10位德国Basler Ace相机(acA4024-29um)，配备IMX-226索尼传感器（1.85μm像素间距，4024×3036分辨率）。WISH的分辨率由SLM
的像素大小，相机传感器的像素大小
和它们之间的距离z确定。在大多数情况下，当
大于
时，分辨率受
限制，只要z足够大以使每个传感器像素能够从多个SLM像素接收场。由于WISH具有以高分辨率同时测量幅度和相位的独特能力，因此它成为解决具有确定性甚至随机传递函数的逆成像问题的有力工具。
图三：结合WISH和Fresnel len，从数米远处进行微米分辨率成像
（g） 对于长距离成像，传统的成像传感器需要远摄镜头来捕获高质量图像。 使用WISH，大光圈和低质量的菲涅耳透镜足以实现相同的性能。
（h） 装置结构示意图。
（i） 校准后恢复76.2毫米直径菲涅耳透镜的幅度和相位。
（j） 美国空军分辨率目标的结果对比图。左图：使用菲涅耳透镜直接拍摄的图像。图像中无法识别任何功能。中：根据文中提出的算法恢复光强图。最佳分辨特征是第5组第3行的线宽为12.40-μm。右：通过用直径为38.1毫米的高质量镜头替换菲涅耳透镜来实现原始图。分辨率最高的特征是第4组第4行的22.10-μm线宽。这些结果表明，使用76.2毫米直径的菲涅耳透镜恢复了几乎接近衍射极限的分辨率。
（k） 测试来自兔睾丸和狗食道的两个生物显微镜载玻片。左图：手机摄像头拍摄的特写照片。中间：使用菲涅耳透镜直接拍摄图像。右：基于WISH算法恢复光强图。
小结：在诸如天文观测，卫星成像和监视的许多光学成像或计算机视觉应用中，成像装置位于离物体很远的位置。然而，例如，为了使用传统传感器拍摄1公里以外的人的照片，需要远摄镜头，其包含数十个单透镜以适应衍射模糊和像差，将WISH与轻便廉价的菲涅耳透镜结合使用，可以达到相同的性能。WISH能够计算地补偿像差和失真，从而实现紧凑，大孔径，衍射限制的成像
图四：通过WISH查看漫射而不会丢失分辨率
（l） 为了通过散射介质对物体（例如人）成像，传统相机仅记录随机散斑图案，而WISH可以重建透明物体
（m） 实验装置图
（n） 校准过程后重建的扩散器相位。
（o） 美国空军的分辨率目标用于评估系统的分辨率。左列直接通过漫射器捕获的图像。中间列显示恢复的图像。为了比较，在没有漫射器的情况下拍摄的图像被视为基本事实并显示在右栏中
（p） 西门子星斑和实验室标志的结果图
小结：通过测量相位失真并计算反转它，WISH可以重建由薄散射体隐藏的物体。由于该论文使用的算法中没有对象约束，因此可以类似地重建各种对象
可以直接将我们的方法从透射模式扩展到反射模式，这对于诸如用扩散墙环顾四周的应用非常有用。
图五：WISH用于无透镜显微成像
（q） 重建具有大视场（5mm×5mm）和高分辨率（4.92μm条宽）的美国空军分辨率目标
（r） 重建铃兰的横截面。 三个放大的图像显示了特征区域的细节
（s） 来自生活在琼脂上的秀丽隐杆线虫的重建四帧视频（10Hz）
小结：对美国空军目标的一个大区域进行成像，其中第6组元素5（条宽为4.92μm）具有最小的可见特征。在本文中，由于分束器的使用必要性，分辨率受到样品和SLM之间的空间的限制。
——||结论||——
该论文提出了一种高分辨率，非干涉波前传感器，称为WISH。基于计算成像的方法将复杂性从硬件转移到算法，并提供以超过10百万像素分辨率测量高度变化的光学场的能力。该波前传感器的多功能性可显着提高现有技术（如自适应光学和显微镜）的性能，同时为新兴领域提供新工具，包括通过散射介质和生物医学和科学成像进行成像。目前，WISH必须依次捕获至少八个图像以准确地恢复一个场。可能解决方案：一，使用单词拍照，改进相位检索方法，以减少输入所需的测量次数，并且必须构建相机阵列系统；二，使用先进的工具和软件进行机器学习，以改善运行时间；三，采用透射式SLM和紧凑。 可调谐的光学超表面；四，设计一个优化框架以自动分离物体和像差而无需校准，这对于诸如自动驾驶（在充满挑战的天气中）和在皮肤下成像的应用有巨大前景。
文献链接：Wu Y, Sharma M K, Veeraraghavan A. WISH: wavefront imaging sensor with high resolution[J]. Light: Science & Applications, 2019, 8(1): 44..
