该技术已申请专利。仅供学习研究，如用于商业用途，请联系技术所有人。
用于伤口组织学评估的光谱成像系统和方法
1.相关申请的交叉引用
2.本技术要求于2020年7月13日提交的美国临时申请序列第63/051,308号、标题为“用于伤口组织学评估的光谱成像系统和方法”的权益，在此其全部内容通过引用明确并入本文。
3.关于联邦赞助研发的声明
4.本公开中所描述的一些工作是根据由隶属于美国卫生与公众服务部应急准备与反应助理部长办公室的生物医学高级研究和发展局(barda：biomedical advanced research and development authority)授予的合同no.hhso100201300022c在美国政府的支持下完成的。本公开中所描述的一些工作是根据由美国国防卫生署(dha：u.s.defense health agency)授予的合同no.w81xwh-17-c-0170和/或w81xwh-18-c-0114在美国政府的支持下完成的。美国政府可能拥有本发明中的某些权利。
技术领域
5.本文公开的系统和方法涉及光谱成像，更具体地，涉及基于光谱成像的用于伤口组织学评估的光谱成像系统和方法


背景技术：

6.电磁光谱是电磁辐射(例如，光)在其上延伸的波长或频率的范围。按照从较长的波长到较短的波长的顺序，电磁光谱包括无线电波、微波、红外(ir)线、可见光(即，人眼的结构可以检测到的光)、紫外(uv)线、x射线和γ射线。光谱成像是指光谱学和摄影学的一个分支，其中一些光谱信息或完整光谱被收集在图像面中的位置。多光谱成像系统可以捕获多个光谱带(十几个以下的量级，并且通常在离散的光谱区域)，为此在每个像素处收集光谱带测量值，并且可以参考每个光谱通道约数十纳米的带宽。高光谱成像系统测量更多的光谱带，例如多达200个以上，其中一些沿电磁光谱的一部分提供连续的窄带采样(例如，纳米级以下的光谱带宽)。


技术实现要素：

7.本文公开的多光谱成像系统和技术具有数个特征，其中没有一个单一特征对其期望的属性单独负责。在不限制所附权利要求书所述的保护范围的情况下，现在将简要讨论所公开的光谱成像的某些特征。本领域技术人员将理解所公开的光谱成像的特征如何提供优于传统系统和方法的数个优势。
8.在第一方面中，一种用于评估或预测伤口状态的系统包括：至少一个光检测元件，其被构造成收集在从包括烧伤的组织区域反射后的至少第一波长的光；和一个或多个处理器，其与所述至少一个光检测元件通信并被构造成：从所述至少一个光检测元件接收信号，所述信号表示从所述组织区域反射的所述第一波长的光；基于所述信号生成具有示出所述组织区域的多个像素的图像；基于所述信号确定所述多个像素的至少一个子集中的各像素
在所述第一波长处的反射强度值；使用至少一个深度学习(dl)算法确定与示出所述组织区域的像素的所述子集中的各像素相对应的烧伤状态；和至少部分地基于所述图像和所确定的与示出所述组织区域的像素的所述子集中的各像素相对应的烧伤状态来生成分类图像。
9.在一些实施方案中，所述分类图像包括基于与各像素相对应的所述烧伤状态而具有不同的视觉表示的像素。
10.在一些实施方案中，所述一个或多个处理器还被构造为使得视觉显示所述分类图像。
11.在一些实施方案中，与各像素相对应的所述烧伤状态选自未愈合烧伤状态和愈合烧伤状态。
12.在一些实施方案中，与各像素相对应的所述烧伤状态是与烧伤深度相关的状态。在一些实施方案中，与各像素相对应的所述烧伤状态选自一度烧伤状态、浅二度烧伤状态、深二度烧伤状态和三度烧伤状态。
13.在一些实施方案中，所述烧伤状态对应于所述烧伤的至少一部分内的附件结构的坏死。在一些实施方案中，确定与示出所述组织区域的像素的所述子集中的各像素相对应的所述烧伤状态包括识别所述烧伤的所述至少一部分内的坏死附件结构的百分比。在一些实施方案中，未愈合烧伤状态对应于大于50.0％的所述附件结构的坏死。在一些实施方案中，未愈合烧伤状态对应于大于0.0％的所述附件结构的坏死。
14.在一些实施方案中，所述至少一个dl算法包括卷积神经网络。在一些实施方案中，所述卷积神经网络包括segnet。
15.在一些实施方案中，所述至少一个dl算法包括多个dl算法的集合。在一些实施方案中，所述至少一个dl算法包括加权平均集合。在一些实施方案中，所述至少一个dl算法包括tpr集合。
16.在一些实施方案中，所述至少一个dl算法使用伤口数据库来训练。在一些实施方案中，所述伤口数据库包括烧伤数据库。
17.在一些实施方案中，所述至少一个dl算法至少部分地基于多个基准真值掩膜来训练，其中，至少一些所述基准真值掩膜至少部分地基于烧伤组织活检中坏死附件结构的存在来生成。
18.在一些实施方案中，所述一个或多个处理器还被构造为至少部分地基于与示出所述组织区域的像素的所述子集中的各像素相对应的所述烧伤状态来确定与在所述图像生成之后的预定时间间隔内的所述烧伤的愈合相关联的预测评分。在一些实施方案中，所述预测评分对应于在无需手术或皮肤移植的情况下愈合的概率。在一些实施方案中，所述预定时间间隔为21天。
19.在第二方面，一种检测受试者在具有伤口，优选烧伤后的细胞存活率或损伤、胶原变性、附件结构损伤或附件结构坏死和/或血管损伤的方法包括：选择具有伤口、优选烧伤的受试者；使用根据前述方面中任一项所述的多光谱图像系统对伤口，优选烧伤的区域进行成像；使用以伤口、优选烧伤数据库训练的dl算法来评估所述图像数据；显示在所述伤口，优选烧伤的所述成像区域内所述伤口的细胞是否是可存活的或受损的、胶原是否变性、附件结构是否受损或坏死和/或血管是否受损；以及任选地，在无需诸如手术或皮肤移植等的高级护理的情况下，在设定的时间段，优选21-30天内提供所述伤口，优选烧伤愈合的预
测评分。
20.在一些实施方案中，所评估的受损的附件结构包括毛囊、皮脂腺、顶泌腺和/或小汗腺。
21.在一些实施方案中，在皮肤的乳头状区域中评估所述受试者的细胞存活率或损伤、胶原变性、附件结构损伤或附件结构坏死和/或血管损伤。
22.在一些实施方案中，在皮肤的网状真皮中评估所述受试者的细胞存活率或损伤、胶原变性、附件结构损伤或附件结构坏死和/或血管损伤。
23.在一些实施方案中，所述受试者的细胞存活率或损伤、胶原变性、附件结构损伤或附件结构坏死和/或血管损伤的评估比皮肤的网状真皮更深。
24.在一些实施方案中，检测到透明化的胶原或缺乏可检测到的单个胶原纤维。
25.在一些实施方案中，所述细胞损伤是细胞肿胀、细胞质空泡化或核固缩。
26.在一些实施方案中，当所分析的所述附件结构中的50％以上被识别为受损或坏死时，提供未愈合烧伤的预测评分，并且任选地，向所述受试者提供接受诸如皮肤移植或手术等高级护理的指导，或者向所述受试者提供皮肤移植或手术。
27.在一些实施方案中，所述dl算法使用具有动量优化器和交叉熵损失的随机梯度下降来训练。
28.在一些实施方案中，所述dl算法选自segnet、具有滤波器组正则化的segnet、具有辅助损失的segnet、u-net、扩展全连接神经网络(dfcn)、平均集合、tpr集合或加权平均集合。
29.在一些实施方案中，所述dl算法是segnet。
附图说明
30.图1a示出了以不同的主光角入射到滤波器上的光的示例。
31.图1b是示出针对各种主光角由图1a的滤波器提供的示例透射效率的曲线图。
32.图2a示出了多光谱图像数据立方体的示例。
33.图2b示出了某些多光谱成像技术如何生成图2a的数据立方体的示例。
34.图2c示出了可以生成图2a的数据立方体的示例快照成像系统。
35.图3a示出了根据本公开的具有弯曲的多带通滤波器的示例多孔径成像系统的光学设计的示意性截面图。
36.图3b-3d示出了用于图3a的多孔径成像系统的一个光路的光学组件的示例光学设计。
37.图4a-4e示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的实施例。
38.图5示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。
39.图6a-6c示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。
40.图7a-7b示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。
41.图8a-8b示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。
42.图9a-9c示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。
43.图10a-10b示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。
44.图11a-11b示出了可以通过图3a-10b的多光谱多孔径成像系统的滤波器的一组示例波段。
45.图12示出了可以用于图3a-10b的多光谱多孔径成像系统的成像系统的示意性框图。
46.图13是使用图3a-10b的多光谱多孔径成像系统来捕获图像数据的示例过程的流程图。
47.图14示出了用于处理图像数据的工作流程的示意性框图，该图像数据例如是使用图13的过程和/或使用图3a-10b的多光谱多孔径成像系统捕获的图像数据。
48.图15以图表方式示出了用于处理图像数据的视差和视差校正，该图像数据例如是使用图13的过程和/或使用图3a-10b的多光谱多孔径成像系统捕获的图像数据。
49.图16以图表方式示出了用于对多光谱图像数据执行逐像素分类的工作流程，该图像数据例如是使用图13的过程捕获的、根据图14和图15处理的和/或使用图3a-10b的多光谱多孔径成像系统捕获的图像数据。
50.图17示出了包括图3a-10b的多光谱多孔径成像系统的示例分布式计算系统的示意性框图。
51.图18a-18c示出了多光谱、多孔径成像系统的示例手持式实施例。
52.图19a和图19b示出了多光谱、多孔径成像系统的示例手持式实施例。
53.图20a和图20b示出了用于封装在普通相机外壳中的小型usb 3.0的示例多光谱、多孔径成像系统。
54.图21示出了包括用于改进的图像配准的额外发光体的示例多光谱、多孔径成像系统。
55.图22a和图22b示出了用于烧伤病理分析的两个示例决策树。
56.图23示出了用于量化皮肤中附件结构的坏死的两个示例分类问题。
57.图24示出了用于烧伤病理分析的成像和基准真值掩膜的生成。
58.图25示出了在烧伤病理分析中生成deepview设备输出的示例过程。
59.图26示出了来自数个机器学习算法的烧伤组织学样本输出。
60.图27a和图27b示出了使用本文所述的光谱成像系统和方法进行组织学分析的示例准确性指标。
61.图28示出了皮肤的示例解剖结构。
62.图29示出了用于评估热损伤和烧伤严重程度的逻辑流程。
63.图30a-30c示出了基于光谱成像开发和训练用于伤口组织学评估的算法的示例方法。
具体实施方式
64.一般来说，本公开涉及使用多孔径系统的光谱成像，其中弯曲的多带通滤波器定位在各个孔径上。本公开还涉及用于使用从这种成像系统接收的图像信息来实现光谱解混和图像配准以生成光谱数据立方体的技术。所公开的技术解决了光谱成像中通常存在的下述许多挑战，从而产生表示关于从成像对象反射的波段的精确信息的图像数据。在一些实施例中，本文所述的系统和方法在很短的时间内(例如，在6秒或更短的时间内)从广泛的组织区域(例如，5.9
×
7.9英寸)获取图像，并且无需注射造影剂。在一些方面，例如，本文所述的多光谱图像系统被构造为在6秒或更短的时间内从例如5.9
×
7.9英寸的广泛的组织区域获取图像，其中所述多光谱图像系统还被构造为在没有造影剂的情况下提供组织分析信息，如识别多种烧伤状态、伤口状态、愈合潜力、包括成像组织的癌变或非癌变状态的临床特征、伤口深度、清创边缘或是否存在糖尿病、非糖尿病或慢性溃疡等。类似地，在本文所述的一些方法中，多光谱图像系统在6秒或更短的时间内从例如5.9
×
7.9英寸的广泛的组织区域获取图像，并且所述多光谱图像系统在没有造影剂的情况下输出组织分析信息，如识别多种烧伤状态、伤口状态、愈合潜力、包括成像组织的癌变或非癌变状态的临床特征、伤口深度、清创边缘或是否存在糖尿病、非糖尿病或慢性溃疡等。
65.现有解决方案中的一个此类挑战是，捕获的图像可能会受到损害图像数据质量的颜色失真的影响。这对于依赖于使用光学滤波器对某些波长的光的精确检测和分析的应用来说尤其成问题。具体地，由于滤色器的透射率随着入射到滤波器上的光的角度增加而偏移到更短的波长这一事实，因此色差是在光的波长中在图像传感器的整个区域上与位置相关的变化。通常，这种效应在基于干涉的滤波器中观察到，该滤波器是通过将具有不同折射率的薄层沉积到透明基板上来制造的。因此，较长的波长(诸如红光等)由于较大的入射光线角度而可以在图像传感器的边缘处被更多地阻挡，从而导致相同的入射波长的光在图像传感器上被检测为在空间上不均匀的颜色。如果不进行校正，色差会表现为捕获的图像边缘附近的颜色偏移。
66.本公开的技术相对于市场上的其他多光谱成像系统提供了优势，因为它在透镜和/或图像传感器的构成以及它们各自的视场或孔径尺寸上没有限制。应当理解，对目前公开的成像系统的透镜、图像传感器、孔径尺寸或其他组件的改变可能涉及本领域普通技术人员所知的对成像系统的其他调整。本公开的技术还提供了对其他多光谱成像系统的改进，因为执行分辨波长或使系统整体上能够分辨波长的功能的组件(例如，光学滤波器等)可以与将光能转换成数字输出的组件(例如，图像传感器等)分离。这降低了针对不同的多光谱波长重新构造成像系统的成本、复杂性和/或开发时间。本公开的技术可能比其他多光谱成像系统更稳固，因为其可以以更小和更轻的形状因子实现与市场上的其他多光谱成像系统相同的成像特性。本公开的技术相对于其他多光谱成像系统的优势还在于其可以获取快照、视频速率或高速视频速率的多光谱图像。本公开的技术还提供了基于多孔径技术的多光谱成像系统的更稳固的实现方式，因为将数个光谱带复用到各孔径中的能力减少了获取成像数据集中的任何特定数量的光谱带所需的孔径数量，从而通过减少孔径数量和改进光收集来降低成本(例如，更大的孔径可以用于固定大小和尺寸的商用传感器阵列)。最后，本公开的技术可以提供所有这些优势，而无需在分辨率或图像质量方面作出妥协。
67.图1a示出了沿着朝向图像传感器110的光路定位的滤波器108的示例，并且还示出
了以不同的光线角度入射到滤波器108上的光。光线102a、104a、106a被表示为线，其在通过滤波器108之后被透镜112折射到传感器110上，该透镜也可以用任何其他成像光学器件代替，包括但不限于反射镜和/或孔径。在图1a中，假定每条光线的光是例如被滤波器108选择性地过滤的具有在较大波长范围上延伸的光谱组成的宽带。三条光线102a、104a、106a分别以不同的角度到达滤波器108。为了说明的目的，光线102a被示出为基本上正交于滤波器108入射，光线104a具有比光线102a更大的入射角，并且光线106a具有比光线104a更大的入射角。由于如传感器110所看到的滤波器108的透射性质的角度相关性，所得到的过滤光线102b、104b、106b呈现出独特的光谱。这种相关性的影响会导致滤波器108的带通随着入射角的增加而朝向更短的波长偏移。此外，这种相关性可能会导致滤波器108的透射效率降低和滤波器108的带通的光谱形状改变。这些组合效应被称为与角度相关的光谱透射。图1b示出了如在传感器110的位置处由假设的光谱仪所看到的图1a中的各光线的光谱，以说明滤波器108的光谱带通响应于入射角的增大的偏移。曲线102c、104c和106c展示了带通的中心波长的缩短；由此缩短了示例中通过光学系统的光的波长。还显示出，带通的形状和峰值透射率也由于角度入射而改变。对于某些消费应用，可以应用图像处理以消除这种与角度相关的光谱透射的可见影响。然而，这些后处理技术不允许恢复关于哪个波长的光实际上入射到滤波器108上的精确信息。因此，所得到的图像数据可能无法用于某些高精度应用。
68.如结合图2a和图2b所讨论的，某些现有光谱成像系统所面临的另一挑战是捕获完整的光谱图像数据集所需的时间。光谱成像传感器对场景的光谱辐照度i(x，y，λ)进行采样，并由此收集通常被称为数据立方体的三维(3d)数据集。图2a示出了光谱图像数据立方体120的示例。如图所示，数据立方体120表示图像数据的三个维度：对应于图像传感器的二维(2d)表面的两个空间维度(x和y)，以及对应于特定波段的光谱维度(λ)。数据立方体120的维度可以由n
x
nyn
λ
给出，其中n
x
、ny和n
λ
分别是沿(x，y)空间维度和光谱轴λ的样本元素的数量。因为数据立方体比目前可用的2d检测器阵列(例如，图像传感器)具有更高的维度，所以典型的光谱成像系统捕获数据立方体120的时序2d切片或平面(在本文中被称为“扫描”成像系统)或者通过将数据立方体的所有元素分割成多个2d元素来同时测量数据立方体的所有元素，该2d元素可以在处理中重新组合到数据立方体120中(在本文中被称为“快照”成像系统)。
69.图2b示出了某些扫描光谱成像技术如何生成数据立方体120的示例。具体地，图2b示出了可以在单个检测器积分周期期间收集的数据立方体120的部分132、134和136。例如，点扫描光谱仪可以捕获在单个(x，y)空间位置处在所有光谱平面λ上延伸的部分132。点扫描光谱仪可以用于通过在空间维度上执行对应于各(x，y)位置的多个积分来构建数据立方体120。例如，滤光轮成像系统可以捕获在整个空间维度x和y上延伸但仅在单个光谱平面λ上延伸的部分134。诸如滤光轮成像系统等波长扫描成像系统可以用于通过执行对应于光谱平面λ的数量的多个积分来构建数据立方体120。例如，线扫描光谱仪可以捕获在所有光谱维度λ和空间维度(x或y)中的一个的全部上延伸但仅沿另一空间维度(y或x)的单个点延伸的部分136。线扫描光谱仪可以用于通过执行对应于该另一空间维度(y或x)的各位置的多个积分来构建数据立方体120。
70.对于目标物体和成像系统都不动(或在曝光时间内维持相对静止)的应用，这种扫描成像系统提供了产生高分辨率数据立方体120的益处。对于线扫描和波长扫描成像系统，
这可以是由于使用图像传感器的整个区域来捕获各光谱或空间图像的事实。然而，成像系统和/或物体在曝光之间的运动会导致所得到的图像数据中的伪影。例如，数据立方体120中的相同(x，y)位置实际上可以表示在光谱维度λ上的成像对象上的不同的物理位置。这可能会导致下游分析中的错误和/或对执行配准提出额外要求(例如，对齐光谱维度λ，使得特定(x，y)位置对应于物体上的相同的物理位置)。
71.相比之下，快照成像系统140可以在单个积分周期或曝光中捕获整个数据立方体120，从而避免这种运动引起的图像质量问题。图2c示出了可以用于创建快照成像系统的图像传感器142和诸如滤色器阵列(cfa)144等光学滤波器阵列的示例。该示例中的cfa 144是在图像传感器142的表面上的滤色器单元146的重复图案。这种获取光谱信息的方法也可以被称为多光谱滤波器阵列(msfa)或光谱分辨检测器阵列(srda)。在示出的示例中，滤色器单元146包括5
×
5排列的不同的滤色器，这将在所得到的图像数据中生成25个光谱通道。通过这些不同的滤色器，cfa可以将入射光分成滤波器的波段，并将分离的光引导到图像传感器上的专用感光器。这样，对于给定的颜色148，只有1/25
th
的感光器实际上检测到代表该波长的光的信号。因此，尽管使用该快照成像系统140在单次曝光中可以生成25个不同的颜色通道，但各颜色通道表示比传感器142的总输出量更少的测量数据量。在一些实施例中，cfa可以包括滤色器阵列(msfa)、光谱分辨检测器阵列(srda)中的一个或或多个，和/或可以包括常规的拜耳(bayer)滤波器、cmyk滤波器或任何其他基于吸收或基于干涉的滤波器。一种类型的基于干涉的滤波器将是排列成格子状的薄膜滤色器阵列，格子的每个要素对应于一个或多个传感器元件。另一种类型的基于干涉的滤波器是法布里-珀罗(fabry-p
é
rot)滤波器。表现出大约20至50nm量级的典型带通半峰全宽(fwhm)的纳米蚀刻干涉法布里-珀罗滤波器是有益的，因为它们由于在从其中心波长到其阻挡带的过渡中看到的滤波器的通带的缓慢滚降而可以在一些实施例中使用。这些滤波器在这些阻挡带中也表现出低od，能够进一步提高对它们的通带外的光的灵敏度。这些组合效应使这些特定滤波器对光谱区域敏感，该光谱区域会被在诸如蒸发沉积或离子束溅射等涂层沉积过程中由许多薄膜层制成的具有类似的fwhm的高od干涉滤波器的快速滚降阻挡。在具有基于染料的cmyk或rgb(bayer)滤波器构成的实施例中，优选各个滤波器通带的较慢的光谱滚降和较大的fwhm，并且为整个观察光谱中的各个波长提供特有的光谱透射百分比。
72.因此，由快照成像系统产生的数据立方体120将具有对于精确成像应用可能有问题的两个特性中的一个。作为第一选项，由快照成像系统产生的数据立方体120可以具有比检测器阵列的(x，y)尺寸更小的nr和ny尺寸，并由此具有比将通过具有相同的图像传感器的扫描成像系统生成的数据立方体120更低的分辨率。作为第二选项，由快照成像系统产生的数据立方体120可以由于对某些(x，y)位置的内插值而具有与检测器阵列的(x，y)尺寸相同的n
x
和ny尺寸。然而，用于生成这种数据立方体的插值是指数据立方体中的某些值不是入射到传感器上的光的波长的实际测量值，而是基于周围值对实际测量值的估计值。
73.单次曝光多光谱成像的另一现有选项是多光谱分束器。在这种成像系统中，分束立方体将入射光分成分别由独立的图像传感器观察的不同的色带。虽然可以更改分束器设计以调整测量的光谱带，但在不影响系统性能的情况下将入射光分成四个以上的光束是不容易的。因此，四个光谱通道似乎是这种方法的实际限制。一种密切相关的方法是使用薄膜滤波器而不是更庞大的分束立方体/棱镜来分离光，然而由于空间限制和通过连续滤波器
的累积透射损耗，这种方法仍然限于大约六个光谱通道。
74.除了别的以外，前述问题在一些实施例中通过所公开的多孔径光谱成像系统以及相关联的图像数据处理技术来解决，该系统具有弯曲的多带通滤波器，以过滤通过各孔径进入的光。这种特定构成能够实现快速成像速度、高分辨率图像和检测波长的精确保真度的所有设计目标。因此，所公开的光学设计和相关联的图像数据处理技术可以用于便携式光谱成像系统和/或对移动目标进行成像，同时仍产生适于高精度应用(例如，临床组织分析、生物特征识别、瞬态临床事件)的数据立方体。这些更高精度的应用可以包括在转移之前的早期阶段(0至3)中诊断黑色素瘤、对皮肤组织上的烧伤伤口严重程度的分类或对糖尿病足溃疡严重程度的组织诊断。因此，如在一些实施例中所描绘的较小形状因子和快照光谱获取将使本发明能够在具有瞬时事件的临床环境中使用，包括诊断几种不同的视网膜病(例如，非增殖性糖尿病视网膜病变、增殖性糖尿病视网膜病变和年龄相关性黄斑变性)和运动儿科患者的成像。因此，本领域技术人员将理解，如本文所公开的，使用具有平坦或弯曲的多带通滤波器的多孔系统代表相对于现有光谱成像实施的显着技术进步。具体地，多孔系统可以基于所计算出的各孔径之间的视角差异的视差来实现物体曲率、深度、体积和/或面积或与之相关的3d空间图像的收集。然而，这里提出的多孔策略不限于任何特定的滤波器，并且基于干涉或吸收过滤可以包括平面和/或薄的滤波器。如本文所公开的，本发明可以被修改为在使用小的或可接受的入射角范围的合适的透镜或孔径的情况下，在成像系统的图像空间中包括平面滤波器。滤波器也可以被放置在成像透镜的孔径光阑或入射/出射光瞳处，因为光学工程领域的技术人员可能认为这样做是合适的。
75.现在将相对于某些示例和实施例来说明本公开的各个方面，这些示例和实施例旨在说明而不是限制本公开。尽管出于说明的目的，本文描述的示例和实施例将集中在特定的计算和算法上，但是本领域技术人员将理解这些示例仅用于说明，而不旨在进行限制。例如，虽然在多光谱成像的背景下呈现了一些示例，但是所公开的多孔径成像系统和相关联的滤光器可以被构造为在其他实施方式中实现高光谱成像。此外，虽然某些示例被呈现为实现手持和/或移动目标应用的益处，但应当理解，所公开的成像系统设计和相关联的处理技术可以产生适用于固定成像系统和/或用于分析相对静止的目标的高精度数据立方体。
76.电磁范围和图像传感器的概述
77.电磁光谱的某些颜色或部分在本文中被提及，现在将相对于根据iso21348辐照光谱类别定义所定义的波长进行讨论。如下文进一步描述的，在某些成像应用中，特定颜色的波长范围可以组合在一起以通过特定滤波器。
78.从波长为或大约为760nm到波长为或大约为380nm范围的电磁辐射通常被认为是“可见”光谱，即，人眼的颜色感受器可识别的光谱部分。在可见光谱内，红光通常被认为具有700纳米(nm)的波长或大约700纳米(nm)的波长，或在760nm或大约760nm至610nm或大约610nm的范围内。橙光通常被认为具有600nm的波长或大约600nm的波长，或在610nm或大约610nm至大约591nm或591nm的范围内。黄光通常被认为具有580nm的波长或大约580nm的波长，或在591nm或大约591nm至大约570nm或570nm的范围内。绿光通常被认为具有550nm的波长或大约550nm的波长，或在570nm或大约570nm至大约500nm或500nm的范围内。蓝光通常被认为具有475nm的波长或大约475nm的波长，或在500nm或大约500nm至大约450nm或450nm的范围内。紫(紫色)光通常被认为具有400nm的波长或大约400nm的波长，或在450nm或大约
450nm至大约360nm或360nm的范围内。
79.对于可见光谱之外的范围，红外线(ir)是指具有比可见光波长更长的波长的电磁辐射，并且通常是人眼不可见的。ir波长从大约760nm或760nm的可见光谱的标称红色边缘延伸到大约1毫米(mm)或1mm。在该范围内，近红外(nir)是指与红色范围相邻的光谱部分，波长范围从大约760nm或760nm至大约1400nm或1400nm。
80.紫外线(uv)辐射是指具有比可见光的波长更短的波长的一些电磁辐射，并且通常是人眼不可见的。uv波长从大约40nm或40nm的可见光谱的标称紫色边缘延伸到大约400nm。在该范围内，近紫外线(nuv)是指与紫色范围相邻的光谱部分，波长范围从大约400nm或400nm至大约300nm或300nm，中紫外线(muv)波长范围在大约300nm或300nm至大约200nm或200nm之间，并且远紫外线(fuv)波长范围在大约200nm或200nm至大约122nm或122nm之间。
81.根据适用于特定应用的特定波长范围，本文所述的图像传感器可以被构造为检测任何上述范围内的电磁辐射。典型的硅基电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)传感器的光谱灵敏度在可见光谱范围内延伸，并且还相当多地延伸到近红外(ir)光谱，有时甚至延伸到uv光谱。一些实施方式可以可选择地或额外地使用背面照射型或前面照射型ccd或cmos阵列。对于需要高snr和科学级测量的应用，一些实施方式可以可选择地或额外地使用科学互补金属氧化物半导体(scmos)相机或电子倍增ccd相机(emccd)。基于预期的应用，其他实施方式可以可选择地或额外地使用已知在特定颜色范围(例如，短波红外(swir)、中波红外(mwir)或长波红外(lwir))内操作的传感器和相应的光学滤色器阵列。这些可选择地或额外地包括基于包括砷化铟镓(ingaas)或锑化铟(insb)的检测器材料或基于微测热辐射计阵列的相机。
82.在所公开的多光谱成像技术中使用的图像传感器可以与诸如滤色器阵列(cfa)等光学滤波器阵列结合使用。一些cfa可以将可见光范围内的入射光分成红色(r)、绿色(g)和蓝色(b)类别，以将分离的可见光引导至图像传感器上的专用红色、绿色或蓝色光电二极管接收器。cfa的常见示例是拜耳图案，其是用于在光电传感器的矩形格子上排列rgb滤色器的特定图案。拜耳图案是50％的绿色、25％的红色和25％的蓝色，其中重复红色和绿色滤波器的行与重复蓝色和绿色滤波器的行交替。一些cfa(例如，用于rgb-nir传感器)也可以分离出nir光，并将分离的nir光引导到图像传感器上的专用光电二极管接收器。
83.因此，cfa的滤波器组件的波长范围可以确定捕获图像中各图像通道所代表的波长范围。因此，在各种实施例中，图像的红色通道可以对应于滤色器的红色波长区域，并且可以包括一些黄光和橙光，其范围从大约570nm或570nm至大约760nm或760nm。在各种实施例中，图像的绿色通道可以对应于滤色器的绿色波长区域，并且可以包括一些黄光，其范围从大约570nm或570nm至大约480nm或480nm。在各种实施例中，图像的蓝色通道可以对应于滤色器的蓝色波长区域，并且可以包括一些紫光，其范围从大约490nm或490nm至大约400nm或400nm。如本领域普通技术人员将理解的，限定cfa的颜色(例如，红色、绿色和蓝色)的确切开始和结束波长(或电磁光谱的一部分)可以根据cfa实施方式而变化。
84.此外，典型的可见光cfa对可见光谱以外的光是透明的。因此，在许多图像传感器中，ir灵敏度受到传感器表面的薄膜反射ir滤波器的限制，其在通过可见光的同时阻挡红外波长。然而，这可以在一些公开的成像系统中被省略以允许ir光通过。因此，红色、绿色和/或蓝色通道也可以用于收集ir波段。在一些实施方式中，蓝色通道也可以用于收集某些
nuv波段。红色、绿色和蓝色通道在它们在光谱图像堆栈中的各波长处的独特的透射效率方面的不同的光谱响应可以提供使用已知的透射分布进行解混的光谱带的独特的加权响应。例如，这可以包括红色、蓝色和绿色通道在ir和uv波长区域中的已知的透射响应，使其能够用于从这些区域收集波段。
85.如下文进一步详细描述的，额外的滤色器可以沿着朝向图像传感器的光路放置在cfa之前，以便选择性地细化入射到图像传感器上的特定波段。其中一些公开的滤波器可以是二向色性(薄膜)和/或吸收性滤波器的组合，或者是单个二向色性和/或吸收性滤波器。其中一些公开的滤波器可以是带通滤波器，其通过特定范围内的频率(在通带内)并且拒绝(衰减)该范围之外的频率(在阻塞范围内)。其中一些公开的滤色器可以是通过多个不连续的波长范围的多带通滤波器。这些“波段”可以具有比cfa滤波器的较大的颜色范围更小的通带范围、更大的阻挡范围衰减和更陡峭的光谱滚降，这被定义为当滤波器从通带过渡到阻挡范围时光谱响应的陡度。例如，这些公开的滤色器可以覆盖大约20nm或20nm或大约40nm或40nm的通带。这种滤色器的特定构成可以确定入射到传感器上的实际波段，这可以提高所公开的成像技术的精度。根据适用于特定应用的特定波段，本文所述的滤色器可以被构造为选择性地阻挡或通过上述任何范围内的特定电磁辐射波段。
86.如本文所述，“像素”可以用于说明由2d检测器阵列的要素生成的输出。相比之下，作为该阵列中的单个光敏元件的光电二极管充当能够经由光电效应将光子转换为电子的换能器，其然后反过来被转换为用于确定像素值的可用信号。数据立方体的单个元素可以被称为“体素”(例如，体积元素)。“光谱向量”是指说明数据立方体中特定(x，y)位置处的光谱数据的向量(例如，从物体空间中的特定点接收的光的光谱)。数据立方体的单个水平面(例如，表示单个光谱维度的图像)在本文中被称为“图像通道”。本文所述的某些实施例可以捕获光谱视频信息，并且所得到的数据维度可以采用“超立方体”形式n
x
nyn
λnt
，其中n
t
是在视频序列期间捕获的帧数。
87.具有弯曲的多带通滤波器的示例多孔径成像系统的概述
88.图3a示出了根据本公开的具有弯曲的多带通滤波器的示例多孔径成像系统200的示意图。示出的图包括第一图像传感器区域225a(光电二极管pd1-pd3)和第二图像传感器区域225b(光电二极管pd4-pd6)。例如在cmos图像传感器中，光电二极管pd1-pd6可以例如是形成在半导体基板中的光电二极管。通常，各光电二极管pd1-pd6可以是将入射光转换为电流的任何材料、半导体、传感器元件或其他装置的单个单元。应当理解，为了解释其结构和操作，示出了整个系统的一小部分，并且在实施方式中，图像传感器区域可以具有数百或数千个光电二极管(和相应的滤色器)。根据实施方式，图像传感器区域225a和225b可以被实施为单独的传感器，或同一图像传感器的单独区域。尽管图3a示出了两个孔径和相应的光路和传感器区域，但是应当理解，根据实施方式，图3a所示的光学设计原理可以扩展到三个或更多个孔径以及相应的光路和传感器区域。
89.多孔径成像系统200包括提供朝向第一传感器区域225a的第一光路的第一开口210a和提供朝向第二传感器区域225b的第一光路的第二开口210b。这些孔径可以是可调节的以增加或减少落在图像上的光的亮度，或者可以改变特定图像曝光的持续时间并且不会改变落在图像传感器区域上的光的亮度。这些孔径也可以位于光学设计领域的技术人员认为合理的沿该多孔系统的光轴的任何位置。沿着第一光路定位的光学组件的光轴由虚线
230a示出，并且沿着第二光路定位的光学组件的光轴由虚线230b示出，并且应当理解，这些虚线不代表多孔径成像系统200的物理结构。光轴230a、230b分隔距离d，这会导致由第一和第二传感器区域225a、225b捕获的图像之间的视差。视差是指立体像对的左右(或上下)图像中两个对应点之间的距离，使得物体空间中的同一物理点可以出现在各图像的不同位置中。下面更详细地说明补偿和利用该视差的处理技术。
90.各光轴230a、230b通过相应孔径的中心c，并且光学组件也可以沿着这些光轴居中(例如，光学组件的旋转对称点可以沿着光轴定位)。例如，第一弯曲多带通滤波器205a和第一成像透镜215a可以沿着第一光轴230a居中，并且第二弯曲多带通滤波器205b和第二成像透镜215b可以沿着第二光轴230b居中。
91.如本文关于光学元件的定位所使用的，“在
…
上方”和“上方”是指结构(例如，滤色器或透镜)的位置，使得从物体空间进入成像系统200的光传播通过该结构，然后到达(或入射到)另一结构。为了说明，沿着第一光路，弯曲的多带通滤波器205a位于孔径210a上方，孔径210a位于成像透镜215a上方，成像透镜215a位于cfa 220a上方，并且cfa 220a位于第一图像传感器区域225a上方。因此，来自物体空间(例如，正在被成像的物理空间)的光首先通过弯曲的多带通滤波器205a，然后通过孔径210a，然后通过成像透镜215a，然后通过cfa 220a，最后入射到第一图像传感器区域225a。第二光路(例如，弯曲的多带通滤波器205b、孔径210b、成像透镜215b、cfa 220b、第二图像传感器区域225b)遵循类似的布置。在其他实施方式中，孔径210a、210b和/或成像透镜215a、215b可以位于弯曲的多带通滤波器205a、205b上方。此外，其他实施方式可以不使用物理孔径并且可以依赖光学器件的通光孔径来控制被成像到传感器区域225a、225b上的光的亮度。因此，透镜215a、215b可以被放置在孔径210a、210b和弯曲的多带通滤波器205a、205b上方。在该实施方式中，如果光学设计领域的技术人员认为有必要，也可以将孔径210a、210b和透镜215a、215b放置在彼此上方或下方。
92.位于第一传感器区域225a上方的第一cfa 220a和位于第二传感器区域225b上方的第二cfa 220b可以充当波长选择性通过滤波器并将可见光范围内的入射光分成红色、绿色和蓝色范围(如由r、g和b标记所示)。通过仅允许某些选定波长通过第一cfa 220a和第二cfa 220b中的各滤色器来“分离”光。分离的光由图像传感器上的专用红色、绿色或蓝色二极管接收。尽管通常使用红色、蓝色和绿色滤波器，但在其他实施例中，滤色器可以根据捕获的图像数据的颜色通道要求而变化，例如包括紫外、红外或近红外通过滤波器，如rgb-ir cfa。
93.如图所示，cfa的各滤波器位于单个光电二极管pd1-pd6上方。图3a还示出了示例微透镜(由ml表示)，其可以形成在各滤色器上或以其他方式定位在各滤色器上方，以便将入射光聚焦到有源检测器区域上。其他实施方式可以在单个滤波器下方具有多个光电二极管(例如，2、4或更多个相邻的光电二极管的集群)。在所示示例中，光电二极管pd1和光电二极管pd4在红色滤波器下方并由此输出红色通道像素信息；光电二极管pd2和光电二极管pd5在绿色滤波器下方并由此输出绿色通道像素信息；并且光电二极管pd3和光电二极管pd6在蓝色滤波器下方并由此输出蓝色通道像素信息。此外，如下文更详细描述的，由给定的光电二极管输出的特定颜色通道可以进一步限制为基于激活的发光体的较窄波段和/或由多带通滤波器205a、205b通过的特定波段，使得给定的光电二极管可以在不同的曝光下输出不同的图像通道信息。
94.成像透镜215a、215b可以被成形为将物体场景的图像聚焦到传感器区域225a、225b上。各成像透镜215a、215b可以由图像形成所需的尽可能多的光学元件和表面组成，并且不限于如图3a所示的单个凸透镜，从而能够使用可在市场上购买或通过定制设计的各种各样的成像透镜或透镜组件。各元件或透镜组件可以堆叠形成或接合在一起，或者使用具有保持环或条框的光机镜筒串联保持。在一些实施例中，元件或透镜组件可以包括一个或多个接合的透镜组，诸如粘合或以其他方式接合在一起的两个或多个光学组件等。在各种实施例中，本文所述的任何多带通滤波器可以位于多光谱图像系统的透镜组件的前面、多光谱图像系统的单镜片(singlet)的前面、多光谱图像系统的透镜组件的后面、多光谱图像系统的单镜片的的后面、多光谱图像系统的透镜组件内部、多光谱图像系统的接合透镜组内部、直接位于多光谱图像系统的单镜片的表面上或直接位于多光谱图像系统的透镜组件的元件表面上。此外，孔径210a和210b可以被移除，并且透镜215a、215b可以是通常在使用数字单镜头反光(dslr：digital-single-lens-reflex)相机或无反光镜相机的进行的摄影中使用的种类。另外，这些透镜可以是机器视觉中使用的各种透镜，使用c接口(c-mount)或s接口(s-mount)螺纹进行安装。例如基于手动聚焦、基于对比度的自动聚焦或其他合适的自动聚焦技术，可以通过成像透镜215a、215b相对于传感器区域225a、225b的移动或传感器区域225a、225b相对于成像透镜215a、215b的移动来提供聚焦调节。
95.多带通滤波器205a、205b可以分别被构造为选择性地使光的多个窄波段通过，例如在一些实施例中为通过10-50nm的波段(或者在其他实施例中为更宽或更窄的波段)。如图3a所示，多带通滤波器205a、205b都可以使波段λc(“共有波段”)通过。在具有三个或更多个光路的实施方式中，各多带通滤波器可以使该共有波段通过。以这种方式，各传感器区域捕获相同波段(“共有通道”)的图像信息。该共有通道中的该图像信息可以用于配准由各传感器区域捕获的图像集，如下文进一步详细描述的。一些实施方式可以具有一个共有波段和相应的共有通道，或者可以具有多个共有波段和相应的共有通道。
96.除了共有波段λc之外，各多带通滤波器205a、205b可以分别被构造为选择性地使一个或多个独特的波段通过。以这种方式，成像系统200能够将由传感器区域205a、205b共同捕获的不同的光谱通道的数量增加到超过由单个传感器区域可以捕获的数量。这在图3a中由通过独特的波段λ
u1
的多带通滤波器205a和通过独特的波段λ
u2
的多带通滤波器205b示出，其中λ
u1
和λ
u2
表示彼此不同的波段。尽管被描述为使两个波段通过，但所公开的多带通可以分别使两个或更多个波段的集通过。例如，如相对于图11a和图11b所描述的，一些实施方式可以分别使四个波段通过。在各种实施例中，可以使更大数量的波段通过。例如，一些四相机实施方式可以包括被构造为使8个波段通过的多带通滤波器。在一些实施例中，波段的数量可以是例如4、5、6、7、8、9、10、12、15、16个或更多个波段。
97.多带通滤波器205a、205b具有被选择以减少跨相应的传感器区域225a、225b的与角度相关的光谱透射的曲率。结果，当从物体空间接收窄带照明时，跨对该波长敏感的传感器区域225a、225b的区域的各光电二极管(例如，使该波长通过的上层滤色器)应当接收基本上相同波长的光，而不是传感器边缘附近的光电二极管经历上述相对于图1a所述的波长偏移。这可以产生比使用平面滤波器更精确的光谱图像数据。
98.图3b示出了用于图3a的多孔径成像系统的一个光路的光学组件的示例光学设计。具体地，图3b示出了可以用于提供多带通滤波器205a、205b的定制消色差双合透镜240。定
制消色差双合透镜240使光通过外壳250到达图像传感器225。外壳250可以包括上述开口210a、210b和成像透镜215a、215b。
99.消色差双合透镜240被构造成校正由多带通滤波器涂层205a、205b所需的表面的合并引入的光学像差。图示的消色差双合透镜240包括两个单独的透镜，其可以由具有不同的色散量和不同的折射率的玻璃或其他光学材料制成。其他实现方式可以使用三个或更多个透镜。这些消色差双合透镜可以被设计成将多带通滤波器涂层205a、205b并入在弯曲的前表面242上，同时消除引入的光学像差，否则该光学像差会通过弯曲的单镜片光学表面与沉积的滤波器涂层205a、205b的合并而存在，由于弯曲的前表面242和弯曲的后表面244的组合作用，在仍然限制由消色差双合透镜240提供的光学或聚焦能力的同时，仍然将用于聚焦光的主要元件限制在外壳250中容纳的透镜上。因此，消色差双合透镜240可以有助于系统200捕获的图像数据的高精度。这些单个的透镜可以彼此相邻地安装，例如接合或粘合在一起，并且成形为使得其中一个透镜的像差被另一个透镜抵消。消色差双合透镜240的弯曲的前表面242或弯曲的后表面244可以涂覆有多带通滤波器涂层205a、205b。其他双合透镜设计可以以本文所述的系统来实现。
100.可以实施本文所述的光学设计的进一步变化。例如，在一些实施例中，光路可以包括诸如图3a中描绘的正弯月透镜或负弯月透镜种类等的单镜片或其他光学单镜片，以代替图3b中描绘的双合透镜240。图3c示出了其中平面滤波器252被包括在透镜外壳250和传感器225之间的示例实施方式。图3c中的消色差双合透镜240提供了如通过包括具有多带通透射分布的平面滤波器252所引入的光学像差校正，同时对外壳250中包含的透镜所提供的光学功率没有显着贡献。图3d示出了其中多带通涂层借助于涂布到包含在外壳250内部的透镜组件的前表面上的多带通涂层254来实现的实施方式的另一示例。因此，该多带通涂层254可以被涂布到位于外壳250内的任何光学元件的任何曲面上。
101.图4a-4e示出了具有如相对于图3a和图3b所述的光学设计的多光谱、多孔径成像系统300的实施例。具体地，图4a示出了成像系统300的透视图，其中外壳305以半透明的方式示出以显示出内部组件。例如，基于期望量的嵌入式计算资源，外壳305可以相对于所示出的外壳305更大或更小。图4b示出了成像系统300的前视图。图4c示出了沿图4b中所示的线c-c截取的成像系统300的截面侧视图。图4d示出了成像系统300的仰视图，示出了处理板335。图4a-图4d在下面一起进行说明。
102.成像系统300的外壳305可以被封装在另一外壳中。例如，手持式实施方式可以将系统封装在外壳内，该外壳可选地具有一个或多个形状适合于稳定地保持成像系统300的手柄。示例手持式实施方式在图18a-图18c和图19a-图19b中被更详细地描绘。外壳305的上表面包括四个开口320a-320d。不同的多带通滤波器325a-325d位于各开口320a-320d上方，并且由滤波器盖帽330a-330b保持在适当位置。多带通滤波器325a-325d可以是弯曲的，并且分别使如本文所述的共有波段和至少一个独特的波段通过，从而在比由图像传感器的上方滤色器阵列捕获的数量更多的光谱通道上实现高精度的多光谱成像。上述图像传感器、成像透镜和滤色器位于相机外壳345a-345d中。在一些实施例中，例如，如图20a-20b所示，单个相机外壳可以包围上述图像传感器、成像透镜和滤色器。因此，在所描绘的实施方式中，使用了单独的传感器(例如，各相机外壳345a-345d内的一个传感器)，但是应当理解，在其他实施方式中，可以使用跨越通过开口320a-320d露出的所有区域的单个图像传感器。在
该实施例中，相机外壳345a-345d使用支撑件340固定到系统外壳305，并且可以在各种实施方式中使用其他合适的手段固定。
103.外壳305的上表面支撑由光学漫射元件315覆盖的可选照明板310。照明板310在下文相对于图4e进一步详细说明。漫射元件315可以由用于漫射从照明板310发出的光使得物体空间接收基本上在空间上均匀的照明的玻璃、塑料或其他光学材料组成。目标物体的均匀照明在例如成像组织的临床分析等的某些成像应用中可以是有益的，因为其在各波长内在整个物体表面上提供了基本上均匀的照明量。在一些实施例中，本文所公开的成像系统可以利用环境光来代替来自可选照明板的光，或者除了来自可选照明板的光之外，还可以利用环境光。
104.由于照明板310在使用中产生的热量，成像系统300包括散热器350，该散热器包括多个散热片355。散热片355可以延伸到相机外壳345a-345d之间的空间中，并且散热器350的上部可以将热量从照明板310吸收到散热片355。散热器350可以由合适的导热材料制成。散热器350可以进一步帮助从其他组件散发热量，使得成像系统的一些实施方式可以是无风扇的。
105.外壳305中的多个支撑件365固定与相机345a-345d通信的处理板335。处理板335可以控制成像系统300的操作。虽然没有示出，但是成像系统300也可以构造有一个或多个存储器，例如存储通过使用成像系统和/或用于系统控制的计算机可执行指令的模块产生的数据。取决于系统设计目标，处理板335可以以多种方式来构造。例如，处理板可以(例如，通过计算机可执行指令的模块)被构造为控制照明板310的特定led的激活。一些实施方式可以使用高度稳定的同步降压led驱动器，其可以实现对模拟led电流的软件控制以及检测led故障。一些实施方式可以额外向处理板(例如，通过计算机可执行指令的模块)335或向单独的处理板提供图像数据分析功能。尽管未示出，但成像系统300可以包括传感器和处理板335之间的数据互连，使得处理板335可以接收和处理来自传感器的数据，以及照明板310和处理板335之间的数据互连，使得处理板可以驱动照明板310的特定led的激活。
106.图4e示出了可以被包括在成像系统300中的与其他组件隔离开的示例照明板310。照明板310包括从中心区域延伸的四个臂，沿着每个臂成三列放置led。相邻列中的led之间的空间彼此横向偏移，以在相邻led之间形成分隔。每列led包括具有不同颜色led的许多行。四个绿色led 371位于中心区域，在中心区域的各角落中具有一个绿色led。从最内行(例如，最靠近中心)开始，每列包括一行两个深红色led 372(总共八个深红色led)。继续径向向外，每个臂在中心列中具有一行一个琥珀色led 374，在最外列中具有一行两个短蓝色led 376(总共八个短蓝色led)，在中心列中具有另一行一个琥珀色led 374(总共八个琥珀色led)，在最外列具有一行一个非ppg nir led 373和一个红色led 375(每列总共四个)，以及在中心列具有一个ppg nir led 377(总共四个ppg nir led)。“ppg”led是指在用于捕获表示活体组织中的脉动性血流的光电容积脉搏波描记法(ppg：photoplethysmographic)信息的多次连续曝光期间激活的led。应当理解，可以在其他实施例的照明板中使用多种其他颜色和/或其布置。
107.图5示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。与成像系统300的设计类似，成像系统400包括四个光路，这里显示为具有多带通滤波器透镜组425a-425d的开口420a-420d，它们通过保持环430a-430d固定到外壳405。
成像系统400还包括固定到保持环430a-430d之间的外壳405的正面的照明板410以及位于照明板410上方以帮助将在空间上均匀的光发射到目标物体上的漫射器415。
108.系统400的照明板410包括呈十字形的led的四个分支，每个分支包括两列紧密间隔的led。因此，照明板410比上述照明板310更紧凑，并且可以适合于与具有较小的形状因子要求的成像系统一起使用。在该示例构成中，每个分支包括具有一个绿色led和一个蓝色led的最外行，向内移动包括两行黄色led、一行橙色led、具有一个红色led和一个深红色led的一行以及具有一个琥珀色led和一个nir led的一行。因此，在该实施方式中，led被布置成使得发射较长波长的光的led位于照明板410的中心，而发射较短波长的光的led位于照明板410的边缘。
109.图6a-图6c示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统500的另一实施例。具体地，图6a示出了成像系统500的立体图，图6b示出了成像系统500的前视图，并且图6c示出了沿着图6b所示的线c-c截取的成像系统500的截面侧视图。成像系统500包括与以上相对于成像系统300描述的那些组件类似的组件(例如，外壳505、照明板510、漫射板515、经由保持环530a-530d固定在开口上方的多带通滤波器525a-525d)，但是示出了更短的形状因子(例如，在具有更少和/或更小的嵌入式计算组件的实施例中)。系统500还包括用于增加相机对准的刚性和稳健性的直接相机到框架安装件540。
110.图7a-图7b示出了多光谱多孔径成像系统600的另一实施例。图7a-图7b示出了多孔径成像系统600周围的光源610a-610c的另一种可能的布置。如图所示，具有多带通滤波器625a-625d的四个透镜组件可以被布置成矩形或正方形构成以向四个相机630a-630d(包括图像传感器)提供光，该多带通滤波器具有如相对于图3a-3d所描述的光学设计。三个矩形发光元件610a-610c可以被彼此平行地布置在具有多带通滤波器625a-625d的透镜组件的外侧和之间。这些可以是广谱发光面板或发射离散波段光的led布置。
111.图8a-图8b示出了多光谱多孔径成像系统700的另一实施例。图8a-图8b示出了多孔径成像系统700周围的光源710a-710d的另一种可能的布置。如图所示，具有多带通滤波器725a-725d的四个透镜组件可以被布置成矩形或正方形构成以向四个相机730a-730d(包括图像传感器)提供光，该多带通滤波器采用如相对于图3a-3d所述的光学设计。四个相机730a-730d以更靠近的示例构成示出，这可以使透镜之间的视角差异最小化。四个矩形发光元件710a-710d可以位于围绕具有多带通滤波器725a-725d的透镜组件的正方形中。这些可以是广谱发光面板或发射离散波段光的led布置。
112.图9a-图9c示出了多光谱多孔径成像系统800的另一实施例。成像系统800包括与透镜组框架前部830连接的框架805，该透镜组框架前部830包括开口820和用于微视频透镜的支撑结构825，其可以设置有使用如相对于图3a-3d所述的光学设计多带通滤波器。微视频透镜825向安装在透镜组框架后部840上的四个相机845(包括成像透镜和图像传感器区域)提供光。分别设置有其自己的漫射元件815的四个线性布置的led811沿着透镜组框架前部830的四个侧面布置。图9b和图9c示出了以英寸为单位的示例尺寸以显示出多孔径成像系统800的一种可能的尺寸。
113.图10a示出了具有如相对于图3a-3d所述的光学设计的多光谱多孔径成像系统900的另一实施例。成像系统900可以被实现为一组多带通滤波器905，其可附接在移动装置910的多孔相机915上。例如，诸如智能手机等某些移动装置910可以配备有具有通向两个图像
传感器区域的两个开口的立体成像系统。所公开的多孔径光谱成像技术可以通过为这些装置提供一组合适的多带通滤波器905以将多个较窄波段的光传递到传感器区域而在这些装置中实现。可选地，一组多带通滤波器905可以配备有将这些波段的光提供给物体空间的发光体(例如，led阵列和漫射器)。
114.系统900还可以包括使移动装置构造成执行生成多光谱数据立方体的处理以及多光谱数据立方体的处理的移动应用(例如，用于临床组织分类、生物特征识别、材料分析或其他应用)。可选择地，移动应用可以使装置910构造成通过网络将多光谱数据立方体发送到远程处理系统，然后接收并显示分析结果。在图10b中示出这种应用的示例用户界面910。
115.图11a-11b示出了可以通过图3a-10b的多光谱多孔径成像系统的四个滤波器实施方式的滤波器例如到达具有拜耳cfa(或另一rgb或rgb-ir cfa)的图像传感器的波段的示例组。通过多带通滤波器的波段的光谱透射响应在图11a的曲线图1000中由实线表示，并且由表示，其中n表示相机编号，范围从1到4。虚线表示与存在于典型的拜耳cfa中的绿色像素红色像素或蓝色像素的光谱透射的组合的光谱响应。这些透射曲线还包括由于在该示例中使用的传感器导致的量子效率的影响。如图所示，这组四台相机共同捕获了八个独特的通道或波段。各滤波器将两个共有波段(最左边的两个峰)以及两个额外的波段传递给相应的相机。在该实施方式中，第一和第三相机接收第一共享nir波段(最右边的峰)中的光，而第二和第四相机接收第二共享nir波段(右边第二的峰)中的光。每个相机还接收范围从大约550nm或550nm到大约800nm或800nm的一个独特的波段。因此，相机可以使用紧凑的构成来捕获八个独特的光谱通道。图11b中的曲线图1010示出了可以用作图11a中所示的4个相机的照明的如图4e中所述的led板的光谱辐照度。
116.在该实施方式中，已经基于产生适合于临床组织分类的光谱通道选择了八个波段，并且还可以在信噪比(snr)和帧速率方面进行优化，同时限制led的数量(将热量引入到成像系统中)。八个波段包括通过所有四个滤波器的共有蓝光波段(曲线图1000中最左边的峰)，因为组织(例如，包括人体组织在内的动物组织)在蓝色波长下表现出比在绿色或红色波长下更高的对比度。具体地，如曲线图1000所示，人体组织在以420nm左右为中心的波段成像时表现出最高的对比度。因为对应于共有波段的通道用于视差校正，所以这种更高的对比度可以产生更准确的校正。例如，在视差校正中，图像处理器可以采用局部或全局方法来找到一组视差，从而使与局部图像块或图像之间的相似性相对应的品质因数最大化。或者，图像处理器可以采用使与不相似性相对应的品质因数最小化的类似方法。这些品质因数可以基于熵、相关性、绝对差或基于深度学习方法。视差计算的全局方法可以迭代地操作，在品质因数稳定时终止。局部方法可以用于逐点计算视差，使用一个图像中的固定块作为品质因数的输入并使用来自另一个图像的多个不同块，每个块由不同的被测视差值来确定。所有这些方法都可以对所考虑的视差范围施加约束。例如，这些约束可以基于物体深度和距离的知识。约束也可以基于物体中预期的梯度范围来施加。对计算视差的约束也可以通过投影几何来施加，诸如极线约束等。可以在多个分辨率下计算视差，在较低分辨率下计算的视差输出充当初始值或对在分辨率的下一级别下计算的视差的约束。例如，在一次计算中以4个像素的分辨率级别计算的视差可以被用于在下一更高分辨率的视差计算中设定
±
4像素的约束。所有从视差计算的算法都将受益于更高的对比度，特别是如果该对比度源
与所有视点都相关的话。一般而言，可以基于对应于预期为特定应用成像的材料的最高对比度成像来选择共有波段。
117.图像捕获之后，相邻通道之间的分色可能是不完美的，因此该实施方式还具有所有滤波器都通过的额外的共有波段
–
在曲线图1000中描绘为与蓝色波段相邻的绿色波段。这是因为蓝色滤波器像素由于其宽光谱带通而对绿色光谱的区域敏感。这通常表现为相邻rgb像素之间的光谱重叠，也可以表现为故意串扰。这种重叠使彩色相机的光谱灵敏度与人类视网膜的光谱灵敏度类似，使得所得的彩色空间在质量上与人类视觉类似。因此，具有共有绿色通道可以通过分离出由绿光引起的信号部分，从而能够分离出真正对应于接收到的蓝光的蓝色光电二极管产生的信号部分。这可以使用光谱解混算法来实现，该算法以多带通滤波器的透射率(在图例中由t以黑实线示出)、相应的cfa滤波器的透射率(在图例中由q以红色、绿色和蓝色虚线示出)为因子。应当理解，一些实施方式可以使用红光作为共有波段，并且在这种情况下，可能不需要第二共有通道。
118.图12示出了具有高分辨率光谱成像能力的示例紧凑型成像系统1100的高级框图，系统1100具有包括连接到多孔径光谱相机1160和发光体1165的处理器1120的一组组件。工作存储器1105、储存器1110、电子显示器1125和存储器1130也与处理器1120通信。如本文所述，系统1100可以通过使用放置在多孔径光谱相机1160的不同开口上方的不同多带通滤波器来捕获与图像传感器的cfa中存在不同颜色的滤波器相比更多数量的图像通道。
119.系统1100可以是诸如手机、数码相机、平板电脑、个人数字助理等装置。系统1100也可以是使用内部或外部相机捕获图像的更稳定的装置，诸如台式个人计算机、视频会议站等。系统1100也可以是图像捕获装置和接收来自图像捕获装置的图像数据的单独处理装置的组合。系统1100上的用户可以使用多个应用。这些应用可以包括传统的摄影应用、静止图像和视频的捕获、动态色彩校正应用和亮度阴影校正应用等。
120.图像捕获系统1100包括用于捕获图像的多孔径光谱相机1160。例如，多孔径光谱相机1160可以是图3a-10b的任何装置。多孔径光谱相机1160可以连接到处理器1120以将在不同光谱通道中并且从不同传感器区域捕获的图像传送到图像处理器1120。如下文更详细描述的，发光体1165也可以由处理器控制以在某些曝光期间发出某些波长的光。图像处理器1120可以被构造为对接收到的捕获图像执行各种操作，以便输出高质量、视差校正的多光谱数据立方体。
121.处理器1120可以是通用处理单元或专门为成像应用设计的处理器。如图所示，处理器1120连接到存储器1130和工作存储器1105。在示出的实施例中，存储器1130存储捕获控制模块1135、数据立方体生成模块1140、数据立方体分析模块1145和操作系统1150。这些模块包括使处理器构造成执行各种图像处理和装置管理任务的指令。工作存储器1105可以由处理器1120使用以存储包含在存储器1130的模块中的处理器指令的工作集。可选择地，工作存储器1105也可以由处理器1120使用以存储在装置1100的操作期间创建的动态数据。
122.如上所述，处理器1120由存储在存储器1130中的数个模块构成。在一些实施方式中，捕获控制模块1135包括使处理器1120构造成调节多孔径光谱相机1160的焦点位置的指令。捕获控制模块1135还包括使处理器1120构造成利用多孔径光谱相机1160捕获图像的指令，该图像例如是在不同的光谱通道处捕获的多光谱图像以及在相同的光谱通道处捕获的ppg图像(例如，nir渠道)。非接触式ppg成像通常使用近红外(nir)波长作为照明，以利用在
该波长处增加的光子渗透到组织中。因此，处理器1120连同捕获控制模块1135、多孔径光谱相机1160和工作存储器1105一起表示用于捕获一组光谱图像和/或一系列图像的一种装置。
123.数据立方体生成模块1140包括使处理器1120构造成基于从不同的传感器区域的光电二极管接收的强度信号来生成多光谱数据立方体的指令。例如，数据立方体生成模块1140可以基于对应于通过所有多带通滤波器的共有波段的光谱通道来估计成像对象的相同区域之间的视差，并且可以使用该视差来将所有光谱通道上的所有光谱图像彼此配准(例如，使得物体上的相同点由所有光谱通道上的基本上相同的(x,y)像素位置表示)。配准的图像共同形成多光谱数据立方体，并且视差信息可以用于确定不同成像对象的深度，例如健康组织与伤口部位内最深位置之间的深度差。在一些实施例中，数据立方体生成模块1140还可以执行光谱解混以例如基于将滤波器透射率和传感器量子效率考虑在内的光谱解混算法，识别光电二极管强度信号的哪些部分对应于哪些通过的波段。
124.取决于应用，数据立方体分析模块1145可以实施各种技术来分析由数据立方体生成模块1140生成的多光谱数据立方体。例如，数据立方体分析模块1145的一些实施方式可以将多光谱数据立方体(以及可选的深度信息)提供给经过训练以根据特定状态对各像素进行分类的机器学习模型。在组织成像的情况下，这些状态可以是临床状态，例如烧伤状态(例如，一度烧伤、二度烧伤、三度烧伤或健康组织类别)、伤口状态(例如，止血、炎症、增生、重塑或健康皮肤类别)、愈合潜力(例如，反映组织在有或没有特定治疗的情况下从受伤状态愈合的概率的评分)、灌注状态、癌变状态或其他与伤口相关的组织状态。数据立方体分析模块1145还可以分析多光谱数据立方体以进行生物特征识别和/或材料分析。
125.操作系统模块1150使处理器1120构造成管理系统1100的存储器和处理资源。例如，操作系统模块1150可以包括装置驱动器以管理诸如电子显示器1125、储存器1110、多孔径光谱相机1160或发光体1165等硬件资源。因此，在一些实施例中，包含在上述图像处理模块中的指令可以不直接与这些硬件资源交互，而是通过位于操作系统组件1150中的标准子例程或api交互。然后，操作系统1150内的指令可以直接与这些硬件组件交互。
126.处理器1120还可以被构造为控制显示器1125向用户显示捕获图像和/或分析多光谱数据立方体的结果(例如，分类图像)。显示器1125可以在包括多孔径光谱相机1160的成像装置的外部或者可以是成像装置的一部分。显示器1125还可以被构造为在捕获图像之前为用户提供取景器。显示器1125可以包括lcd或led屏幕，并且可以实现触敏技术。
127.处理器1120可以将数据写入储存器模块1110，该数据例如是表示捕获图像、多光谱数据立方体和数据立方体分析结果的数据。尽管储存器模块1110以图表方式表示为传统的磁盘装置，本领域技术人员将理解储存器模块1110可以被构造为任何存储介质装置。例如，储存器模块1110可以包括诸如软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器等磁盘驱动器或者诸如闪存、ram、rom和/或eeprom等固态存储器。储存器模块1110还可以包括多个存储单元，并且任何一个存储单元可以被构造在图像捕获装置1100内，或者可以在图像捕获系统1100外部。例如，储存器模块1110可以包括包含图像捕获系统1100内存储的系统程序指令的rom存储器。储存器模块1110还可以包括可以从相机中移除的被构造为存储捕获图像的存储卡或高速存储器。
128.尽管图12示出了包括单独的组件以包括处理器、成像传感器和存储器的系统，但
是本领域技术人员将认识到可以以多种方式组合这些单独的组件以实现特定的设计目标。例如，在替代的实施例中，存储器组件可以与处理器组件组合以节省成本并提高性能。
129.此外，尽管图12示出了两个存储器组件，即，包括数个模块的存储器组件1130和包括工作存储器的单独的存储器1105，但是本领域技术人员将认识到利用不同的存储器架构的数个实施例。例如，设计可以利用rom或静态ram存储器来存储实现包含在存储器1130中的模块的处理器指令。可选择地，处理器指令可以在系统启动时从集成到系统1100中或经由外部装置端口连接的磁盘存储器装置读取。然后，处理器指令可以被加载到ram中以促进处理器的执行。例如，工作存储器1105可以是ram存储器，指令在由处理器1120执行之前被加载到工作存储器1105中。
130.示例图像处理技术的概述
131.图13是使用图3a-10b和图12的多光谱多孔径成像系统捕获图像数据的示例过程1200的流程图。图13示出了可以用于生成本文所述的多光谱数据立方体的四个示例曝光，即，可见光曝光1205、额外可见光曝光1210、不可见曝光1215和环境曝光1220。应当理解，这些可以按照任何顺序被捕获，并且一些曝光可以可选地如下所述地从特定的工作流程中移除或添加到其中。此外，参照图11a和图11b的波段来说明过程1200，然而可以使用基于其他波段集生成的图像数据来实现类似的工作流程。此外，在各种实施例中，还可以依据各种已知的平场校正技术来实施平场校正，以改进图像获取和/或视差校正。
132.对于可见光曝光1205，前五个峰(图11a的曲线图1000中的与可见光相对应的左侧五个峰)的led可以通过对照明板的控制信号来开启。光输出波可能需要在特定于特定led的时间(例如10毫秒)稳定。捕获控制模块1135可以在该时间之后开始四个相机的曝光，并且可以继续该曝光持续例如大约30ms的持续时间。此后，捕获控制模块1135可以停止曝光并将数据从传感器区域拉出(例如，通过将原始光电二极管强度信号传输到工作存储器1105和/或数据储存器1110)。该数据可以包括用于本文所述的视差校正的共有光谱通道。
133.为了增加snr，一些实施方式可以使用针对可见光曝光1205说明的相同过程来捕获额外的可见光曝光1210。具有两个相同或几乎相同的曝光可以增加snr以产生对图像数据的更准确的分析。然而，这可以在单个图像的snr可接受的实施方式中被省略。在一些实施方式中，以共通光谱通道的重复曝光也可以实现更准确的视差校正。
134.一些实施方式还可以捕获对应于nir或ir光的不可见光曝光1215。例如，捕获控制模块1135可以激活与图11a中所示的两个nir通道相对应的两个不同的nir led。在特定于特定led的时间，例如10毫秒，光输出波可能需要稳定。例如，捕获控制模块1135可以在该时间之后开始四个相机的曝光，并且继续该曝光持续例如大约30ms的持续时间。此后，捕获控制模块1135可以停止曝光并将数据从传感器区域拉出(例如，通过将原始光电二极管强度信号传输到工作存储器1105和/或数据储存器1110)。在该曝光中，可能没有传递到所有传感器区域的共有波段，因为可以安全地假定物体的形状或定位相对于曝光1205、1210没有变化，因此先前计算的视差值可以用于配准nir通道。
135.在一些实施方式中，可以顺序地捕获多次曝光，以生成表示由于脉动性血流而引起的组织部位的形状变化的ppg数据。在一些实施方式中，可以在不可见光波长处捕获这些ppg曝光。尽管ppg数据与多光谱数据的组合可能会提高某些医学成像分析的准确性，但是ppg数据的捕获也会在图像捕获过程中引入额外的时间。在一些实施方式中，由于手持成像
仪和/或物体的移动，该额外的时间可能引入错误。因此，某些实施方式可以省略ppg数据的捕获。
136.一些实施方式可以额外捕获环境光曝光1220。对于这个曝光，可以关闭所有led以使用环境照明(例如，阳光、来自其他发光体源的光)来捕获图像。捕获控制模块1135可以在该时间之后开始四个相机的曝光，并且可以将曝光持续例如大约30ms的期望持续时间。此后，捕获控制模块1135可以停止曝光并将数据从传感器区域拉出(例如，通过将原始光电二极管强度信号传输到工作存储器1105和/或数据储存器1110)。环境光曝光1220的强度值可以从可见光曝光1205(或通过第二曝光1210针对snr校正的可见光曝光1205)的值中减去，并且也可以从不可见光曝光1215中减去，以便消除来自多光谱数据立方体的环境光的影响。这可以通过隔离生成信号的表示由发光体发射并由物体/组织部位反射的光的部分来提高下游分析的准确率。如果分析准确率仅使用可见光1205、1210和不可见光1215曝光就足够了，则一些实施方式可以省略该步骤。
137.应当理解，上面列出的特定曝光时间是一种实施方式的示例，并且在其他实施方式中，曝光时间可以根据图像传感器、发光体强度和成像对象而变化。
138.图14示出了用于处理图像数据的工作流程1300的示意性框图，例如使用图13的过程1200和/或使用图3a-10b和图12的多光谱多孔径成像系统捕获的图像数据。工作流程1300示出了两个rgb传感器区域1301a、1301b的输出，然而工作流程1300可以扩展到更多数量的传感器区域和与不同cfa颜色通道相对应的传感器区域。
139.来自两个传感器区域1301a、1301b的rgb传感器输出分别存储在2d传感器输出模块1305a、1305b中。两个传感器区域的值都被发送到非线性映射模块1310a、1310b，其可以通过使用共有通道识别捕获图像之间的视差、然后在所有通道上应用该确定的视差以将所有光谱图像彼此配准来执行视差校正。
140.然后，两个非线性映射模块1310a、1310b的输出被提供给可以计算图像数据中的特定感兴趣区域的深度的深度计算模块1335。例如，深度可以表示物体和图像传感器之间的距离。在一些实施方式中，可以计算并比较多个深度值以确定物体相对于除图像传感器以外的某物的深度。例如，可以确定伤口床的最大深度以及伤口床周围的健康组织的深度(最大、最低或平均)。通过从伤口床的深度减去健康组织的深度可以确定伤口的最深深度。这种深度比较可以额外在伤口床的其他点进行(例如，所有或一些预定采样)，以便构建在各个点处的伤口深度的3d图(在图14中示出为z(x,y)，其中z是深度值)。在一些实施例中，更大的视差可以改进深度计算，但是更大的视差也可能会导致用于这种深度计算的更多的计算密集型算法。
141.非线性映射模块1310a、1310b两者的输出也被提供给线性方程模块1320，其可以将感测值视为用于光谱分解的线性方程组。一种实施方式可以使用moore-penrose伪逆方程作为至少传感器量子效率和滤波器透射率值的函数来计算实际光谱值(例如，在每个(x,y)图像点处入射的特定波长的光强度)。这可以用于诸如临床诊断和其他生物学应用等需要高准确度的实施方式。光谱解混的应用还可以提供光子通量和snr的估计。
142.基于视差校正的光谱通道图像和光谱解混，工作流程1300可以生成例如f(x,y,λ)的示出格式的光谱数据立方体1325，其中f表示在特定波长或波段λ处的特定(x,y)图像位置的光强度。
143.图15以图表方式示出了用于处理图像数据的视差和视差校正，该图像数据例如是使用图13的过程和/或使用图3a-10b和图12的多光谱多孔径成像系统捕获的图像数据。第一组图像1410示出了由四个不同的传感器区域捕获的物体上的同一物理位置的图像数据。如图所示，基于图像传感器区域的光电二极管格子的(x,y)坐标系，该物体位置不在原始图像上的同一位置中。第二组图像1420示出了在视差校正之后的同一物体位置，其现在位于配准图像的坐标系中的同一(x，y)位置。应当理解，这种配准可以涉及从不完全彼此重叠的图像边缘区域裁剪某些数据。
144.图16以图表方式示出了用于对多光谱图像数据执行逐像素分类的工作流程1500，该图像数据例如是使用图13的过程捕获的、根据图14和图15处理的和/或使用图3a-10b和图12的多光谱多孔径成像系统捕获的图像数据。
145.在框1510，多光谱多孔径成像系统1513可以捕获表示物体1511上的物理点1512的图像数据。在该示例中，物体1511包括具有伤口的患者的组织。伤口可以包括烧伤、糖尿病性溃疡(例如，糖尿病足溃疡)、非糖尿病性溃疡(例如，压疮或愈合缓慢的伤口)、慢性溃疡、术后切口、截肢部位(截肢手术之前或之后)、癌性病变或受损组织。在包括ppg信息的情况下，所公开的成像系统提供了一种评估涉及组织血流和脉搏率的变化的病理的方法，包括：组织灌注；心血管健康；诸如溃疡等伤口；外周动脉疾病和呼吸系统健康。
146.在框1520，由多光谱多孔径成像系统1513捕获的数据可以被处理成具有多个不同的波长1523的多光谱数据立方体1525，并且可选地，具有在相同波长下对应于不同时间的多个不同图像(ppg数据1522)。例如，图像处理器1120可以通过数据立方体生成模块1140来构造，以根据工作流程1300生成多光谱数据立方体1525。如上所述，一些实施方式还可以将深度值与沿着空间维度的各个点相关联。
147.在框1530，多光谱数据立方体1525可以作为输入数据1525在机器学习模型1532中分析以生成成像组织的分类映射1535。分类映射可以将图像数据中的各像素(其在配准之后表示成像物体1511上的特定点)分配给某个组织分类，或者分配给某个愈合潜力评分。不同的分类和评分可以在输出分类图像中使用视觉上不同的颜色或图案来表示。因此，即使捕获了物体1511的多个图像，输出也可以是物体的覆盖有逐像素分类的视觉表示的单个图像(例如，典型的rgb图像)。
148.在一些实施方式中，机器学习模型1532可以是人工神经网络。人工神经网络是人工的，因为它们是计算实体，受生物神经网络的启发，但被修改用于由计算装置实施。人工神经网络用于对输入和输出之间的复杂关系进行建模或查找数据中的模式，其中输入和输出之间的依赖关系不能容易地确定。神经网络通常包括输入层、一个或多个中间(“隐藏”)层和输出层，每层都包括多个节点。节点的数量可以在层之间变化。当神经网络包括两个或多个隐藏层时，其被认为是“深”的。每层中的节点都连接到后续层中的一些或所有节点，并且这些连接的权重通常在训练过程中例如通过反向传播从数据中学习，其中调整网络参数以在标记的训练数据中产生给定相应输入的预期输出。因此，人工神经网络是被构造为基于训练期间流经网络的信息来改变其结构(例如，连接构成和/或权重)的自适应系统，并且隐藏层的权重可以被认为是数据中有意义的图案的编码。
149.完全连接的神经网络是这样的网络，其中输入层中的每个节点都连接到后续层(第一隐藏层)中的每个节点，第一隐藏层中的每个节点依次连接到后续隐藏层中的每个节
点，以此类推，直到最终隐藏层中的每个节点都连接到输出层中的每个节点。
150.cnn是一种人工神经网络，并且与上述人工神经网络一样，cnn由节点组成并具有可学习的权重。然而，cnn的层可以具有以三个维度排列的节点：宽度、高度和深度，其对应于每个视频帧中的像素值的2
×
2数组(例如，宽度和高度)以及序列中的视频帧的数量(例如，深度)。一层的节点可能仅局部地连接到它之前的宽度和高度层的一个较小区域，称为感受野。隐藏层权重可以采用应用于感受野的卷积滤波器的形式。在一些实施例中，卷积滤波器可以是二维的，并且因此，可以针对输入体积中的每一帧(或图像的卷积变换)或对于帧的指定子集重复使用相同滤波器的卷积。在其他实施例中，卷积滤波器可以是三维的，并且因此延伸通过输入体积的节点的整个深度。cnn的每个卷积层中的节点可以共享权重，以便给定层的卷积滤波器在输入体积的整个宽度和高度(例如，整个帧)上复制，从而减少可训练权重的总数和增加cnn对训练数据之外的数据集的适用性。可以将层的值池化以减少后续层中的计算数量(例如，表示某些像素的值可能会被向前传递，而其他值则被丢弃)，并且沿着cnn池的深度，掩膜可以将任何丢弃的值重新引入以将数据点的数量返回到之前的大小。可以堆叠多个层以形成cnn架构，可选地这些层的一些是完全连接的。
151.在训练期间，人工神经网络可以暴露于其训练数据中的对，并且可以修改其参数以便能够在提供输入时预测该对的输出。例如，训练数据可以包括已经例如由已经指定与某些临床状态相对应的伤口区域的临床医生标记的多光谱数据立方体(输入)和分类映射(预期输出)，和/或当已知实际愈合时，在伤口初始成像后的某个时间以愈合(1)或未愈合(0)标记标记。机器学习模型1532的其他实施方式可以被训练以进行其他类型的预测，例如在指定时间段内伤口愈合到特定百分比面积减少的概率(例如，在30天内至少50％的面积减少)或诸如止血、炎症、增生、重塑或健康皮肤类别等伤口状态。一些实施方式还可以将患者指标并入到输入数据中以进一步提高分类准确度，或者可以基于患者指标来分割训练数据以训练机器学习模型1532的不同实例，以供具有那些相同患者指标的其他患者使用。患者指标可以包括说明患者特征或患者健康状况的文本信息或病史或其方面，例如伤口、病变或溃疡的面积、患者的bmi、患者的糖尿病状况、患者的外周血管疾病或慢性炎症的存在、患者有或曾经有过的其他伤口的数量、患者是否正在服用或最近服用过免疫抑制药物(例如，化疗)或对伤口愈合率有积极或不利影响的其他药物、hba1c、慢性肾功能衰竭iv期、ii型vs.i型糖尿病、慢性贫血、哮喘、药物使用、吸烟状况、糖尿病性神经病变、深静脉血栓、既往心肌梗塞、短暂性脑缺血发作或睡眠呼吸暂停或其任何组合。这些指标可以通过适当的处理，例如通过文本向量化(word-to-vec)嵌入转换为向量表示，具有表示患者是否具有患者指标(例如，是否具有i型糖尿病)的二进制值或表示患者对各患者指标的程度的数值的向量。
152.在框1540，分类映射1535可以被输出给用户。在该示例中，分类映射1535使用第一颜色1541来表示根据第一状态分类的像素，并且使用第二颜色1542来表示根据第二状态分类的像素。分类和所得到的分类映射1535可以例如基于物体识别、背景颜色识别和/或深度值来排除背景像素。如图所示，多光谱多孔径成像系统1513的一些实施方式可以将分类映射1535投射回组织部位。当分类映射包括推荐的切除边缘和/或深度的视觉表示时，这可以是特别有益的。
153.这些方法和系统可以在诸如烧伤切除、截肢水平、病变切除和伤口分类决策等皮
肤伤口管理过程中为临床医生和外科医生提供帮助。本文所述的替代方案可以用于识别和/或分类褥疮、充血、肢体恶化、雷诺现象、硬皮病、慢性伤口、擦伤、撕裂伤、出血、破裂伤、刺伤、穿透伤、皮肤癌，如基底细胞癌、鳞状细胞癌、黑色素瘤、光化性角化病，或任何类型的组织变化的严重程度，其中组织的性质和质量不同于正常状态。本文所述的装置还可以用于监测健康组织、促进和改进伤口治疗程序，例如允许更快更精细的方法来确定清创边缘，并评估从伤口或疾病中恢复的进展，尤其是在已经施加治疗之后。在本文所述的一些替代方案中，提供了具有以下功能的装置，该装置允许识别与受伤组织相邻的健康组织、确定切除边缘和/或深度、监测植入诸如左心室辅助装置等假体之后的恢复过程、评估组织移植或再生细胞植入的生存力或监测特别是在重建手术之后的术后恢复。此外，本文所述的替代方案可以用于评估伤口的变化或伤口之后健康组织的生成，特别是在引入诸如类固醇、肝细胞生长因子、纤维细胞生长因子、抗生素等治疗剂或诸如包含干细胞、内皮细胞和/或内皮前体细胞的分离或集中的细胞群等再生细胞之后。
154.示例分布式计算环境的概述
155.图17示出了包括多光谱多孔径成像系统1605的示例分布式计算系统1600的示意性框图，该系统可以是图3a-10b和图12的多光谱多孔径成像系统中的任何一个。如图所示，数据立方体分析服务器1615可以包括一台或多台计算机，可能以服务器集群中或作为服务器场布置。组成这些计算机的存储器和处理器可以位于一台计算机内，或者分布在多台计算机中(包括彼此远离的计算机)。
156.多光谱多孔径成像系统1605可以包括用于通过网络1610与用户设备1620和数据立方体分析服务器1615通信的网络硬件(例如，无线互联网、卫星、蓝牙或其他收发器)。例如，在一些实施方式中，多光谱多孔径成像系统1605的处理器可以被构造为控制图像捕获，然后将原始数据发送到数据立方体分析服务器1615。多光谱多孔径成像系统1605的处理器的其他实施方式可以被构造为控制图像捕获并执行光谱解混和视差校正以生成多光谱数据立方体，然后将其发送到数据立方体分析服务器1615。一些实施方式可以在多光谱多孔径成像系统1605上本地执行完整的处理和分析，并且可以将多光谱数据立方体和所得到的分析发送到数据立方体分析服务器1615，以用于综合分析和/或用于训练或再训练机器学习模型。这样，数据立方体分析服务器1615可以向多光谱多孔径成像系统1605提供更新的机器学习模型。生成分析多光谱数据立方体的最终结果的处理负荷可以根据多孔径成像系统1605的处理能力以各种方式在多孔径成像系统1605和数据立方体分析服务器1615之间分配。
157.网络1610可以包括任何适当的网络，包括内联网、因特网、蜂窝网络、局域网或任何其他这种网络或其组合。用户设备1620可以包括任何配备网络的计算装置，例如台式计算机、笔记本电脑、智能手机、平板电脑、电子阅读器和游戏机等。例如，由多孔径成像系统1605和数据立方体分析服务器1615确定的结果(例如，分类图像)可以被发送到患者、医生、存储患者电子病历的医院信息系统和/或组织分类场景中的集中健康数据库(例如，疾病控制中心的数据库)所指定的用户设备。
158.示例实施方式结果
159.背景：由烧伤导致的发病率和死亡率是受伤战士及其护理人员的主要问题。战斗伤亡中烧伤的发生率历来为5-20％，其中大约20％的这些伤亡需要在美国陆军外科研究所
(isr：us army institute of surgical research)烧伤中心或同等机构进行复杂的烧伤手术。烧伤手术需要专门培训，并因此由isr工作人员而非美国军事医院工作人员来提供。烧伤专家的数量有限导致为烧伤士兵提供护理的后勤复杂性很高。因此，一种新的客观的烧伤深度的术前和术中检测方法可以使包括非isr人员在内的更广泛的医务人员参与到战斗中烧伤患者的护理中。然后，可以利用该扩大的护理提供者，以在护理烧伤战士的角色中进一步提供更复杂的烧伤护理。
160.为了开始满足这一需求，已经开发了一种基于推车的新型成像装置，该装置使用多光谱成像(msi)和人工智能(ai：artificial intelligence)算法来帮助烧伤愈合潜力的术前确定。该装置在短时间内(例如，在6、5、4、3、2或1秒内)从广泛的组织区域(例如，5.9
×
7.9)获取图像，并且不需要注射造影剂。这项基于平民人口的研究表明，该装置在确定烧伤愈合潜力方面的准确率超过了烧伤专家的临床判断(例如，70-80％)。
161.方法：对各种烧伤严重程度的平民受试者在烧伤后72小时内进行成像，然后在直至烧伤后7天的随后的几个时间点进行成像。使用3周愈合评估或穿孔活检来确定每张图像中的真实烧伤严重程度。在每张图像像素的基础上，分析装置识别和区分一度、二度和三度烧伤中愈合和非愈合烧伤组织的准确率。
162.结果：数据来自共有58次烧伤的38名平民受试者以及393张图像。ai算法在预测未愈合烧伤组织方面达到了87.5％的灵敏度和90.7％的特异性。
163.结论：该装置及其ai算法展示了在确定烧伤愈合潜力方面的准确性超过了烧伤专家临床判断的准确性。未来的工作重点是重新设计该装置的便携性并评估其在术中环境中的使用。便携性的设计变化包括将装置的尺寸缩小为便携式系统、增加视野、将获取时间缩短为单个快照以及使用猪模型来评估装置在术中环境中的使用。这些开发已经在基本成像测试中显示等效性的台式msi子系统中实现。
164.用于图像配准的额外发光体
165.在各种实施例中，一个或多个额外发光体可以与本文所公开的任何实施例协同使用，以便提高图像配准的准确性。图21示出了包括投影仪2105的多孔径光谱成像仪2100的示例实施例。在一些实施例中，投影仪2105或其他合适的发光体可以是例如上面参考图12所述的发光体1165中的一个。在包括诸如用于配准的投影仪2105等额外发光体的实施例中，该方法还可以包括额外曝光。诸如投影仪2105等额外发光体可以将在成像仪2100的所有相机中单独或累积可见的一个光谱带、多个光谱带或宽频带中的一个或多个点、条纹、格子、随机散斑或任何其他合适的空间图案投射到成像仪2100的视野中。例如，投影仪2105可以投射共享或共有通道的光、宽带照明或累积可见照明，其可以用于确认基于上述共有波段方法计算的图像的配准的准确性。如本文所使用的，“累积可见照明”是指使得图案被多光谱成像系统中的每个图像传感器转换而选择的多个波长。例如，累积可见照明可以包括多个波长，使得每个通道转换多个波长中的至少一个，即使多个波长中没有一个对所有通道是共有的。在一些实施例中，由投影仪2105投射的图案的类型可以基于其中图案将被成像的孔径数量来选择。例如，如果图案将仅被一个孔径看到，则该图案可以优选地是相对密集的(例如，可以具有诸如大约1-10个像素、20个像素、少于50个像素、少于100个像素等相对窄的自相关)，而较不密集或较不窄的自相关图案可以在图案将由多个孔径成像的情况下是有用的。在一些实施例中，使用投射的空间图案捕获的额外曝光被包括在视差计算中，
以便与没有使用投射的空间图案捕获的曝光的实施例相比提高配准的准确性。在一些实施例中，额外发光体将在所有相机中单独或累积可见的一个光谱带、多个光谱带或宽带中(如在共享或共有通道中)的条纹或者可以基于条纹相位来改善图像的配准的宽带照明投射到成像仪的视野中。在一些实施例中，额外发光体将在所有相机中单独或累积可见的一个光谱带、多个光谱带或宽带中(如在共享或共有通道中)的点、格子和/或散斑的多个独特的空间排列或者可以用于改善图像配准的宽带照明投射到成像仪的视野中。在一些实施例中，该方法还包括具有单个孔径或多个孔径的额外传感器，其可以检测视野中的一个或多个物体的形状。例如，传感器可以使用lidar、光场或超声技术，以进一步使用上述共有波段方法提高图像配准的准确度。该额外传感器可以是对光场信息敏感的单孔径或多孔径传感器，或者其可以对诸如超声波或脉冲激光等其他信号敏感。
166.用于包括烧伤的伤口组织学评估的光谱成像系统和方法
167.介绍
168.组织或组织学的显微分析在现代医学中很常见，用于识别组织、疾病的存在以及疾病的程度或严重程度。在许多情况下，组织学是组织分析的黄金标准。然而，在常规医疗护理中，组织的组织学分析并非总是一种选择。它耗时、昂贵，需要专门的设备，并且载玻片的解释需要高度专业的病理学家。因此，期望有可以替代该技术的工具。
169.可以用于量化大体组织区域中的细胞特征的其中一种工具是多光谱成像。多光谱成像测量特定波长下的从组织反射的光。光与组织的相互作用主要是吸收和散射，这是由组织及其基础细胞结构的分子组成产生的组织性质。通过对该反射光的分析，可以测量出细胞性质，甚至完全取代对病理学的需要。这与遥感领域相似，在遥感领域中，光谱成像被用于地质调查以确定土壤成分，例如是否存在某些矿物等。
170.我们证明了在烧伤损伤的情境下多光谱成像识别通常通过组织学测量的组织细胞特征的能力。在烧伤护理中，组织病理学被用于确定烧伤的严重程度。通常，这并不适用于日常烧伤护理，因为组织样本的收集覆盖了小面积的烧伤，因此对大面积烧伤的诊断没有帮助。虽然病理学在确定烧伤的严重程度方面非常重要，但是其在常规护理情境中是没有用的。因此，开发一种可以测量大面积组织的病理特征而无需收集组织样本的设备将是有价值的。
171.通常被描述为光学病理学的光学相干断层扫描(oct：optical coherence tomography)可能会解决这个问题。oct设备可以获取组织表面附近的组织结构的详细解剖图像。oct通过测量入射到组织上的光(通常是红外光)的到达时间来生成图像。结果是描绘组织内的结构的位置的图像。例如，表皮、真皮和诸如汗腺等结构可以被详细识别出来。图像分辨率的范围为1至10μm，且成像深度为1-2mm。然而，在烧伤护理环境中应用该技术时，小视野和解释详细图像的需求可能是一个挑战。
172.多光谱成像(msi)可以在一次图像捕获中评估大面积组织。msi快速连续地捕获来自组织的反射光的多个独立测量，并且不仅灵活诊断烧伤的严重程度，还灵活识别许多其他组织，包括活的伤口床和充血。其他优势包括：大且可缩放的视野、快速的数据收集时间、高度准确的烧伤生理学测定以及对烧伤护理范围内的多种诊断的适应性。
173.烧伤的严重程度有四级：一度、浅二度、深二度和三度。最重要的区别是浅二度和深二度之间的界限，因为这是通过皮肤的再生机制自发愈合的烧伤和无法愈合并需要切除
和移植手术的烧伤之间的区别。
174.对于四种烧伤严重程度中的每种的确切组织学特征，仍存在一些争议。例如，虽然已知皮肤可以通过附件结构中的细胞完全再生，但还不完全理解这些可存活附件结构应该以何种密度存在才能有效地进行再生。如图22a和图22b所示，烧伤外科医生专家小组开发了用于烧伤病理分析的两种决策树。
175.图22a和图22b所示的决策树示出了烧伤严重程度的两种活检引导评估方法。通过对组织切片中存在的附件结构的数量进行计数、分别确定各结构的存活率、然后计算可存活结构与总结构的比率来测量附件结构损伤。在图中，计号(0.0％-50.0％]表示从0.0％至50.0％的范围，不包括0.0％，但包括50.0％。
176.这些决策树的不同之处在于附件结构如何参与确定烧伤深度。在第一棵树，即，树a中，愈合烧伤(即，一度或浅二度)包括高达50.0％的附件结构坏死的活检标本。而在第二棵树，即，树b中，愈合烧伤可以没有坏死的附件结构。因此，在树a中，未愈合烧伤具有50.0％以上的附件结构坏死，并且树b将未愈合烧伤描述为大于0.0％的附件结构坏死的烧伤。
177.以下分析的目的是为了证明msi可以识别出烧伤中附件结构损伤的百分比。例如，烧伤中附件结构损伤的百分比可以使用本公开中所述的任意光谱成像系统和方法的光谱成像来完成。为了完成这一点，我们将这些决策树简化为二元决策，即，愈合烧伤与未愈合烧伤。然后，我们使用图22a和图22b中的两种决策树的标准来训练算法，以确定附件结构坏死的百分比。该分析如图23所示。
178.如图23所示，在这项工作中开发了两种分类技术，以证明多光谱图像中包含的数据可以被用于量化通常通过组织学获得的信息中的皮肤中附件结构的坏死。在分类问题a中，msi数据将被用于识别50.0％以上的附件结构坏死。在第二分类问题b中，msi数据将被用于确定是否有任何(》0.0％)附件结构坏死。
179.虽然确定正确的决策树对烧伤群体是至关重要的，但我们的工作目的是为了证明msi成像可以有效辨别出附件结构坏死。
180.材料和方法
181.成像装置：多光谱成像仪是一种多孔径快照多光谱成像仪。如下表1所示，该系统由下面四个彩色相机组成，该彩色相机分别位于方形安装架的各顶点处，其中x形广谱led照明面板安装在相机之间。在表1中提供了ss成像仪的特定波长滤波器和分辨率参数。
182.ss成像仪的校准包括95％反射率标准的增益和电流设定。在校准期间，由于其多孔径设计，需要对通过各孔径出现的对应点进行匹配的过程，以获得图像校正的参数。每月执行一次校准。
[0183][0184]
表1.快照多光谱成像仪的规格
[0185]
研究设计：经内部检查委员会(internal review board)批准后，在入选前获得所有受试者的知情同意。18岁以上有火焰伤、烫伤或接触烧伤的成年受试者是候选对象。受试者必须在最初烧伤后72小时内入选。如果候选对象存在以下情况，则被排除在研究之外：候选对象的烧伤被隔离到除手臂、腿部或躯干以外的区域；候选对象有吸入性损伤；或者候选对象的烧伤大于总的身体表面积(tbsa：total body surface area)的30％。
[0186]
成像过程：在入选时，一名受试者身上多达三处烧伤部位被识别用于成像。这些部位被称为“研究烧伤”。在成像期间，各研究烧伤在受伤后的前10天连续成像六次。在常规换药期间对各研究烧伤进行连续成像，直到患者出院或研究烧伤经手术切除。在各成像期间，从各研究烧伤获得两个msi图像。
[0187]
活检收集和评估：活检仅取自在正在进行的手术中切除的研究烧伤区域。活检用直径4.0mm的真皮穿孔进行。为了引导活检的放置，给医生们提供了一个聚碳酸酯薄板，该薄板上预先切割有以5.0cm间隔均匀隔开的孔阵列。
[0188]
活检立即被保存在福尔马林中，并送往皮肤病理学专业中心进行处理。各活检都被固定在石蜡中、切片、安装在载玻片上以及用苏木精和伊红(eosin)染色。评估由三位互不知情的病理学家进行，并根据多数票决进行汇编。
[0189]
使用图22a和图22b所示的两种方法评估了活检的烧伤严重程度。
[0190]
在方法a中，3
°
烧伤的活检被鉴定为不可存活的乳头状和网状真皮。深2
°
烧伤的活检的特征为不可存活的乳头状真皮、不可存活的网状真皮的上皮结构以及网状真皮附件结构的存活率低于50％。浅2
°
烧伤有两种特征：1)可存活的乳头状真皮；或2)不可存活的乳头状真皮但可存活的上皮结构，以及网状真皮附件结构的存活率大于50％。包含1
°
烧伤的活检被鉴定为表皮完整的烧伤。
[0191]
在方法b中，3
°
烧伤的活检被鉴定为不可存活的乳头状和网状真皮或者其大于或
characteristic)曲线并选择roc曲线上的特异性刚好高于0.90的点来选择阈值τ。这确保了我们以0.90的最小特异性获得了可能的最高灵敏度。
[0202][0203]
图像处理(ip：image processing)算法架构：本工作中使用了以下dl算法：
[0204]
segnet：segnet是一种用于语义分割的编码器-解码器全卷积神经网络架构。新颖之处在于，其解码器对其较低分辨率输入特征图进行向上采样，并使用在相应编码器的最大池化步骤中计算的池化索引来执行非线性向上采样。
[0205]
具有滤波器组正则化的segnet：该算法在架构上与先前的segnet算法相同。不同之处在于，第一层中的卷积核使用结构化的预计算的滤波器组来约束(正则化)。该方法可以影响深度卷积神经网络内核，以学习更典型的空间结构和特征。一个益处是在训练过程期间防止过度拟合。
[0206]
具有辅助损失的segnet：在该方法中，segnet架构中包括考虑基于图像的类别信息的辅助损失，使得网络可以具有用于最终预测的基于像素和基于图像的特征。
[0207]
三维segnet：此版本的segnet在架构上与基础segnet相似。然而，卷积核是三维的，而不是所有其他cnn架构中使用的标准二维核。3d内核具有3
×3×
n形状，其中n是特征图(feature map)中的通道数。例如，在第一层中，对于用作cnn输入的8通道msi图像，内核是3
×3×
8。
[0208]
segnet(多类别)：在该方法中，该cnn与基线segnet架构相同，只是输出层使用具有软最大函数(soft-max function)的交叉熵损失。这允许架构将各像素分配给3个以上类别中的一个。在该架构中，我们训练算法以学习由真相组绘制的包括1
°
、浅2
°
、深2
°
、3
°
烧伤以及正常皮肤和背景的详细掩膜图像。然后，通过简单地将所有预测的深2
°
和3
°
烧伤像素映射到未愈合烧伤，将这些多类输出转换为未愈合和非未愈合烧伤的二进制输出。
[0209]
segnet向上采样困难观察：在该最终版本的segnet中，我们使用了基线segnet架构，但在训练期间，更经常使用已知困难的图像。训练中较高比例的困难图像会影响算法从中学习更多，从而提高这些困难图像的性能。
[0210]
u-net：u-net是编码器-解码器dl语义分割方法，其很少处理训练图像。u-net算法使用跳跃连接思想来保持高分辨率特征并进行更好的定位。
[0211]
扩展全连接神经网络(dfcn：dilated fully connected neural network)：dfnc是基于扩展卷积的语义分割用深度全卷积网络。在该方案中，扩展卷积允许各卷积核的感受野(receptive field)增加，同时不降低输入分辨率。该网络可以产生像素级标记，而没有典型的编码器-解码器“沙漏”结构。
[0212]
平均集合(averaging ensemble)：在该平均集合中，各像素的最终预测概率是由八个先前的dl算法预测的对应像素的平均概率。
[0213]
加权平均集合：该集合是修改版本的平均集合，其中各dl模型的预测概率乘以权重，然后测量其平均值以表示最终预测概率。权重是dl模型的归一化灵敏度。
[0214]
算法评分：图像像素被认为是算法评估的主要分析单位。由于研究的样本量有限，算法测试结果是使用遗漏交叉验证(loocv：leave-one-out cross-validation)来估计的。对于cv的各折叠，在受试者的水平上定义了遗漏集，以防止算法暴露于来自受试者的数据，
并在遗漏集中烧毁。
[0215]
将遗漏图像上由算法分类的所有像素与基准真值掩膜进行比较，该掩膜指示图像中未愈合烧伤(如果存在)的真实位置。真阳性(tp)被定义为算法的输出图像中被分类为未愈合烧伤的像素，这些像素在由专家小组生成的基准真相中也被标记为未愈合烧伤。以相同的方式，我们将算法输出中的其他像素定义为假阳性(fp)、真阴性(tn)和假阴性(fn)像素。针对每个遗漏集图像总结这些结果，并使用五个指标对算法进行评分，如下表2所示。将该算法与通过将所有像素分类为阴性(或非未愈合烧伤)而获得的基线分数进行比较。
[0216][0217]
表2.用于评估分割算法性能的准确性指标
[0218]
结果
–
分类问题a
[0219]
以下部分表示由图22a的决策树a中所示的病理特征标记的图像数据获得的结果。
[0220]
临床研究数据：使用由图22a的决策树a中所示的病理特征说明的方法标记的数据包括三十八(38)名受试者和总共58处研究烧伤。
[0221]
[0222][0223]
表3.poc研究图像中各图像的烧伤深度汇总
[0224]
在58处烧伤伤口中，28处包含至少一些基于最终基准真相的未愈合烧伤区域。如上表3所示，这些未愈合烧伤区域占所有研究烧伤图像像素总数的20.2％。
[0225]
受试者的最大子群是非西班牙裔白人男性。烧伤位置大致均匀分布在手臂、躯干(腹部和胸部)和腿部。此外，与烫伤或接触烧伤(分别为5.3％和13.2％)相对，许多(81.6％)入选的烧伤是由火焰导致的。
[0226]
所有受试者的平均年龄为47.4岁(标准偏差17.2)。根据研究的排除标准，要求受试者具有低于30％的tbsa，报告的平均值为14.0％(标准偏差7.1％)。
[0227]
根据基准真相评估，如上表3所示，数据集中表示有每个烧伤深度。研究中最主要的烧伤是浅2
°
(23处烧伤)，其次是1
°
(16处烧伤)、深2
°
(12处烧伤)和3
°
(7处烧伤)。收集1
°
烧伤像素是具有挑战性的，因为1
°
烧伤很少出现在烧伤中心，并且它们的护理不一定包括许多随访和数据采集机会。
[0228]
分类器比较：我们比较了两种分类器：个体深度学习(dl：individual deep learning)算法(扩展fcn、segnet和unet)和dl算法的集合(投票集合(voting ensemble)以及加权集合(weighted ensemble))。准确性指标(表2)是使用交叉验证获得的，并且被列于下表4中。
[0229]
[0230][0231]
表4.按架构划分的算法性能指标
[0232]
所有算法准确性指标应当与基线进行比较，该基线是通过将所有像素分类为阴性(或无未愈合烧伤)来确定的。在基线中，表示背景、可存活的皮肤和愈合烧伤(即，1
°
和浅2
°
)的所有像素将被正确分类，并且表示未愈合烧伤(深2
°
和3
°
)的所有像素将是不正确的。根据当前数据，基线准确性指标为auc 0.5、准确度79.8％、tpr 0％和tnr 100％。
[0233]
深度学习算法表示相对基线有显著改进。然而，性能最好的一组算法是集合模型。tpr集合的auc为0.955，准确率为90.0％(95％置信区间[ci]：89.0至91.0％)；而最佳深度学习算法segnet的auc为0.929，并且准确率为88.5％(95％ ci：87.3％至89.7％)。tpr方面的增益尤其明显，与segnet为79.6％相比，集合为87.5％。
[0234]
扩展全卷积网络、segnet和unet架构的tpr集合模型均使用msi数据进行训练，性能优于所有其他算法，auc为0.955、准确率为90.0％(95％ ci：89.0至91.0％)。所有其他加权集合算法具有相似的性能，并且所有其他集合算法的性能都优于单个的深度学习组件(特别是在tpr方面，表明集合算法能够正确识别未愈合烧伤组织的能力)。
[0235]
以算法组(深度学习算法和集合模型)作为两级因素来进行单因素方差分析(one-way anova)，并且通过烧伤阻断反应。如下表5所示，anova包括三个深度学习算法(扩展fcn、segnet和unet)和五个集合模型(投票集合；通过准确度、auc、tnr和tpr加权的集合)。
[0236]
anova自由度平方和均方f统计量p值阻断(烧伤)5730.420.53489.92《2e-16算法10.170.17228.982.85e-08残差308518.310.006
ꢀꢀ
[0237]
表5.算法准确度结果的anova
[0238]
[0239]
表6.算法组准确率的成对比较的tukey诚实显著差异(tukey’s honest significant difference)测试
[0240]
从表5可知，至少一个烧伤的准确率与其他烧伤明显不同(p值《2e-16)，并且至少一个算法组的平均准确度与其他烧伤显著不同(p值＝2.85e-08)。
[0241]
根据tukey诚实显著差异测试(表6)，p值表明，集合模型的平均准确度显著高于深度学习算法。平均地，它们比深度学习分类器的准确度高1.53％。
[0242]
图26显示了单个算法和最终集合(resulting ensemble)的视觉示例。表明了集合预测的高tpr和tnr，指示未愈合烧伤的高亮几乎覆盖了表示真正的未愈合像素的所有白色区域以及表示所有其他类别的仅非常小的灰色区域。集合中的各算法做出不同类型的预测和误差，并将它们组合在集合中产生了准确的预测并避免了单个算法固有的误差。
[0243]
图26显示了不同的机器学习算法的样本输出。(左)算法预测覆盖在单个深度学习算法的基准真值掩膜上。灰色区域根据基准真相表示背景区域、可存活的皮肤和愈合烧伤。白色区域根据基准真相表示未愈合烧伤区域。蓝色区域表示由算法预测的未愈合烧伤的区域。(右上)poc研究烧伤的彩色图像(受试者006，56岁女性)。(右下)tpr集合输出。
[0244]
烧伤严重程度内的准确度：tpr集合算法显示auc等于0.955。接收器操作特性(roc：receiver operating characteristic)曲线如下表7所示。
[0245][0246]
表7.按组织类型划分的准确度
[0247]
表7中列出了烧伤等级(1
°
、浅2
°
、深2
°
和3
°
烧伤)的准确度。tpr集合的总体准确度(90％)与单个组织类型的准确度之间的关系是各类型的准确度的加权平均值，其中加权是属于该类型的像素的比例。注意，该加权平均值包括本研究中限定的所有组织类别，诸如：背景；可存活的皮肤；以及所有烧伤严重程度等。
[0248]
结果-分类问题b
[0249]
以下部分表示了由图22b的决策树b中所示的病理特征标记的图像数据获得的结果。
[0250]
临床研究数据：总共25名受试者(20名男性和5名女性)入选，平均年龄为45.72岁(
±
17.77sd)。烧伤的平均总的身体表面积为14.24(
±
12.22sd)。种族为11名黑人和14名白人，其中一名受试者为西班牙裔。使用费式量表(fitzpatrick scale)自我报告肤色，这是黑色素含量增加的六类指标。fitzpatrick评分指示：12名受试者被识别为ii类；4名受试者为iii类和iv类；九名受试者为v类和vi类；以及0名受试者被识别为i类。2名受试者报告了ii型糖尿病，并且14名目前是吸烟者。
[0251]
在这些25名受试者中，使用dv-fw和dv-ss设备对56处研究烧伤进行成像。四十八(48)处烧伤来自火焰，其余的烧伤均匀地分为接触烧伤和烫伤。被选择用于成像的大多数研究烧伤发生在身体的前表面(73％)。二十二(22)处烧伤被成像在腿部和大腿上，18处在手臂和前臂上，并且16处在躯干上。
[0252]
这些56处研究烧伤中，44处经过了手术切除。这44处烧伤的后续方案是在紧接在
切除之前的or中从切除区域中获得一系列穿孔活检。这是针对所有44处烧伤进行的。其余12处研究烧伤区域采用保守的伤口护理进行治疗，并且其后续是21天的愈合评估。
[0253]
分类器比较：我们比较了两种类型的分类器：个体深度学习(dl)算法(扩展fcn、segnet、具有辅助损失的segnet、具有滤波器组正则化的segnet和unet)和dl算法的集合(投票集合和加权集合)。如上表2所示，准确性指标是使用交叉验证来获得的，并在下表8中列出了该示例。图27a和图27b进一步说明了这些准确性指标。
[0254]
图27a是为了解决分类问题b而生成的算法的准确性指标的条形图。图27b是为了解决分类问题b而生成的算法的auc的条形图。
[0255][0256][0257]
表8.为了解决分类问题b而生成的算法的准确性指标
[0258]
使用光谱成像的示例烧伤深度分析
[0259]
介绍
[0260]
烧伤护理是高度专业化的医学领域，其受到不同严重程度的伤口和患有同样不同
的混杂疾病或影响愈合的损伤的患者的挑战。即使是烧伤专家，他们的烧伤深度评估(bda：burn depth assessment)也只有77％的准确度，几乎四分之一的患者需要接受不必要的手术，或者相反地，遭受治疗延迟。为了帮助临床医生进行bda，正在使用经组织学标准校准的机器学习算法研究新技术。不幸的是，组织学评估在烧伤护理中很少进行，并且可能与视觉评估不一致。我们的目标是检查和评估最大的烧伤伤口活检库，并提交烧伤活检算法(bba：burn biopsy algorithm)，用于作为工作过程的根据组织学分析对bda进行分类。
[0261]
方法
[0262]
该研究是一项irb批准的前瞻性多中心设计，其中每个患者有多处伤口。由烧伤专家评估的烧伤伤口不可能愈合且需要切除和自体移植的患者以每25cm2进行4mm活检来入选。在紧接在切除之前获得烧伤活检，并由委员会认证的皮肤病理学家进行苏木精和伊红染色后进行组织学评估，是否存在上皮、乳头状真皮和附件坏死。bba被用于将组织学检查结果分为1度(
°
)、浅2
°
、深2
°
或3
°
烧伤。这些分类与三位专业烧伤外科医生对烧伤的视觉评估进行比较。该算法是由以下内容组成的决策树：3
°
烧伤的活检被鉴定为不可存活的乳头状和网状真皮，或大于或等于50.0％的其附件结构坏死。深2
°
烧伤的活检的特征为不可存活的乳头状真皮、不可存活的网状真皮的上皮结构以及大于0.0％且小于50％的观察到的网状真皮的附件结构坏死。浅2
°
烧伤有两种特征：1)可存活的乳头状真皮；或2)不可存活的乳头状真皮但可存活的上皮结构以及0.0％的观察到的网状真皮的附件结构坏死。包含1
°
烧伤的活检被鉴定为上皮完整的活检。
[0263]
结果
[0264]
在提交时，65名患者以117处伤口和487处活检入选。烧伤活检算法被用于将100％的烧伤区域分为四个不同的类别。在入选时和术中切除之前获得静态照片。前两个可能会愈合且不需要切除，并被标记为1
°
或浅2
°
。最后两个被评估为不可能在21天内愈合，并被标记为深2
°
或3
°
烧伤。
[0265]
结论
[0266]
我们的研究表明，具有客观组织学标准的bba可以被用于对bda进行分类。关于再生能力的临床兴趣仍然是这项研究的固有的一部分，希望作为正在进行的研究的一部分通过额外数据分析来回答。这项研究用作现代烧伤专家对烧伤活检的最大分析，也作为限定bda的组织学参数的第一个。
[0267]
包括烧伤的伤口组织学评估的示例算法训练
[0268]
介绍
[0269]
烧伤伤口的临床评估：烧伤伤口的临床评估是评估烧伤伤口深度的最广泛、最便宜的方法。该方法依赖于对伤口外部特征的主观评估，诸如伤口外观、毛细血管再充盈和烧伤伤口对触摸的敏感性[1-4]等。这些烧伤伤口特性可以被容易地观察到，因此可以立即、容易地且以最小的成本进行烧伤伤口的临床评估。不幸的是，即使由经验丰富的烧伤外科医生来进行，用于评估烧伤深度的临床特征也被显示出仅在大约70％的病例中是准确的。
[0270]
烧伤深度的组织学评估：烧伤组织的穿孔活检以及随后的组织学分析通常被认为是烧伤深度评估的
‘
黄金标准’，用作其他诊断模式比较的基础。烧伤深度是按照观察到健康组织和坏死组织之间边界的解剖深度来描述的。苏木精和伊红(h&e)染色后，由委员会认证的病理学家对组织薄片(石蜡包埋的)进行评估。使用这种简单的技术，病理学家可以确
定细胞存活率的变化、胶原变性和附件结构损伤的评估以及由烧伤引起的血管通畅的评估。
[0271]
伤口的深度表明愈合机制：完成上皮再形成所需的时间取决于许多因素，包括伤口的具体情况(例如，位置、深度、大小、感染的存在)和患者的年龄。
[0272]
皮肤伤口的深度可以是变化的，因此可能影响一个或多个皮肤层。为了说明损伤的性质，伤口通常被分为部分厚度或全厚度伤口。部分厚度伤口累及表皮，并且可能累及真皮的一部分。这些伤口可以进一步被分为“浅层”和“深层”的部分厚度伤口，这取决于受影响的真皮数量。通常，诸如毛囊、皮脂腺、顶泌腺和/或小汗腺等上皮衍生的附件结构在部分厚度伤口中保持部分完整。无论是浅层还是深层，部分厚度伤口主要通过上皮再形成来愈合。表皮层的修复是通过从伤口周边和表皮的附件结构(例如，毛囊、汗腺和皮脂腺)表皮细胞再生来实现的。因此，存在可存活的附件结构对于确保在21天内修复伤口是至关重要的。相比之下，全厚度伤口会破坏整个真皮，甚至更多。它们不能单独通过上皮再形成来愈合，而是需要在上皮覆盖之前形成所谓的肉芽组织来填充伤口的空隙。
[0273]
图28示出了包括乳头状真皮、网状真皮、上皮结构和附件结构的皮肤解剖结构。示例附件结构包括立毛肌、皮脂腺、汗腺、皮肤感觉感受器和毛囊。示例上皮结构包括动脉、静脉和毛细血管。
[0274]
真皮本身被分为两个区域，最上面的是乳头状真皮。它主要由结缔组织组成，并且仅用于加强表皮和真皮之间的连接。当热损伤仅延伸到皮肤的乳头状区域时，受伤的皮肤可以再生，因此烧伤被认为是浅层的。
[0275]
该区域的正下方是网状真皮。它包含结缔组织以及上皮和诸如毛囊、皮脂腺和汗腺、皮肤感觉感受器和血管等附件结构。当该区域发生热损伤时，识别这些结构的存活率是至关重要的，因为可存活的附件结构可确保在21天内修复伤口。因此，具有可存活的附件结构的受损网状真皮被认为是浅二度烧伤。比网状真皮更深的损伤表明全厚度三度烧伤。
[0276]
h&e染色：使用h&e染色可以容易地确定网状和/或乳头状真皮的损伤。真皮损伤可以通过透明化胶原(品红色变色)和缺乏可检测的单个胶原纤维来识别。在高功率显微镜下，病理学家可以容易地分辨出正常和受损的胶原蛋白。由于滤泡上皮细胞表现出与细胞损伤一致的特征(例如，细胞肿胀、细胞质空泡化、核固缩等)，因此可以容易地检测到附件结构损伤。
[0277]
组织病理学方法
[0278]
样本处理：采集活检(直径4-6mm)的烧伤部位在穿孔活检前后用即按即拍数码相机来拍摄，以便清晰地标记烧伤伤口中的活检位置。根据poc临床方案，样本立即被标记并保存在福尔马林中，然后送往德克萨斯州达拉斯的cockerell皮肤病理学实验室。
[0279]
病理学阅读：在cockerell皮肤病理学实验室，三名委员会认证的病理学家对样本进行处理和检查，他们对受试者和烧伤信息一无所知。每个病理学家都基于烧伤的具体病理特征独立地识别样本中的损伤深度。在独立分析之后，病理学家将他们的结果组合为每个样本的病理结果的单一结论。他们的结果被记录在病理学报告中。
[0280]
烧伤深度的组织学评估要求病理学家检查热损伤的皮肤样本的特定结构。图29示出了用于说明这些结构及其在确定烧伤严重程度中的重要性的逻辑流程。简单地说，对乳头状真皮层的损伤进行了检查，并且如果没有发现损伤，则烧伤被认为是浅二度的。如果乳
头状真皮层受损，病理学家会更深入地观察网状真皮。如果没有发现网状真皮的损伤，则烧伤仍然可以被认为是浅二发现的。如果网状真皮发生完全的全厚度损伤，则烧伤是三度的。然而，如果网状真皮存在部分损伤，则病理学家需要检查网状真皮内的单个上皮和附件结构。如果位于整个真皮一半的上皮或附件结构显示坏死，则烧伤被认为是深二度的。如果这些结构没有坏死，则烧伤仍是浅二度。
[0281]
图30a-图30c示出了基于光谱成像开发用于伤口组织学评估的算法的示例方法。在步骤3010，在切除之前，医师确定成像仪视野内的活检位置。可以识别研究烧伤部位内将要切除的每个区域。
[0282]
在步骤3020，可以设计和提供活检引导工具。在图30a-图30c的示例中，活检引导工具可以是具有间隔开的孔的可序列化的、薄的、柔性的塑料引导工具，以确保所选择的活检位置发生在彼此相距5.0cm的范围内。
[0283]
在步骤3030，使用引导工具和手术笔标记活检位置。
[0284]
在步骤3040，在标记的活检位置处收集活检(例如，4.0mm穿孔活检)。例如，所收集的活检可以被储存在福尔马林等中。
[0285]
在步骤3050，可以独立地检查各收集的活检。例如，活检可以由对受试者和烧伤信息一无所知的两个或三个或更多的病理学家进行检查。活检可以被h&e染色，并使用上述一套标准化标准进行评估。
[0286]
在步骤3060，可以将活检位置覆盖在使用光谱成像设备生成的活检部位的图像上。
[0287]
在步骤3070，专家真相小组可以检查病理学家检查的独立结果，并确定各活检的病理学结果。
[0288]
在步骤3080，例如，可以对应于诸如烧伤深度状态或如未愈合或非未愈合等愈合状态等标准来确定一个或多个基准真值掩膜。步骤3080示出了两个这样的示例基准真值掩膜。中心的图像是指示左侧所示烧伤的原始彩色图像区域的烧伤深度状态的详细的基准真值掩膜。右侧的图像是指示左侧所示烧伤的原始彩色图像区域的愈合状态的二进制基准真值掩膜。
[0289]
在步骤3090，基于所开发的基准真值掩膜来训练和测试一种或多种机器学习算法。
[0290]
术语
[0291]
本文所述的所有方法和任务都可以由计算机系统执行并且完全自动化。在某些情况下，计算机系统可以包括多个不同的计算机或计算装置(例如，物理服务器、工作站、存储阵列、云计算资源等)，它们通过网络进行通信和互连操作以执行所述的功能。每个这样的计算装置通常包括执行存储在存储器或其他非暂时性计算机可读存储介质或装置(例如，固态存储装置、磁盘驱动器等)中的程序指令或模块的处理器(或多个处理器)。本文所公开的各种功能可以体现在这样的程序指令中，或者可以在计算机系统的专用电路(例如，asic或fpga)中实现。在计算机系统包括多个计算装置的情况下，这些装置可以但不必位于同一位置。所公开的方法和任务的结果可以通过将诸如固态存储器芯片或磁盘等物理存储装置转换成不同的状态来持久地存储。在一些实施例中，计算机系统可以是基于云的计算系统，其处理资源由多个不同的商业实体或其他用户共享。
[0292]
所公开的过程可以在由用户或系统管理员发起时按需响应于事件而开始，例如按照预定或动态确定的时间表，或者响应于一些其他事件而开始。当启动该过程时，存储在一个或多个非暂时性计算机可读介质(例如，硬盘驱动器、闪存、可移动介质等)上的一组可执行程序指令可以被加载到服务器或其他计算装置的存储器(例如，ram)中。然后，可执行指令可以由计算装置的基于硬件的计算机处理器执行。在一些实施例中，可以在多个计算装置和/或多个处理器上串行或并行地实现该过程或其部分。
[0293]
根据实施例，本文所述的任何过程或算法的某些动作、事件或功能可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有所述的操作或事件对于算法的实践都是必需的)。此外，在某些实施例中，操作或事件可以例如通过多线程处理、中断处理或多个处理器或处理器内核或在其他并行架构上同时执行，而不是顺序执行。
[0294]
结合本文公开的实施例描述的各种说明性逻辑块、模块、例程和算法步骤可以被实现为电子硬件(例如，asic或fpga装置)、在计算机硬件上运行的计算机软件或两者的组合。此外，结合本文公开的实施例描述的各种说明性逻辑块和模块可以由诸如处理器装置、数字信号处理器(“dsp”)、专用集成电路(“asic”)、现场可编程门阵列(“fpga”)或其他可编程逻辑装置、分立门或晶体管逻辑、分立硬件部件或被设计为执行本文所述的功能的其任何组合等机器来实现或执行。处理器装置可以是微处理器，但在替代方案中，处理器装置可以是控制器、微控制器或状态机、它们的组合等。处理器装置可以包括被构造成处理计算机可执行指令的电路。在另一实施例中，处理器装置包括执行逻辑运算而不处理计算机可执行指令的fpga或其他可编程装置。处理器装置也可以被实现为计算装置的组合，例如，dsp和微处理器的组合、多个微处理器、与dsp内核结合的一个或多个微处理器或任何其他这样的配置。尽管本文主要针对数字技术进行了说明，但是处理器装置也可以主要包括模拟部件。例如，本文所述的一些或所有渲染技术可以在模拟电路或混合的模拟和数字电路中实现。计算环境可以包括任何类型的计算机系统，包括但不限于基于微处理器、大型机、数字信号处理器、便携式计算装置、装置控制器或设备内部的计算引擎的计算机系统，仅举几例。
[0295]
结合本文所公开的实施例描述的方法、过程、例程或算法的要素可以直接体现在硬件中、由处理器装置执行的软件模块中或两者的组合中。软件模块可以驻留在ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或任何其他形式的非暂时性计算机可读存储介质中。示例存储介质可以连接到处理器装置，使得处理器装置可以从该存储介质读取信息并且将信息写入该存储介质。在替代方案中，存储介质可以与处理器装置集成在一起。处理器装置和存储介质可以驻留在asic中。asic可以驻留在用户终端中。或者，处理器装置和存储介质可以作为分立部件驻留在用户终端中。
[0296]
除非另有具体说明或在所使用的上下文中以其他方式理解，否则本文使用的条件语言，例如“可以”、“能够”、“可能”、“可能会”、“例如”等，通常旨在传达某些实施例包括而其他实施例不包括某些特征、要素或步骤。因此，这种有条件的语言通常不旨在暗示特征、要素或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或没有其他输入或提示的情况下确定是否这些特征、要素或步骤在任何特定实施方案中被包括或将被执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包含在内地使用，并且不排除其他要素、特征、动作、操作等。此外，术语“或”以其包
含在内地(而非排他性地)使用，例如，当用于连接要素列表时，术语“或”表示列表中的一个、一些或全部要素。
[0297]
除非另有具体说明或在所使用的上下文中以其他方式理解为存在项目、术语等，否则诸如短语“x、y或z中的至少一个”等析取式语言可以是x、y或z，或者其任何组合(例如，x、y或z)。因此，这样的析取式语言通常不旨在也不应暗示某些实施例要求分别存在x中的至少一个、y中的至少一个和z中的至少一个。
[0298]
尽管上面的详细说明已经示出、说明并指出了应用于各种实施例的新颖特征，但可以理解的是，在不脱离本公开的范围的情况下，可以对所示出的装置或算法的形式和细节进行各种省略、替换和改变。可以认识到，本文所述的某些实施例可以以不提供本文阐述的所有特征和益处的形式实施，因为一些特征可以与其他特征分开使用或实践。落入权利要求的等同含义和范围内的所有改变都应包含在其范围内。