该技术已申请专利。仅供学习研究，如用于商业用途，请联系技术所有人。
用于规划和执行活检程序的系统及相关方法
1.相关申请的交叉引用
2.本技术要求美国临时申请号63/064,111的权益，该申请于2020年8月11日提交，并且其全部内容通过引用并入本文。
技术领域
3.本公开涉及用于规划和执行活检程序的系统、方法和计算机程序产品。


背景技术：

4.微创医疗技术旨在减少在医疗程序期间受损的组织量，从而减少患者康复时间、不适感和有害副作用。这样的微创技术可以通过患者解剖体中的自然孔口或通过一个或多个手术切口执行。通过这些自然孔口或切口，操作者可以插入微创医疗工具，以到达目标组织位置。微创医疗工具包括诸如治疗器械、诊断器械、活检器械和手术器械等器械。医疗工具可以插入解剖通道并导航朝向患者解剖体内的感兴趣区域。可以使用解剖通道的图像辅助导航。需要改进的系统和方法来精确地执行医疗工具和解剖通道的图像之间的配准。


技术实现要素：

5.本文公开了用于规划医疗程序的装置、系统、方法和计算机程序产品，所述医疗程序包括选择待活检的淋巴结和/或淋巴结站组以及确定用于活检所选淋巴结和/或淋巴结站组的序列。在一些实施方式中，用于规划医疗程序的系统包括处理器和可操作地耦接到所述处理器的存储器。所述存储器可以存储指令，所述指令当由所述处理器执行时，使所述系统执行包括接收患者的解剖区域的图像数据的操作。所述解剖区域可以包括多个淋巴结和目标病变。这些操作还可以包括通过将所述图像数据分段来生成所述解剖区域的三维模型。所述三维模型可以包括对应于所述多个淋巴结和所述目标病变的多个分段部件。所述操作还可以包括：至少部分地基于所述三维模型中的所述目标病变的位置来选择在所述医疗程序期间待被活检的淋巴结的子集；以及确定在所述医疗程序期间用于将活检装置导航到所述淋巴结的子集的位置的序列。
6.在这些和其他的实施方式中，非暂时性计算机可读介质可以在其上存储指令，所述指令当由计算系统的一个或多个处理器执行时，使所述计算系统执行包括接收患者的解剖区域的图像数据的操作，所述解剖区域具有多个淋巴结和目标病变。所述操作还可以包括通过将所述图像数据分段来生成所述解剖区域的三维模型，所述三维模型具有对应于所述多个淋巴结和所述目标病变的多个分段部件。所述操作还可以包括：至少部分地基于所述三维模型中的所述目标病变的位置来选择在所述医疗程序期间待被活检的淋巴结的子集；以及确定在所述医疗程序期间用于将活检装置导航到所述淋巴结的子集的位置的序列。
7.在这些和又其他的实施方式中，一种方法可以包括：接收患者的解剖区域的图像数据，所述解剖区域具有多个淋巴结和目标病变；通过将所述图像数据分段来生成所述解
剖区域的三维模型，所述三维模型具有对应于所述多个淋巴结和所述目标病变的多个分段部件；至少部分地基于所述三维模型中的所述目标病变的位置来选择在所述医疗程序期间待被活检的淋巴结的子集；以及确定在所述医疗程序期间用于将活检装置导航到所述淋巴结的子集的位置的序列。
附图说明
8.参考以下附图，可以更好地理解本公开的许多方面。附图中的部件不一定按比例绘制。取而代之，重点在于清楚地说明本公开的原理。附图不应被视为将本公开限制于所描绘的具体实施方式，而是仅用于解释和理解。
9.图1a-图1c图示了患者胸廓区域的淋巴结站组。
10.图2是图示根据本技术各种实施方式的用于规划活检程序的方法的流程图。
11.图3是患者胸廓区域的计算机断层摄影图像。
12.图4是图示根据本技术各种实施方式的用于执行活检程序的方法的流程图。
13.图5是根据本技术各种实施方式配置的机器人或远程操作医疗系统的示意性表示。
14.图6是根据本技术各种实施方式配置的操纵器组件、医疗器械系统和成像系统的示意性表示。
15.图7是根据本技术各种实施方式的在患者解剖区域内延伸的图6医疗器械系统的一部分的示意性表示。
16.图8图示了形成点云的多个坐标点，所述点云表示根据本技术各种实施方式配置的图7医疗器械系统的所述一部分的形状。
17.图9图示了根据本技术各种实施方式的、从在图8解剖区域内延伸的图7医疗器械系统的所述一部分的观看点的真实患者解剖体的真实导航图像。
18.图10图示了根据本技术各种实施方式的当图7医疗器械系统的所述一部分在图8解剖区域内延伸时所述解剖区域的一部分的术中图像。
19.图11是根据本技术各种实施方式的显示复合虚拟导航图像的显示系统的显示的示意性表示，其中图6和图7的医疗器械系统被配准到图7解剖区域的解剖模型、虚拟患者解剖体的虚拟导航图像以及所述解剖区域内真实患者解剖体的真实导航图像。
具体实施方式
20.本公开涉及用于在患者的解剖区域内规划和/或执行活检程序的装置、系统、方法和计算机程序产品。在一些实施方式中，例如，对癌症患者执行活检程序以确定癌症的解剖范围(“癌症分期”)。癌症分期过程可以包括确定患者体内有多少癌症、癌症位于何处和/或癌症是否已经从其原始部位扩散(例如，扩散到淋巴引流系统、脉管系统、其他器官系统等)。例如，在肺癌(例如，非小细胞肺癌)的背景下，分期过程可以包括对肺的气道附近的多个淋巴结和/或淋巴结站组(即，临床上定义的淋巴结分组)进行活检。准确的分期对评估患者预后和选择合适的疗程很重要。例如，在某些情况下，可能建议对早期肺癌进行手术，但对晚期肺癌可能禁用手术。然而，执行活检程序的操作者可能不清楚临床上推荐的分期指南(例如，哪些淋巴结和/或淋巴结站组应当进行活检)、可能不清楚如何将该指南应用于特
定患者的病理学和/或可能不清楚如何在遵守该指南的同时有效地执行活检程序。
21.因此，本技术可以通过下列来帮助操作者规划和/或执行活检程序：(i)识别哪些淋巴结和/或淋巴结站组(统称为“淋巴结部位”)应当被活检，以及(ii)确定用于对所选淋巴结部位进行活检的序列。在一些实施方式中，例如，(例如，从术前图像数据)生成患者解剖区域的三维(3d)模型并将其分段成表示诸如气道、肺、淋巴结、血管和/或目标病变等解剖结构的部件。所分段的模型可用于选择待活检的淋巴结部位(例如，基于目标病变的位置、淋巴结部位的位置、淋巴引流路径、临床分期指南等)。该模型还可用于确定以有效方式对所选淋巴结部位进行活检的序列，同时将交叉污染的风险降至最低。在活检程序中，可显示所选的淋巴结部位和活检序列，以向操作者提供视觉指导并促进在患者解剖体内导航。本技术预期会增大操作者对临床分期指南的依从性，以及提高分期过程的效率和准确性，这可能有助于改善患者结局。
22.a.用于规划和执行活检程序的技术的实施方式
23.本技术总体上涉及规划和/或执行医疗程序，诸如用于诊断患者的疾病或状况的活检程序。在一些实施方式中，例如，本文所述的系统被配置为规划用于对肺癌(例如，非小细胞肺癌)进行分期的活检程序。肺癌分期可定义如下：
24.·
0期：癌症尚未从其原始部位扩散(“原位病”)。
25.·
i期：仅位于一个肺、尚未扩散至任何淋巴结且未转移的小的原发性肿瘤。
26.·
ii期：尚未扩散至任何淋巴结的较大的原发肿瘤或肺中的已扩散至附近淋巴结的较小的肿瘤。
27.·
iii期：癌症见于肺及胸中部淋巴结(“局部晚期疾病”)。iii期有两种亚型：iiia(癌症仅扩散至癌症起始的胸部同一侧的淋巴结)和iiib(癌症已扩散至胸部相反侧和/或锁骨上方的淋巴结)。
28.·
iv期：癌症已扩散至双肺、肺周围区域的液体或身体的其他部分，如肝或其他器官(“晚期疾病”)。
29.如上讨论的，准确的肺癌分期对于评估患者预后和/或确定适当的治疗选项可能是很重要的。例如，对于0期或i期癌症患者，可能建议手术；对于ii期癌症患者，可能建议先治疗(例如，化疗、放疗、放化疗、免疫疗法)，然后手术；而对于iii期或iv期癌症的患者，可能建议不进行手术的治疗(例如，化疗、放疗、放化疗、免疫疗法)。
30.在一些实施方式中，肺癌分期涉及从患者胸廓区域内的一个或多个淋巴结部位获得组织样本。如上所述，癌细胞在某些淋巴结部位(例如，胸中部的淋巴结站组、与原始癌部位相反的胸部一侧的淋巴结站组等)的存在可能与癌症的更晚期相关。因此，可以通过从胸廓区域中的不同淋巴结站组系统地采样淋巴结来评估癌症的范围和严重程度。
31.图1a-图1c图示了患者的胸廓区域100的淋巴结站组。从图1a-图1c和下面的表1中可以看出，胸廓区域100的淋巴结可以被分组为14个不同的淋巴结站组(1r-14站组)。这些淋巴结站组可被分组为7个解剖区(102-114，由图1a-图1c中的虚线指示)。
32.表1：胸廓淋巴结站组
[0033][0034][0035]
如下文更详细描述的，本文描述的系统可被配置为选择图1a-图1c和表1所示的一
个或多个淋巴结部位以在医疗程序期间进行活检，供肺癌分期用。
[0036]
图2是图示根据本技术各种实施方式的用于规划活检程序的方法200的流程图。方法200被图示为一组步骤或过程210-240。方法200的步骤的全部或子集可以由计算系统或装置实现，诸如被配置为执行医疗程序的术前规划的工作站。替代地或组合地，方法200的步骤的全部或子集可以由医疗器械系统或装置的控制系统实现，包括机器人或远程操作系统的各种部件或装置，如下文更详细描述的。用于实现方法200的计算系统可以包括可操作地耦接到存储指令的存储器的一个或多个处理器，所述指令在被执行时，使计算系统根据步骤210-240执行操作。
[0037]
方法200始于在步骤210处接收患者的解剖区域的图像数据。图像数据可以包括例如计算机断层扫描(ct)数据、磁共振成像(mri)数据、荧光检查数据、热成像数据、超声数据、光学相干断层扫描(oct)数据、热图像数据、阻抗数据、激光图像数据、纳米管x射线图像数据和/或表示待执行活检程序的解剖区域的其他合适的数据。图像数据可以对应于二维(2d)、3d或四维(例如，基于时间或基于速度的信息)图像。在一些实施方式中，例如，图像数据包括来自多个视角的2d图像，这些2d图像可以被组合成伪3d图像。图像数据可以是在对患者执行活检程序之前获得的术前图像数据。
[0038]
在步骤220处，通过将图像数据分段来生成解剖区域的3d模型。该模型可以表示待在其中执行活检程序的解剖区域(例如，患者的肺的气道)，并且可以表示该区域内通道和其他结构(例如，淋巴结、目标病变、血管等)的位置、形状和连接性。在一些实施方式中，该模型包括对应于解剖区域内的解剖结构或特征的多个分段部件。可以包括在该模型中的解剖结构或特征的示例包括下列中的一个或多个：气道(例如，气管、主隆突、左主支气管、右主支气管和/或亚段支气管)、淋巴结(例如，关于图1a-1c和表1描述的任何淋巴结部位)、血管(例如，主动脉、上腔静脉、肺动脉干)、肺和/或目标病变(例如，已知或疑似癌性的肿瘤或其他组织部位)。
[0039]
可以通过将图像数据中表示或以其他方式对应于解剖结构或特征的图形元素分段来生成3d模型。在分段过程中，从图像数据生成的像素或体素可以被划分成分段或元素和/或被标记以指示它们共享某些特征或计算属性如颜色、密度、强度和材质。然后，将与患者的解剖结构特征相关联的分段或元素转换成在模型或图像参考系中生成的分段解剖模型。为了表示该模型，分段过程可以勾画各组表示解剖结构的体素，然后应用诸如行进立方函数等函数，以生成包围体素的3d表面。可以通过生成网格、容积或体素图来制作模型。附加地或替代地，该模型可以包括中心线模型，其包括延伸通过建模通道中心的一组互连的线段或点。在该模型包括包含一组互连线段的中心线模型的情况下，这些线段可以被转换成云或一组点。通过转换线段，可以手动或自动选择与互连线段对应的所需数量的点。美国专利申请公开号2020/0030044(2018年4月18日提交)(公开了用于规划程序的图形用户界面)；和美国专利号10,373,719(2015年9月3日提交)(公开了用于手术前建模的系统和方法)中进一步详细描述了用于由图像数据分段解剖结构的各种系统和方法；这两项专利通过引用以其全部内容并入本文。
[0040]
在一些实施方式中，步骤220包括分段图像数据中的多个淋巴结。淋巴结的分段可以包括，例如，分析图像数据以识别对应于淋巴结而不是诸如气道、血管等其他解剖结构的图形元素。在一些实施方式中，基于诸如形状(例如，椭圆形或圆形，而非管状)、大小(例如，
直径约1cm)和/或位置(例如，在气道附近和/或在对应于淋巴结站组的解剖区内)等特征来识别淋巴结。一旦被识别，淋巴结就可以如上讨论的那样被分段成单独的模型部件。任选地，步骤220还可以包括将每个分段的淋巴结分配给淋巴结站组(例如，基于淋巴结相对于其他解剖结构的位置)。
[0041]
淋巴结分段程序可以以各种方式执行，诸如自动地(例如，不需要任何操作者输入来识别淋巴结)、半自动地(例如，利用一定的操作者输入)或由操作者手动地。例如，可以使用机器学习算法来执行自动淋巴结分段，诸如深度学习算法(例如，卷积神经网络或其他类型的神经网络)——其已经被训练为从患者解剖体的ct扫描或其他图像数据识别和分段单独的淋巴结。机器学习算法的训练可以例如经由使用其中已经识别出淋巴结的大的图像数据集的监督学习技术来执行。一旦经过训练，机器学习算法就可以自动识别图像数据中可能对应于淋巴结的图形元素，并且可以将那些图形元素分段以创建单独的模型部件，如上讨论的。任选地，还可以训练机器学习算法以自动识别和分段其他解剖结构(例如，气道、病变、血管等)。
[0042]
半自动淋巴结分段过程可涉及自动执行的一些步骤和基于来自操作者的输入执行的一些步骤。例如，操作者可以选择图像数据中包括淋巴结和/或对应于淋巴结站组的一个或多个位置，并且计算系统可以分析所选位置以识别和分段那些位置处的淋巴结。在一些实施方式中，操作者提供指示所选位置的输入(例如，经由合适的图形用户界面)，诸如通过点击或以其他方式标记对应于淋巴结的点、在淋巴结的边缘或表面周围绘制边界、选择包括淋巴结和/或淋巴结站组的图像数据的区域或任何其他合适的过程。然后，系统可以使用来自操作者的输入作为起点，自动检测图像数据中的一个或多个淋巴结。例如，系统可以使用边缘检测算法、机器学习算法等，以搜索由操作者指示的图像位置中可能对应于淋巴结的对象。结果可显示给操作者，以供批准、拒绝、修改或其他反馈用。替代地或组合地，系统可以自动提供对潜在淋巴结的初始选择，而操作者可以接受、拒绝或修改该选择。任选地，如果单独的淋巴结的识别具有挑战性(例如，由于图像数据中信噪比低)，则系统和/或操作者可以取而代之识别和分段图像数据中对应于淋巴结站组(例如，上文关于图1a-图1c描述的淋巴结站组和/或解剖区)的位置，而不是识别和分段单独的淋巴结。
[0043]
例如，图3是患者胸廓区域的ct图像300。图像300包括表示各种诸如下列的解剖结构的图形元素：气道(例如，左主支气管302、右主支气管304)、左肺306、右肺308、血管(例如，升主动脉310、降主动脉312、上腔静脉314、肺动脉干316)以及多个淋巴结(例如，血管前淋巴结318(3a站组)、主动脉下淋巴结320(5站组)、隆突下淋巴结322(7站组)和肺门淋巴结324(10站组))。上文关于图2的步骤220描述的过程可用于自动地、半自动地或手动地将图像300分段以创建胸廓区域的3d模型。该模型可以包括表示气道(例如，左主支气管302、右主支气管304)和淋巴结318-324的分段模型部件。任选地，该模型还可以包括对应于肺(例如，左肺306、右肺308)、血管(例如，升主动脉310、降主动脉312、上腔静脉314、肺动脉干316)和/或诸如目标病变(未显示)的其他解剖结构的分段模型部件。
[0044]
返回参考图2，在步骤230处，选择一个或多个淋巴结部位。如上讨论的，可以对所选淋巴结部位活检以例如通过评估癌症是否已经从初始部位(例如，目标病变)扩散到淋巴结部位来确定患者的癌症期。例如，如果位置靠近目标病变的淋巴结检测为恶性细胞阴性，则癌症可能是早期癌症。相反，如果位置远离目标的淋巴结检测为恶性细胞阳性，则癌症可
能是晚期癌症。阳性淋巴结部位的数量也可能与癌症的程度相关，例如，如果活检的淋巴结部位中很少或没有检测为阳性，则癌症可能是早期，而如果活检的淋巴结部位中大多数或全部检测为阳性，则癌症可能是晚期。因此，步骤230可涉及选择应当对哪些淋巴结部位进行活检以便准确地对患者的癌症进行分期。步骤230可涉及选择一个或多个单独的淋巴结、一个或多个淋巴结站组或其组合。在一些实施方式中，例如，选择一个或多个淋巴结站组，而不指定该站组内待活检的任何特定的淋巴结。在其他实施方式中，可以在指定或不指定相应的淋巴结站组的情况下选择一个或多个具体的淋巴结。
[0045]
淋巴结部位的选择可基于特定患者的病理学，如患者中目标病变的位置。例如，步骤230可以包括选择位于沿目标病变的淋巴引流路径下游的一个或多个淋巴结部位(例如，信号淋巴结)。患者解剖区域内的引流路径可以基于临床指南或研究、患者的特定解剖体与生理学和/或任何其他合适的考虑因素来确定。例如，在胸廓区域，引流路径可大致从肺周围部分的淋巴结站组行进至肺之间纵隔处的淋巴结站组。引流路径一般不穿过肺叶或到达周围肺的另一侧。因此，如果目标病变位于肺的周围部分(例如，在图1a的13r站组附近)，则步骤230可涉及选择位于目标病变和纵隔之间的一些或所有淋巴结部位(例如，图1a的12r站组、11r站组和10r站组)，以及纵隔淋巴结部位(例如，图1a的4r站组和7站组)。任选地，可以省略位于目标病变上游的淋巴结部位(例如，图1a的14r站组)和/或不沿着自目标病变起的引流路径定位的淋巴结部位(例如，图1a的14l站组、13l站组、12l站组)。本领域技术人员将理解，引流路径可在一定程度上因患者而异，并且可跳过淋巴结站组和/或在淋巴结站组之间经过。因此，步骤230的选择过程可以根据每个患者的特定解剖体和/或其他临床考虑因素来定制。
[0046]
替代地或组合地，可以基于淋巴结部位的位置诸如它们与目标病变的接近度来选择它们。可以定量地(例如，基于所测量的目标病变和淋巴结部位之间的距离)和/或定性地(例如，淋巴结部位是与目标病变在胸部同一侧、在胸部中间，还是在与目标病变在胸部相反侧)评估接近度。在一些实施方式中，步骤230涉及选择与目标病变接近度不同的淋巴结部位。例如，该选择可以包括与目标病变在胸部同一侧的至少一个淋巴结部位(同侧或“n1结”)、胸部中间的至少一个淋巴结部位(“n2结”)以及与目标病变在胸部相反侧的至少一个淋巴结部位(对侧或“n3结”)。例如，如果目标病变靠近13r站组(图1a)，则步骤230可涉及选择同侧淋巴结部位(例如，图1a的12r站组、11r站组、10r站组和4r站组)和/或对侧淋巴结部位(例如，图1a的12l站组、11l站组、10l站组和4l站组)。任选地，步骤230可以包括选择更多的靠近目标病变的淋巴结部位(例如，n1结)和更少的远离目标病变的淋巴结部位(例如，n2结、n3结)。可以排除离目标病变非常远或否则不太可能具有转移的淋巴结部位。
[0047]
在一些实施方式中，基于预测建模来选择淋巴结部位。例如，预测建模可用于基于目标病变的位置预测哪些淋巴结部位可能具有转移，并且可使用统计模型、机器学习模型或任何其他合适的技术来执行。预测模型可以为每个淋巴结部位生成表示癌症已经转移到该特定部位的概率的风险评分。可以选择与较高风险评分关联的淋巴结部位进行活检，但可排除与较低风险评分关联的淋巴结部位。
[0048]
替代地或组合地，可以基于其他参数来选择淋巴结部位，诸如下列的一项或多项：活检装置的可达性(例如，可以排除位于过于狭窄、过于曲折或否则活检装置不可达的气道附近的淋巴结)、淋巴结大小(例如，可以选择直径大于1cm和/或短轴直径大于5mm的淋巴
结)、淋巴结形状(例如，可以选择形状异常的淋巴结)、与脆弱的解剖结构的接近度(例如，可以排除过于靠近主要血管、肺胸膜、大肺泡等的淋巴结部位)、淋巴结部位和其他解剖结构(例如，气道、肺、肺结节)之间的空间关系、患者特异性生理学、临床指南或研究(例如，关于癌症分期程序的)等。
[0049]
可选择任何合适数量和组合的淋巴结部位。在一些实施方式中，步骤230涉及选择至少一个、两个、三个、四个、五个或更多个不同的待活检的淋巴结部位(例如，至少一个、两个、三个、四个、五个或更多个不同的淋巴结站组)。任选地，步骤230可涉及每个站组选择一定数量的待活检的淋巴结(例如，至少一个、两个、三个或更多个淋巴结)。在一些实施方式中，某些淋巴结部位是总要选择的，如纵隔淋巴结(例如，图1a中的淋巴结站组2l、2r、3a、3p、4l、4r、8l、8r、9l、9r中的一些或全部)。
[0050]
淋巴结部位的选择可以自动、半自动或手动执行。例如，系统可以自动分析目标病变、淋巴结和/或其他分段解剖结构在3d模型中的位置，并且应用上述选择参数中的任意项来选择活检用淋巴结的子集。选择参数可以由系统确定(例如，被编码在系统软件中)或者可以由操作者手动设置(例如，操作者可以选择应该应用哪些选择参数)。一旦系统选择了淋巴结部位，就可以将选择输出给操作者以供批准、拒绝或修改用。任选地，操作者可以提供指示应当对哪些淋巴结部位进行活检的用户输入(例如，经由图形用户界面)。例如，操作者可以手动选择某些解剖区或区域，并且系统可以随后识别和选择这些区域内的淋巴结部位。操作者也可以手动选择具体待活检的淋巴结部位。
[0051]
在步骤240处，确定用于对所选淋巴结部位进行活检的序列。该序列可以指示程序期间应对所选淋巴结部位进行活检的顺序。在一些实施方式中，该序列被配置为降低淋巴结部位之间交叉污染的可能性(例如，将恶性细胞转移到非癌性淋巴结)。因此，该序列可以包括在更可能呈阳性的淋巴结部位(例如，更靠近目标病变和/或位于目标病变下游的部位)之前，对较不可能呈恶性肿瘤阳性的淋巴结部位(例如，离目标病变更远和/或位于目标病变上游的部位)进行活检。例如，活检序列可以包括在n2节之前采样n3节，以及在n1节之前采样n2节。作为另一个示例，活检序列可以包括在中心淋巴结部位之前对周围淋巴结部位采样。
[0052]
在一些实施方式中，该序列至少部分地基于用于将活检装置导航到目标病变的轨迹。该轨迹可以是遍历解剖通道到达目标病变的预定路线，并且可以在活检程序的术前规划期间自动、半自动或手动生成。在这样的实施方式中，如果该轨迹在一个或多个所选淋巴结部位附近经过，则可以按照遇到这些部位的顺序(例如，当活检装置朝向目标病变移动时)从这些部位收集活检样本。替代地或组合地，也可以基于下列考虑因素中的任意项来确定序列：减少折返、减少活检装置遍历的总距离、减少活检程序的总时间、避开活检装置不可达或否则难以导航的通道和/或避免使活检装置穿过靠近脆弱的解剖结构(例如，大血管、肺胸膜、大肺泡)的区域。
[0053]
在一些实施方式中，步骤240还包括生成用于在解剖区域内导航活检装置以到达每个所选淋巴结部位的至少一条建议路径。该路径可以被配置为遍历所选淋巴结部位之间的解剖通道使得活检装置仅通过遵循路径就会按正确的序列到达这些部位。任选地，该路径还可以包括用于将活检装置导航到目标病变的路线，如上讨论的。该路径可以通过各种方式生成，诸如自动、半自动或手动生成。例如，操作者可以通过经由合适的图形用户界面
选择模型内的通道(例如，气道)来手动创建该路径的某些或全部。替代地或组合地，该路径的某些或全部可以由系统自动生成。例如，系统可以使用该模型来识别和选择位于所选淋巴结部位附近且活检装置可达的通道(例如，具有足够大的直径)。在一些实施方式中，系统自动生成建议路径，并且操作者可以批准该路径或者手动修订该路径(例如，通过添加、删除或以其他方式修改路径部分)。相反，操作者可以手动创建路径，并且系统可以自动修订该路径或提出修订建议供操作者批准。
[0054]
任选地，该路径可以包括靠近每个所选淋巴结部位的出口位置。出口位置可以对应于活检装置离开通道到达淋巴结部位的点(例如，通过穿刺出口位置处的通道腔)。例如，出口位置可以是通道中最靠近该部位的点。该路径还可以包括将出口位置连接到淋巴结部位的路径分段(本文称为“出口分段”)。出口分段的长度可被配置为小于或等于活检装置的最大插入深度。例如，某些活检针可能无法对距出口位置大于3cm的目标进行活检。
[0055]
在一些实施方式中，该路径被配置为避开一个或多个脆弱的解剖结构，如血管、肺胸膜、大肺泡等。例如，在活检程序期间穿刺肺胸膜可能会导致气胸和/或对患者有危险的其他状况。因此，可以约束路径、出口位置和/或出口分段，以避开脆弱的解剖结构。这可以例如通过在脆弱的解剖结构周围定义一个或多个危险围栏来实现，这些围栏用于表示该路径不能接触和/或重叠的位置。危险围栏可以自动、半自动或由操作者手动创建。美国专利申请公开号2020/0030044(2018年4月18日提交)(公开了用于规划程序的图形用户界面)中进一步详细描述了用于在解剖区域内创建路径的其他技术，该专利申请的全部内容通过引用并入本文。
[0056]
方法200的输出(例如，3d模型、所选淋巴结部位、活检序列和/或路径)可以作为活检程序的规划的一部分(例如，作为一个或多个数字文件)被保存。在规划是在术前规划工作站上创建的实施方式中，规划可被传送到将用于执行活检程序的医疗器械系统。随后，在活检程序期间，可以向操作者显示3d模型、所选淋巴结部位和/或活检序列(例如，经由图形用户界面)，以提供用于导航到所选活检部位的视觉指导和指令，如下文更详细描述的。
[0057]
虽然方法200的步骤是按特定顺序讨论和说明的，但是相关领域普通技术人员将会认识到方法200可以改变，并且仍属于本技术的这些和其他实施方式的范围内。在其他实施方式中，例如，可以以不同的顺序执行方法200，例如，方法200的任何步骤可以在方法200的任何其他步骤之前、期间和/或之后执行。此外，可以省略图2所示方法200的一个或多个步骤(例如，步骤220或240)。任选地，可以重复方法200的一个或多个步骤。例如，步骤240可被执行多次，以生成用于将活检装置导航到所选淋巴结部位的多个不同序列和/或路径。然后，操作者可以选择待使用的序列和/或路径，例如，在术前规划阶段或在实际活检程序期间。
[0058]
图4是图示根据本技术各种实施方式的用于执行活检程序的方法400的流程图。在一些实施方式中，活检程序是图像引导过程，其使用解剖模型来辅助操作者将活检装置导航到患者体内的一个或多个目标位置(例如，导航到一个或多个淋巴结部位的位置)。在一些实施方式中，方法400在已经生成用于活检程序的术前规划之后执行。例如，方法400可以在图2的方法200的一些或所有步骤之后执行。
[0059]
方法400被图示为一组步骤或过程410-430。方法400可以由合适的计算系统或装置(例如，医疗器械系统等)执行。例如，方法400的步骤的全部或子集可以由医疗器械系统
或装置的控制系统实现，包括如下文进一步描述的机器人或远程操作系统的各种部件或装置。用于实施方法400的计算系统可以包括可操作地耦接到存储指令的存储器的一个或多个处理器，该指令在被执行时，使计算系统根据步骤410-430执行操作。
[0060]
方法400始于步骤410处将活检装置与患者的解剖体的3d模型配准。活检装置与3d模型的配准可允许跟踪活检装置在患者体内的方位并将其映射到该模型内的对应方位，从而提供用于在该解剖体内导航活检装置的视觉指导。当在该解剖体中的不同通道内驱动活检装置时，可以使用由活检装置中的一个或多个传感器生成的勘察(调查，survey)数据(例如，方位数据和/或形状数据)来执行配准。可以通过刚性和/或非刚性变换旋转、平移或以其他方式操纵勘察数据，以使其与该模型的数据点对齐。例如，可以使用基于点的迭代最近点(icp)技术——如美国临时专利申请号62/205,440和62/205,433中描述的，这两项专利通过引用以其整体并入本文——来执行配准。然而，在其他实施方式中，可以使用其他配准技术来执行配准。
[0061]
在步骤420处，系统显示用于将活检装置导航到一个或多个淋巴结部位的指令。如先前关于图2的方法200所述，可以在活检程序的术前规划期间选择淋巴结部位。在活检程序期间，系统可以经由合适的图形用户界面输出淋巴结部位的图形表示。例如，淋巴结部位可被渲染成3d模型内的不透明对象，而该模型的其他解剖结构(例如，气道、血管)可被渲染成透明或半透明对象使得淋巴结部位仍是可见的。作为另一示例，淋巴结部位可以显示成解剖区域的2d图上的点或图像。替代地或组合地，系统可以输出文本、音频或其他指令，其指导操作者将活检装置导航到所选淋巴结部位。例如，系统可以指示操作者对某些淋巴结站组内的淋巴结进行活检、对位于解剖体的特定解剖区或区域内的淋巴结进行活检等等。
[0062]
在一些实施方式中，步骤420还包括显示用于根据指定序列对所选淋巴结部位进行活检的指令。如先前关于图2的方法200所述，可以在活检程序的术前规划期间确定该序列。该序列可以以各种方式输出给操作者，诸如通过用于显示淋巴结部位的同一图形用户界面。例如，该序列可以图形地表示成按所需顺序将所选淋巴结部位连接的路径，如上文关于图2的方法200讨论的。该路径可以叠加在实际患者解剖体的模型和/或图像上，以在操作者在解剖区域内导航活检装置时提供视觉指导。替代地或组合地，系统可以输出文本、音频或其他指令，其指导操作者按特定顺序对淋巴结部位进行活检和/或指导操作者沿路径(例如，沿特定方向和/或以特定距离——相对于特定解剖界标等)对活检装置进行导航。
[0063]
在步骤430处，方法400显示活检装置相对于所选淋巴结部位的方位数据。如上讨论的，一旦活检装置配准到解剖模型，就可以将活检装置在患者体内的方位映射到该模型内的对应方位。因此，也可以跟踪和显示活检装置相对于淋巴结部位的方位。例如，活检装置的方位可以图形地表示成在3d解剖模型内的对象，使得操作者可以将活检装置相对于淋巴结部位和/或规划路径的方位可视化。方位数据还可以用于监测活检程序的进展、跟踪哪些淋巴结部位已被活检或未被活检或以其他方式提供指令和/或反馈以协助操作者执行该程序。例如，如果遗漏了某个淋巴结部位、如果淋巴结部位不按序列活检、如果活检装置不再处于正确路径上等等，可以警告操作者。
[0064]
任选地，方法400还可以包括在活检程序期间接收来自操作者的反馈。例如，操作者可以提供指示不能对一个或多个所选淋巴结部位进行活检、对一个或多个其他淋巴结部位进行活检、部分规划路径不可达、使用替代路径等的输入。可以基于操作者反馈调整活检
程序规划。例如，系统可以改变待活检的淋巴结部位(例如，添加或移除淋巴结部位)、改变活检序列、改变到达淋巴结部位的路径或任何其他合适的修改。在操作者可以立即获得活检结果(例如，经由快速现场细胞病理学评价(rapid onsite cytopathology evaluation,rose))的实施方式中，可以基于特定淋巴结部位是呈恶性肿瘤阳性还是阴性来更新活检规划。例如，系统可省略阴性活检部位下游的淋巴结部位。可以更新显示给操作者的指令，以反映活检规划的任何变化。
[0065]
虽然方法400的步骤是以特定顺序讨论和说明的，但是相关领域普通技术人员将认识到方法400可以被改变，并且仍属于本技术的这些和其他实施方式范围内。在其他实施方式中，例如，可以以不同的顺序执行方法400，例如，方法400的任何步骤可以在方法400的任何其他步骤之前、期间和/或之后执行。此外，可以省略图4所示方法400的一个或多个步骤。任选地，可以重复方法400的一个或多个步骤。
[0066]
b.机器人或远程操作医疗系统以及相关装置、系统和方法的实施方式
[0067]
图5是根据本技术各种实施方式配置的机器人或远程操作医疗系统500(“医疗系统500”)的示意性表示。医疗系统500可以与上文关于图1a-图4描述的任何程序或方法联用。例如，医疗系统500可用于对一个或多个淋巴结部位规划和/或执行活检程序，如前讨论的。如图所示，医疗系统500包括操纵器组件502、医疗器械系统504、主组件506和控制系统512。操纵器组件502支撑医疗器械系统504，并且在主组件506和/或控制系统512的方向驱动医疗器械系统504以在手术环境501中对定位在台507上的患者503执行各种医疗程序。在这方面，主组件506通常包括一个或多个控制装置，其可由操作者505(例如，医师)操作以控制操纵器组件502。附加地或替代地，控制系统512包括计算机处理器514和至少一个存储器516，用于实现医疗器械系统504、主组件506和/或医疗系统500的其他部件之间的控制。控制系统512还可以包括编程指令(例如，存储指令的非暂时性计算机可读介质)以实施本文描述的任一种或多种方法，包括用于向显示系统510提供信息和/或处理用于将医疗器械系统504与患者503的解剖模型配准的数据的指令(如下文更详细描述的)。操纵器组件502可以是远程操作的、非远程操作的或混合的远程操作和非远程操作的组件。因此，主组件506的全部或一部分和/或控制系统512的全部或一部分可定位在手术环境501的内部或外部。
[0068]
为了在图像引导的医疗程序期间帮助操作者505控制操纵器组件502和/或医疗器械系统504，医疗系统500可以进一步包括方位传感器系统508、内窥镜成像系统509、成像系统518和/或虚拟可视化系统515。在一些实施方式中，方位传感器系统508包括用于捕获医疗器械系统504的方位传感器数据(例如，方位、取向、速度、速率、姿态、形状等)的位置传感器系统(例如，电磁(em)传感器系统)和/或形状传感器系统。在这些和其他实施方式中，内窥镜成像系统509包括一个或多个图像捕获装置(未显示)，其记录包括患者解剖体的并发或实时图像(例如，视频图像、静止图像等)在内的内窥镜图像数据。由内窥镜成像系统509捕获的图像可以是例如由定位在患者503内的图像捕获装置捕获的患者解剖体的2d或3d图像，并且在下文中被称为“真实导航图像”。
[0069]
在一些实施方式中，医疗器械系统504可以包括方位传感器系统508的部件和/或内窥镜成像系统509的部件。例如，方位传感器系统508的部件和/或内窥镜成像系统509的部件可以一体地或可移除地耦接到医疗器械系统504。附加地或替代地，内窥镜成像系统509可以包括附接到单独的操纵器组件(未显示)的单独的内窥镜(未显示)，其可以与医疗
器械系统504结合使用以对患者解剖体进行成像。方位传感器系统508和/或内窥镜成像系统509可以作为下列来实施：硬件、固件、软件或其组合，它们与一个或多个计算机处理器诸如控制系统512的计算机处理器(一个或多个)514交互或以其他方式由其执行。
[0070]
医疗系统500的成像系统518可以布置在手术环境501中靠近患者503处，以在医疗程序之前、期间和/或之后获得患者503的实时和/或接近实时的图像。在一些实施方式中，成像系统518包括用于生成3d图像的移动式c形臂锥形束ct成像系统。例如，成像系统518可以包括西门子公司(siemens corporation)的dynact成像系统，或其他合适的成像系统。在这些和其他实施方式中，成像系统518可以包括其他成像技术，包括mri、荧光检查、热成像、超声、oct、热成像、阻抗成像、激光成像、纳米管x射线成像和/或诸如此类。
[0071]
当在图像引导的医疗程序期间控制医疗器械系统504时，控制系统512的虚拟可视化系统515向操作者505提供导航和/或解剖体-交互辅助。如下文更详细描述的，使用虚拟可视化系统515的虚拟导航，可以至少部分地基于对所获取的患者503的解剖通道的术前或术中数据集的参考(例如，至少部分地基于对由方位传感器系统508、内窥镜成像系统509和/或成像系统518生成的数据的参考)。在一些实施方式中，例如，虚拟可视化系统515处理由成像系统518捕获的患者503的解剖区域的术前和/或术中图像数据，以生成解剖区域的解剖模型(未显示)。然后，虚拟可视化系统515将解剖模型与由方位传感器系统508生成的方位传感器数据和/或由内窥镜成像系统509生成的内窥镜图像数据配准，以(i)将解剖区域内医疗器械系统504的所跟踪的方位、取向、姿态、形状和/或运动映射到解剖模型内的正确方位，和/或(ii)在解剖模型内的与医疗器械系统504在患者503体内的位置对应的位置处，从医疗器械系统504的观看点确定解剖区域的虚拟患者解剖体的虚拟导航图像。
[0072]
显示系统510可以显示由方位传感器系统508、由内窥镜成像系统509、由成像系统518和/或由虚拟可视化系统515生成的患者解剖体的和/或医疗器械系统504的各种图像或表示。在一些实施方式中，显示系统510和/或主组件506可以被取向使得操作者505可以利用远程呈现的感知来控制操纵器组件502、医疗器械系统504、主组件506和/或控制系统512。
[0073]
如上讨论的，操纵器组件502在主组件506和/或控制系统512的方向驱动医疗器械系统504。在这方面，操纵器组件502可以包括可以是机动的和/或远程操作的选择运动自由度和可以是非机动的和/或非远程操作的选择运动自由度。例如，操纵器组件502可以包括响应于从控制系统512接收的命令而驱动医疗器械系统504上的输入的多个致动器或马达(未显示)。致动器可以包括驱动系统(未显示)，该驱动系统当耦接到医疗器械系统504时，可以将医疗器械系统504推进到自然产生或手术产生的解剖孔口中。其他驱动系统可以以多个自由度移动医疗器械系统504的远侧部分(未显示)，其可以包括三个线性运动自由度(例如，沿x、y、z笛卡尔轴的线性运动)和三个旋转运动自由度(例如，围绕x、y、z笛卡尔轴的旋转)。附加地或替代地，致动器可以用于致动医疗器械系统504的铰接式末端执行器(例如，用于抓握活检装置和/或类似装置的钳口中的组织)。
[0074]
图6是图5的操纵器组件502、医疗器械系统504和成像系统518在手术环境501内并且根据本技术各种实施方式配置的示意性表示。如图6所示，手术环境501具有手术参考系(xs、ys、zs)，其中患者503被定位在台507上，并且医疗器械系统504具有手术环境501内的医疗器械参考系(xm、ym、zm)。在医疗程序期间，在患者的总体运动受到镇静、约束和/或其他手
段的限制的意义上，患者503在手术环境501内可以是不动的。在这些和其他实施方式中，包括患者503的呼吸和心脏运动在内的循环解剖运动可以继续，除非要求患者503屏住他或她的呼吸以暂时中止呼吸运动。
[0075]
操纵器组件502包括安装到插入台628的器械托架626。在所示实施方式中，插入台628是线性的，而在其他实施方式中，插入台628是弯曲的或具有弯曲部段与线性部段的组合。在一些实施方式中，插入台628被固定在手术环境501内。替代地，插入台628在手术环境501内是可移动的，但在手术环境501内具有已知位置(例如，经由跟踪传感器(未显示)或其他跟踪装置)。在这些替代方案中，医疗器械参考系(xm、ym、zm)相对于手术参考系(xs、ys、zs)是固定的或以其他方式已知的。
[0076]
图6的医疗器械系统504包括细长装置631、医疗器械632、器械主体635、方位传感器系统508的至少一部分和内窥镜成像系统509的至少一部分。在一些实施方式中，细长装置631是限定通道或腔644的柔性导管或其他生物医疗装置。通道644可以设定尺寸和形状以接收医疗器械632(例如，经由细长装置631的近端636和/或器械端口(未显示))并促进将医疗器械632递送到细长装置631的远侧部分638。细长装置631耦接到器械主体635，器械主体635进而耦接操纵器组件502的器械托架626并且相对于其固定。
[0077]
在操作时，操纵器组件502可以控制细长装置631经由患者503的自然产生或手术产生的解剖孔口进入患者503的插入运动(例如，沿轴线a的近侧和/或远侧运动)，以促进细长装置631通过患者503的解剖区域的解剖通道的导航和/或促进细长装置631的远侧部分638递送至患者503内的目标位置或其附近。例如，器械托架626和/或插入台628可以包括致动器(未显示)，诸如伺服马达，其促进控制器械托架626沿插入台628的运动。附加地或替代地，在一些实施方式中，操纵器组件502可以控制细长装置631的远侧部分638沿多个方向的运动，包括偏航、俯仰和滚动旋转方向(例如，从而导航患者解剖体)。为此，细长装置631可容纳或包括缆线、连杆和/或操纵器组件502可用来可控地使细长装置631的远侧部分638弯曲的其他转向控制件(未显示)。例如，细长装置631可以容纳至少四根缆线，操纵器组件502可以使用这些缆线来提供(i)独立的“上下”转向以控制细长装置631的远侧部分638的俯仰，以及(ii)独立的“左右”转向细长装置631以控制细长装置631的远侧部分638的偏航。
[0078]
医疗器械系统504的医疗器械632可用于医疗程序，诸如用于解剖通道的勘察、手术、活检、消融、照明、冲洗和/或抽吸。因此，医疗器械632可以包括图像捕获探针、活检器械或装置(例如，活检针、支气管内超声(ebus)探针)、激光消融纤维和/或其他手术工具、诊断工具和/或治疗工具。例如，医疗器械632可以包括内窥镜或具有一个或多个图像捕获装置647的其他生物医疗装置，图像捕获装置647位于医疗器械632的远侧部分637处和/或沿医疗器械632的其他位置处。在这些实施方式中，当医疗器械632在患者503的解剖区域内时，图像捕获装置647可以捕获解剖通道和/或其他真实患者解剖体的一个或多个真实导航图像或视频(例如，一个或多个真实导航图像帧的序列)。
[0079]
如上讨论的，医疗器械632可以通过由细长装置631限定的通道644部署到患者503内的目标位置中和/或递送到患者503内的目标位置。在医疗器械632包括在其远侧部分637处具有图像捕获装置647的内窥镜或其他生物医疗装置的实施方式中，图像捕获装置647可以在操纵器组件502将细长装置631的远侧部分638导航到患者503内的目标位置之前、期间和/或之后被推进到细长装置631的远侧部分638。在这些实施方式中，医疗器械632可以用
作勘察器械，以捕获解剖通道和/或其他真实患者解剖体的真实导航图像，和/或帮助操作者(未显示)导航细长装置631的远侧部分638通过解剖通道到达目标位置。
[0080]
作为另一示例，在操纵器组件502将细长装置631的远侧部分638定位在患者503内的目标位置附近之后，医疗器械632可以被推进超过细长装置631的远侧部分638以在目标位置处执行医疗程序。继续此示例，在目标位置处的全部或部分医疗程序完成之后，医疗器械632可以被缩回到细长装置631中，并且附加地或替代地，可以从细长装置631的近端636或从沿细长装置631的另一器械端口(未显示)移除。
[0081]
如图6所示，医疗器械系统504的方位传感器系统508包括形状传感器633和方位测量装置639。在这些和其他实施方式中，除了形状传感器633和/或方位测量装置639之外，或者代替形状传感器633和/或方位测量装置639，方位传感器系统508可以包括其他方位传感器(例如，加速度计、旋转编码器等)。
[0082]
方位传感器系统508的形状传感器633包括在细长装置631内延伸并与其对齐的光纤。在一个实施方式中，形状传感器633的光纤具有大约200μm的直径。在其他实施方式中，光纤的直径可以更大或更小。形状传感器633的光纤形成用于确定细长装置631的形状、取向和/或姿态的光纤弯曲传感器。在一些实施方式中，具有光纤布拉格光栅(fbg)的光纤可以用于在一个或多个维度的结构中提供应力测量。美国专利申请公开号2006/0013523(2005年7月13日提交)(公开了光纤方位和形状感测装置及其相关方法)；美国专利号7,781,724(2006年9月26日提交)(公开了光纤方位和形状感测装置及其相关方法)；美国专利号7,772,541(2008年3月12日提交)(公开了基于瑞利散射的光纤方位和/或形状感测)；和美国专利号6,389,187(1998年6月17日提交)(公开了光纤弯曲传感器)中进一步详细描述了用于监测光纤的三维形状和相对方位的各种系统和方法，这些专利通过引用以其整体引入本文。在这些和其他实施方式中，本技术的传感器可以采用其他合适的应力感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在这些和又其他的实施方式中，细长装置631的形状可以使用其他技术来确定。例如，细长装置631的远侧部分638的姿态的历史记录可以用于在时间间隔内重构细长装置631的形状。
[0083]
在一些实施方式中，形状传感器633被固定在医疗器械系统504的器械主体635上的近侧点634处。在操作时，例如，形状传感器633测量医疗器械参考系(xm、ym、zm)中从近侧点634到沿光纤的另一点(诸如细长装置631的远侧部分638)的形状。形状传感器633的近侧点634可以与器械主体635一起移动，但近侧点634的位置可以是已知的(例如，经由跟踪传感器(未显示)或其他跟踪装置)。
[0084]
当器械主体635在操纵器组件502的插入台628上沿着插入轴线a移动时，方位传感器系统508的方位测量装置639提供关于器械主体635的方位的信息。在一些实施方式中，方位测量装置639包括分解器、编码器、电位计和/或其他传感器，其确定控制操纵器组件502的器械托架626的运动并因此确定医疗器械系统504的器械主体635的运动的致动器(未显示)的旋转和取向。
[0085]
图7是根据本技术各种实施方式的在患者503的解剖区域750(例如，人肺)内延伸的图6医疗器械系统504的一部分的示意性表示。具体地，图7图示了在解剖区域750的分支解剖通道752内延伸的医疗器械系统504的细长装置631。解剖通道752包括气管754和多个支气管756。
[0086]
如图7所示，细长装置631在解剖区域750内具有方位、取向、姿态和形状，其全部或一部分(除了运动如速度或速率之外，或者代替运动如速度或速率)可以作为方位传感器数据由图5和图6的方位传感器系统508(例如，由形状传感器633和/或方位测量装置639(图6))捕获，以勘察解剖区域750的解剖通道752。具体地，方位传感器系统508可以通过收集医疗器械参考系(xm、ym、zm)中医疗器械系统504在解剖区域750内的方位传感器数据来勘察解剖通道752。方位传感器数据可以至少部分地被记录为一组2d或3d坐标点。在解剖区域750是人肺的示例中，坐标点可以表示细长装置631的远侧部分638的位置和/或细长装置631的其他部分的位置，同时细长装置631被推进通过气管754和支气管756。在这些和其他实施方式中，坐标点的集合可以表示当细长装置631被推进通过解剖区域750时细长装置631的形状。在这些和其他实施方式中，坐标点可以表示医疗器械系统504的其他部分(例如，医疗器械632(图6))的方位数据。
[0087]
坐标点可以一起形成点云。例如，图8图示了根据本技术各种实施方式的形成点云860的多个坐标点862，点云860表示图7的细长装置631在处于解剖区域750(图7)内时细长装置631的形状。具体地，当细长装置631处于图7所示的不动位置时，图8的点云860从由方位传感器系统508(图6)记录的坐标点862的全部或子集的并集生成。
[0088]
在一些实施方式中，点云(例如，点云860)可以包括在跨越解剖区域750内的细长装置631的多个形状、方位、取向和/或姿态的图像捕获时段期间由方位传感器系统508记录的坐标点的全部或子集的并集。在这些实施方式中，点云可以包括由方位传感器系统508捕获的坐标点，这些坐标点表示在图像捕获时段期间细长装置631被推进或移动通过患者解剖体时细长装置631的多个形状。附加地或替代地，因为细长装置631在患者503内的构型(包括形状和位置)可能会在图像捕获时段期间因解剖运动而改变，所以在一些实施方式中的点云可以包括由方位传感器系统508捕获的多个坐标点862，这些坐标点表示细长装置631在患者503内被动移动时细长装置631的形状。如下文更详细描述的，由方位传感器系统508捕获的坐标点的点云可以配准到患者解剖体的不同模型或数据集。
[0089]
再次参考图6，医疗器械系统504的内窥镜成像系统509包括一个或多个图像捕获装置647，图像捕获装置647被配置为在细长装置631和/或医疗器械632处于患者503的解剖区域(例如，图7的解剖区域750)内时捕获真实患者解剖体(例如，图7的解剖通道752)的一个或多个真实导航图像。例如，内窥镜成像系统509可以包括位于医疗器械632的远侧部分637处的图像捕获装置647。在这些和其他实施方式中，内窥镜成像系统509可以包括定位在沿医疗器械632和/或沿着细长装置631的其他位置(例如，在细长装置631的远侧部分638)的一个或多个图像捕获装置(未显示)。
[0090]
在图7所示的实施方式中，医疗器械632(图6)的图像捕获装置647被推进到细长装置631的远侧部分638并定位在远侧部分638处。在此实施方式中，图像捕获装置647可以通过在细长装置631被导航通过解剖区域750的气管754和支气管756的同时捕获解剖通道752的真实导航图像来勘察解剖通道752。
[0091]
图9是经由图像捕获装置647(图7)捕获的图7解剖区域750(诸如解剖通道752中的一个)的患者解剖体的真实导航图像970(例如，静止图像、视频的图像帧等)的示例。如图所示，真实导航图像970显示了从医疗器械632(图6)的观看点的解剖区域750内的两个解剖通道752的分支点或隆突971。在此示例中，因为图像捕获装置647分别定位在医疗器械632和
细长装置631(图7)的远侧部分637和638处，所以真实导航图像970的观看点来自医疗器械632的远侧部分637使得医疗器械632和细长装置631在真实导航图像970内不可见。在其他实施方式中，图像捕获装置647可以定位在沿医疗器械632和/或沿细长装置631的另一位置(图6和图7)。在这些实施方式中，内窥镜成像系统99(图6)可以从医疗器械632和/或细长装置631的相应观看点捕获真实导航图像。取决于医疗器械632和细长装置631相对于彼此的方位，医疗器械632的和/或细长装置631的一部分在这些真实导航图像内可以是可见的。
[0092]
再次参考图6，由内窥镜成像系统509捕获的真实导航图像可促进细长装置631的远侧部分638穿过患者解剖体(例如，穿过图7的解剖通道752)的导航和/或将细长装置631的远侧部分638递送到患者503内的目标位置。在这些和其他实施方式中，由内窥镜成像系统509捕获的真实导航图像可以促进(i)将医疗器械632的远侧部分637导航超过细长装置631的远侧部分638，(ii)将医疗器械632的远侧部分637递送到患者503内的目标位置，和/或(iii)对医疗程序期间患者解剖体的可视化。在一些实施方式中，由内窥镜成像系统509捕获的每个真实导航图像可以与记录在医疗器械参考系(xm、ym、zm)中的时间戳和/或方位相关联。由内窥镜成像系统509捕获的真实导航图像可以任选地用于改善由方位传感器系统508生成的坐标点的点云(例如，图8的点云860)与由成像系统518捕获的图像数据之间的配准。
[0093]
如图6所示，成像系统518被布置在患者503附近以获得患者503的(例如，图7的解剖区域750的)3d图像。在一些实施方式中，成像系统518包括一种或多种成像技术，包括ct、mri、荧光检查、热成像、超声、oct、热成像、阻抗成像、激光成像、纳米管x射线成像和/或诸如此类。成像系统518被配置为在细长装置631在患者503内延伸之前、期间和/或之后生成患者解剖体的图像数据。因此，成像系统518可以被配置为捕获患者解剖体的术前、术中和/或术后3d图像。在这些和其他实施方式中，成像系统518可以提供患者解剖体的实时或接近实时的图像。
[0094]
图10图示了当医疗器械系统504的细长装置631在解剖区域750内延伸时在图像捕获时段期间由成像系统518(图6)捕获的图7解剖区域750的一部分1055的术中图像数据1080的示例。如图所示，图像数据1080包括表示细长装置631的图形元素1081和表示解剖区域750的解剖通道752的图形元素1082。
[0095]
图像数据1080的图形元素1081和1082的全部或一部分可以被分段和/或过滤，以生成解剖区域750的所述部分1055内解剖通道752的虚拟3d模型(具有或不具有医疗器械系统504)。在一些实施方式中，图形元素1081和1082可以附加地或替代地被分段和/或过滤，以至少部分地基于当医疗器械系统504处于解剖区域750内时由成像系统108(图6)捕获的图像来生成医疗器械系统504的图像点云(未显示)。在分段过程中，从图像数据1080生成的像素或体素可以被划分成分段或元素或被标记以指示它们共享某些特征或计算属性如颜色、密度、强度和材质。然后，这些分段或元素可以被转换成医疗器械系统504的解剖模型和/或图像点云。附加地或替代地，这些分段或元素可以用于定位(例如，计算)和/或限定中心线或沿解剖通道752延伸的其他点。所生成的解剖模型和/或图像点云可以是2d或3d的，并且可以在图像参考系(xi、yi、zi)中生成。
[0096]
如上文关于图5讨论的，医疗系统500(图5)的显示系统510(图5)可以至少部分地基于由方位传感器系统508、内窥镜成像系统509、成像系统518和/或虚拟可视化系统515捕
获和/或生成的数据来显示患者解剖体的和/或医疗器械系统504的各种图像或表示。在各种实施方案中，系统可以利用这些图像和/或表示来帮助操作者505(图5)执行图像引导的医疗程序。
[0097]
图11是根据本技术各种实施方式的由显示系统510(图5)产生的示例显示器1110的示意性表示。如图所示，显示器1110包括真实导航图像1170、复合虚拟导航图像1191(也称为“复合虚拟图像1191”)和虚拟导航图像1192。真实导航图像1170可以基本上与图9的真实导航图像970相同。因此，例如，真实导航图像1170可以由内窥镜成像系统509(图6)捕获并提供给显示系统510(图5)以实时或接近实时地呈现在显示器1110上。在所示实施方式中，真实导航图像1170图示了从远离医疗器械632(图6)的远侧部分637取向的观看点的真实患者解剖体(例如，标记出两个解剖通道752的分支点的隆突1171)。
[0098]
图11的复合虚拟图像1191显示在图像参考系(xi、yi、zi)中，并且包括从由成像系统518(图6)捕获的图7解剖区域750的图像数据生成的解剖模型1150。解剖模型1150与由方位传感器系统508(图6)生成的坐标点的点云(例如，图8的点云860)配准(即，动态参考)，以显示解剖模型1150内医疗器械系统504(例如，图6的细长装置631)在患者503(图6)内的所被跟踪的方位、形状、姿态、取向和/或运动的表示1104。在一些实施方式中，复合虚拟图像1191由控制系统512(图5)的虚拟可视化系统515(图5)生成。生成复合虚拟图像1191涉及将图像参考系(xi、yi、zi)与手术参考系(xs、ys、zs)配准和/或配准到医疗器械参考系(xm、ym、zm)。此配准可以通过由方位传感器系统508捕获的点云的坐标点(例如，图8的点云860的坐标点862)的刚性和/或非刚性变换来旋转、平移或以其他方式操纵，以将坐标点与解剖模型1150对齐。可以例如通过使用基于点的icp技术来实现图像和手术/器械参考系之间的配准，如美国临时专利申请号62/205,440和62/205,433中描述的，这两项专利通过引用以其整体并入本文。在其他实施方式中，可以使用另一种点云配准技术来实现配准。
[0099]
至少部分地基于配准，虚拟可视化系统515可以附加地或替代地生成虚拟导航图像(例如，图11的虚拟导航图像1192)，其包括从虚拟相机对解剖模型1150内医疗器械系统504(图7)的表示1104的观看点的对患者解剖体的虚拟描绘。在图11所示的实施方式中，虚拟导航图像1192的虚拟相机被定位在表示1104的远侧部分1137处使得(i)虚拟导航图像1192的虚拟观看点指向远侧——远离表示1104的远侧部分1137，并且(ii)表示1104在虚拟导航图像1192内不可见。在其他实施方式中，虚拟可视化系统515可以将虚拟相机定位在(a)沿着表示1104的另一位置处和/或(b)处于不同的取向使得虚拟导航图像1192具有对应的虚拟观看点。在一些实施方式中，取决于虚拟相机的方位和取向以及细长装置631和医疗器械632在患者503内相对于彼此的方位，虚拟可视化系统515可以将细长装置631的和/或医疗器械632的至少一部分的虚拟表示(未显示)渲染到虚拟导航图像1192中。
[0100]
在一些实施方式中，虚拟可视化系统515可以将虚拟相机放置在解剖模型1150内与患者503(图6)内的图像捕获装置647的方位和取向相对应的方位和取向处。如图11中进一步所示，虚拟导航图像1192图示了虚拟患者解剖体，诸如标记出解剖模型1150的两个解剖通道1152的分支点的隆突1101，其来自图像捕获装置647(图6)捕获真实导航图像1170的基本上相同的位置。因此，虚拟导航图像1192提供了在图7的解剖区域750内给定位置处图像捕获装置647可见的患者解剖体的渲染估计。因为虚拟导航图像1192至少部分地基于由方位传感器系统508生成的点云和由成像系统518捕获的图像数据的配准，所以虚拟导航图
像1192和真实导航图像1170之间的对应关系提供了关于配准精度的洞察并且可以用于改进配准。此外，由内窥镜成像系统509(图6)捕获的真实导航图像(例如，真实导航图像1170)可以(a)提供关于医疗器械系统504(图5)在患者503内的方位和取向的信息，(b)提供关于医疗器械系统实际访问的解剖区域的部分的信息，和/或(c)帮助识别靠近医疗器械系统504的患者解剖体(例如，解剖通道的分支点)，其中任一项或多项都可以用于提高配准的精度。
[0101]
如图11中进一步所示，虚拟导航图像1192可以任选地包括导航路径叠加1199。在一些实施方式中，导航路径叠加1199用于帮助操作者505(图5)导航医疗器械系统504(图5)通过解剖区域的解剖通道到达患者503内的目标位置。例如，导航路径叠加1199可以图示通过解剖区域的“最佳”路径以供操作者505遵循，从而将医疗器械632的和/或细长装置631的远侧部分637和/或638分别递送到患者503内的目标位置。在一些实施方式中，导航路径叠加1199可以与相应解剖通道的中心线或沿着相应解剖通道的(例如，底的)另一条线对齐。
[0102]
c.实施例
[0103]
本技术的几个方面将在以下实施例中进行阐述。尽管本技术的几个方面以涉及系统、计算机可读介质和方法的实施例进行了阐述，但本技术的这些方面中的任意方面都可以在其他实施方式中以涉及任意系统、计算机可读介质和方法的实施例进行类似阐述。
[0104]
1.一种用于规划医疗程序的系统，所述系统包括：
[0105]
处理器；和存储器，所述存储器可操作地耦接到所述处理器并存储指令，所述指令在由所述处理器执行时，使所述系统执行包括下列的操作——
[0106]
接收患者的解剖区域的图像数据，其中所述解剖区域包括多个淋巴结和目标病变，
[0107]
通过将所述图像数据分段来生成所述解剖区域的三维模型，其中所述三维模型包括对应于所述多个淋巴结和所述目标病变的多个分段部件，
[0108]
至少部分地基于所述三维模型中的所述目标病变的位置来选择在所述医疗程序期间待被活检的淋巴结的子集，以及
[0109]
确定在所述医疗程序期间用于将活检装置导航到所述淋巴结的子集的位置的序列。
[0110]
2.权利要求1的系统，其中所述多个淋巴结包括来自多个不同淋巴结站组的淋巴结。
[0111]
3.实施例1或实施例2的系统，其中所述图像数据的分段至少部分地基于来自操作者的输入来执行。
[0112]
4.实施例3的系统，其中来自所述操作者的所述输入包括选择所述图像数据中对应于一个或多个淋巴结的一个或多个位置。
[0113]
5.实施例3的系统，其中来自所述操作者的所述输入包括接受或拒绝所述分段部件中的一个或多个。
[0114]
6.实施例1或实施例2的系统，其中所述图像数据的分段至少部分地使用机器学习算法来执行。
[0115]
7.实施例1-6中任一个的系统，其中所述淋巴结的子集包括一个或多个纵隔淋巴结。
[0116]
8.实施例1-6中任一个的系统，其中所述淋巴结的子集包括位于沿着自所述目标病变起的淋巴引流路径下游的一个或多个淋巴结。
[0117]
9.实施例1-6中任一个的系统，其中所述淋巴结的子集包括与所述目标病变位于所述解剖区域的同一侧的至少一个淋巴结和与所述目标病变位于所述解剖区域的相反侧的至少一个淋巴结。
[0118]
10.实施例1-6中任一个的系统，其中所述淋巴结的子集基于下列中的一项或多项来选择：淋巴结大小、淋巴结形状、淋巴结位置、所述目标病变的位置、所述患者的生理学、所预测的转移风险评分、来自操作者的输入或临床指南。
[0119]
11.实施例1-10中任一个的系统，其中所确定的用于导航所述活检装置的序列被配置为减少不同淋巴结之间的交叉污染。
[0120]
12.实施例1-10中任一个的系统，其中所确定的用于导航所述活检装置的序列包括在具有较高恶性可能性的淋巴结之前对具有较低恶性可能性的淋巴结进行活检。
[0121]
13.实施例1-10中任一个的系统，其中所确定的用于导航所述活检装置的序列包括在靠近所述目标病变定位的淋巴结之前对远离所述目标病变定位的淋巴结进行活检。
[0122]
14.实施例1-13中任一个的系统，其中所述操作还包括至少部分地基于所述三维模型生成用于将所述活检装置导航到所述目标病变的路径。
[0123]
15.实施例1-14中任一个的系统，还包括显示器，所述显示器被配置为输出所述三维模型和所述淋巴结的子集的图形表示。
[0124]
16.实施例15的系统，其中所述操作还包括经由所述显示器输出用于根据所述序列将所述活检装置导航到所述淋巴结的子集的位置的指令。
[0125]
17.实施例15或16的系统，还包括被配置为生成所述活检装置的方位数据的传感器，其中所述操作还包括经由所述显示器输出所述方位数据的图形表示连同所述淋巴结的子集的图形表示。
[0126]
18.一种在其上存储指令的非暂时性计算机可读介质，所述指令在由计算系统的一个或多个处理器执行时，使所述计算系统执行包括下列的操作：
[0127]
接收患者的解剖区域的图像数据，其中所述解剖区域包括多个淋巴结和目标病变；
[0128]
通过将所述图像数据分段来生成所述解剖区域的三维模型，其中所述三维模型包括对应于所述多个淋巴结和所述目标病变的多个分段部件；
[0129]
至少部分地基于所述三维模型中的所述目标病变的位置来选择在所述医疗程序期间待被活检的淋巴结的子集；以及
[0130]
确定在所述医疗程序期间用于将活检装置导航到所述淋巴结的子集的位置的序列。
[0131]
19.实施例18的非暂时性计算机可读介质，其中所述多个淋巴结包括来自多个不同淋巴结站组的淋巴结。
[0132]
20.实施例18或实施例19的非暂时性计算机可读介质，其中所述操作还包括接收用于执行所述图像数据的分段的用户输入。
[0133]
21.实施例20的非暂时性计算机可读介质，其中所述用户输入包括对所述图像数据中与所述淋巴结的一个或多个位置对应的一个或多个位置的选择。
[0134]
22.实施例20的非暂时性计算机可读介质，其中来自所述操作者的所述输入包括接受或拒绝所述分段部件中的一个或多个。
[0135]
23.实施例18或实施例19的非暂时性计算机可读介质，其中至少部分地使用机器学习算法来执行所述分段。
[0136]
24.实施例18-23中任一个的非暂时性计算机可读介质，其中所述淋巴结的子集包括一个或多个纵隔淋巴结。
[0137]
25.实施例18-23中任一个的非暂时性计算机可读介质，其中所述淋巴结的子集包括位于沿着自所述目标病变起的淋巴引流路径下游的一个或多个淋巴结。
[0138]
26.实施例18-23中任一个的非暂时性计算机可读介质，其中所述淋巴结的子集包括与所述目标病变位于所述解剖区域的同一侧的至少一个淋巴结和与所述目标病变位于所述解剖区域的相反侧的至少一个淋巴结。
[0139]
27.实施例18-23中任一个的非暂时性计算机可读介质，其中所述淋巴结的子集基于下列中的一项或多项来选择：淋巴结大小、淋巴结形状、淋巴结位置、所述目标病变的位置、所述患者的生理学、所预测的转移风险评分、来自操作者的输入或临床指南。
[0140]
28.实施例18-27中任一个的非暂时性计算机可读介质，其中所确定的用于导航所述活检装置的序列被配置为降低淋巴结之间交叉污染的可能性。
[0141]
29.实施例18-27中任一个的非暂时性计算机可读介质，其中所确定的用于导航所述活检装置的序列包括在具有较高恶性可能性的淋巴结之前对具有较低恶性可能性的淋巴结进行活检。
[0142]
30.实施例18-27中任一个的非暂时性计算机可读介质，其中所确定的用于导航所述活检装置的序列包括在靠近所述目标病变定位的淋巴结之前对远离所述目标病变定位的淋巴结进行活检。
[0143]
31.实施例18-30中任一个的非暂时性计算机可读介质，其中所述操作还包括至少部分地基于所述三维模型生成用于将所述活检装置导航到所述目标病变的路径。
[0144]
32.实施例18-31中任一个的非暂时性计算机可读介质，其中所述操作还包括输出所述三维模型和所述淋巴结的子集的图形表示。
[0145]
33.实施例18-31中任一个的非暂时性计算机可读介质，其中所述操作还包括输出用于根据所述序列将所述活检装置导航到所述淋巴结的子集的位置的指令。
[0146]
34.实施例18-31中任一个的非暂时性计算机可读介质，其中所述操作还包括：
[0147]
接收所述活检装置的方位数据；和
[0148]
输出所述方位数据的图形表示连同所述淋巴结的子集的图形表示。
[0149]
35.实施例18-34中任一个的非暂时性计算机可读介质，其中所述三维模型还包括对应于所述患者的气道和肺的其他分段部件。
[0150]
36.一种方法，包括：
[0151]
接收患者的解剖区域的图像数据，其中所述解剖区域包括多个淋巴结和目标病变；
[0152]
通过将所述图像数据分段来生成所述解剖区域的三维模型，其中所述三维模型包括对应于所述多个淋巴结和所述目标病变的多个分段部件；
[0153]
至少部分地基于所述三维模型中的所述目标病变的位置来选择在所述医疗程序
期间待被活检的淋巴结的子集；以及
[0154]
确定在所述医疗程序期间用于将活检装置导航到所述淋巴结的子集的位置的序列。
[0155]
d.结论
[0156]
本文描述的系统和方法可以以其上记录了用于由处理器或计算机执行的指令的有形和非暂时性机器可读介质或介质(诸如硬盘驱动器、硬件存储器等)的形式提供。指令集可以包括指示计算机或处理器执行具体操作的各种命令，诸如本文描述的各种实施例的方法和过程。指令集可以是软件程序或应用的形式。计算机存储介质可以包括易失性和非易失性介质以及可移动和不可移动介质，用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息。计算机存储介质可以包括但不限于ram、rom、eprom、闪存或其他固态存储技术、cd-rom、dvd或其他光学存储、磁盘存储或任何其他可用于存储所需信息并且可以由系统的部件访问的硬件介质。系统的部件可以经由有线或无线通信相互通信。这些部件可以彼此分离，或者部件的各种组合可以一起集成到监视器或处理器中，或者容纳在具有标准计算机硬件(例如，处理器、电路、逻辑电路、存储器等)的工作站中。系统可以包括处理装置诸如微处理器、微控制器、集成电路、控制单元、存储介质和其他硬件。
[0157]
尽管上文在患者的肺内导航和执行医疗程序的背景下描述了许多实施方式，但是除了本文描述的那些实施方式之外的其他应用和其他实施方式也在本技术的范围内。例如，除非另有指定或从上下文中清楚地了解，否则本技术的装置、系统、方法和计算机程序产品都可以用于各种图像引导的医疗程序，诸如在中空患者解剖体上、中空患者解剖体中或中空患者解剖体附近执行的医疗程序，更具体地，可用于对中空患者解剖体内和/或中空患者解剖体近处的组织进行勘察、活检、消融或以其他方式进行处理的程序。因此，例如，本公开的系统、装置、方法和计算机程序产品可用于与诸如患者的膀胱、尿道、gi系统和/或心脏的其他患者解剖体相关的一种或多种医疗程序中。
[0158]
如本文所用，术语“操作者”应被理解为包括可能正在执行或协助医疗程序的任何类型的人员，并因此包括医师、外科医生、医生、护士、医疗技术人员、本文公开的技术的其他人员或用户及其任何组合。附加地或替代地，术语“患者”应被认为包括对其执行医疗程序的人类和/或非人类(例如，动物)患者。
[0159]
从上文中将会理解，出于说明的目的，本文已经描述了所述技术的具体实施方式，但是并未详细显示或描述公知的结构和功能，为的是避免不必要地模糊对所述技术的实施方式的描述。就通过引用并入本文的任何材料与本公开内容相冲突的程度而言，以本公开内容为准。在上下文允许的情况下，单数或复数术语也可以分别包括复数或单数术语。此外，除非词语“或”被明确限制为仅意指提及两个或更多个项目的列举时排除其他项目的单个项目，否则在这样的列举中“或”的使用应被解释为包括(a)列举中的任何单个项目，(b)列举中的所有项目，或(c)列举中的项目的任何组合。如本文所用，短语“a和/或b”中的“和/或”指仅a、仅b以及a和b两者。在上下文允许的情况下，单数或复数术语也可以分别包括复数或单数术语。此外，术语“包括”、“包含”、“具有(having)”和“具有(with)”通篇用于表示至少包括所叙述的特征(一个或多个)使得不排除任何更多数量的相同特征和/或附加类型的其他特征。
[0160]
此外，如本文所用，术语“基本上”是指动作、特征、性质、状态、结构、项目或结果的
完全或接近完全的程度或度。例如，“基本上”封闭的对象将意味着所述对象要么完全封闭，要么几乎完全封闭。在某些情况下，偏离绝对完全的确切的允许度可能取决于具体情况。然而，一般来说，接近完全将会有相同的总体结果，就好像获得了绝对和总体完成一样。当用于否定性含义时，“基本上”的使用同样适用，是指完全或接近完全缺乏动作、特征、性质、状态、结构、项目或结果。
[0161]
对本技术实施方式的上述详细描述并不旨在穷举或将本技术限制为上文公开的精确形式。尽管上文出于说明的目的描述了所述技术的具体实施方式和实施例，但是相关领域技术人员将认识到，在所述技术的范围内，各种等同的修改都是可能的。例如，虽然以给定的顺序呈现步骤，但是替代实施方式可以以不同的顺序执行步骤。作为另一实施例，所述技术的各种部件都可以进一步分为子部件，和/或所述技术的各种部件和/或功能都可以被组合和/或集成。此外，尽管已经在那些实施方式的背景下描述了与所述技术的某些实施方式相关的优点，但是其他实施方式也可以展示出这样的优点，并且并非所有实施方式都需要展示出这样的优点才会落入所述技术的范围内。
[0162]
还应当注意，除本文公开的实施方式之外的其他实施方式也在本技术的范围内。例如，除了本文显示或描述的那些之外，本技术的实施方式可以具有不同的配置、部件和/或程序。此外，本领域普通技术人员将理解，在不脱离本技术的情况下，这些和其他实施方式可以在不具有本文显示或描述的若干配置、部件和/或程序的情况下成立。因此，本公开和相关技术可以涵盖本文没有明确显示或描述的其他实施方式。