08-在救援现场，受害者周围环境的3D模型生成

生物医学工程领域的当前发展方向2023；9(1)：634-637<img src="/media/202408//1724856291.789435.png" />苏珊 ·克里比施，拉尔夫 ·布鲁德和弗洛里斯 ·恩斯特生成受害者的3D模型他们在周围的救援地点<a href="https://doi.org/10.1515/cdbme-2023-1159">https://doi.org/10.1515/cdbme-2023-1159</a>摘要：在紧急情况下使用最先进的技术，能够快速评估 情况。现代的救援机器人，以及带有摄像系统的救援人 员，都记录了大量的图像数据。除了对救援行动的好处 外，基于这些数据的快速概述还可以帮助医务人员寻找 适当的治疗策略。然而，这些数据必须被检查并融合成 一个直观的显示器。在这项工作中，搜索RGB-D相机的示 例图像流，并将其转移到每个被检测对象的单独的3D模 型中，以便后续直观地查看、旋转和缩放。该方法在德 国救援机器人中心进行了功能、细节准确性和纹理可读 性的测试和初步评估。关键词：定位受害者，救援机器人，救援现场3D模型， 德国救援机器人中心1介绍在事故受害者救援的场景下，现场录制视频材料，捕捉 现场情况是合理的。救援机器人，如德国救援机器人中 心[1]，在事故现场记录大量的图像数据，这样就可以直 接指导现场的救援部队。对于主治医生来说，查看所有 收集到的视频数据是不可行的。然而，让他们在现场看 到受害者是有用的，从而可以得出关于事故的类型和过 程的结论。有时，附近的警告标志或化学品会提供额外 的信息。DICOM标准的持续开发，特别是工作组17 [2]所做的工作 , 能够将3D对象集成到患者的医疗文件中。将这种新选项与在事故现场记录的可用图像数据所提供 的机会相结合，我们希望将记录的图像数据融合成一种 方便的3D模型格式。<img src="/media/202408//1724856291.797549.jpeg" /><table><tr><td></td></tr></table>图1: 在德国救援机器人中心进行的模拟救援场景。受害者身上 着他检测到的皮肤吨2方法使用RGB-D深度成像相机的例子，这项工作的目的是将图 像数据转换成一个受害者的位置，从而成为一个数据格 式，容易处理医疗专业人员，这样他们可以查看场景准 确地从四面通过旋转和缩放。要实现的一个主要目标是 确保3D模型的纹理是高质量的，因此在警告标志和包装 上的文本尽可能清晰可见。为了实现生成特定于受害者的3D模型的目标，需要解决 一系列问题：图像数据的分配分为两个步骤：首先，需 要在2.1节中识别救援场景中的受害者，并在2.2节中过 滤错误。在第2.3节中，需要确定观测摄像机本身的位置 , 并且根据第2.4节中的这些信息，需要将个别受害者的 位置分开，这可以通过聚类来完成。最后，在第2.5节中 , 可以执行从RGB-D图像数据到纹理三维模型的转换过程。*通讯作者：苏珊 ·克里比希，吕贝克大学，拉茨伯格大学 160,23562吕贝克，德国，电子邮件：苏珊。kriebisch@student.uni-luebeck.德拉尔夫 ·布鲁德，弗洛里斯 ·恩斯特，吕贝克大学机器人和认知开<img src="/media/202408//1724856291.814571.png" /><img src="/media/202408//1724856291.827013.png" />问研。究©,所20，23<img src="/media/202408//1724856291.8840342.png" />3，5<img src="/media/202408//1724856291.902003.png" />2者，(s德)，<img src="/media/202408//1724856291.915967.png" />德 ·格鲁伊特出版。 许可证。2.1人体检测为了可靠地识别显示受害者的RGB-D图像，必须在救援地 点的系统检测到人类。重要的是要考虑到要找到它们的 条件。救援地点可能会被碎片摧毁，这些碎片可能也会 覆盖部分受害者。受害者本身的生命体征和外观可能会 偏离正常状态，而且通常不能自己活动。该作品根据知识共享署名4.0国际版获得授权<img src="/media/202408//1724856291.92182.png" /><img src="/media/202408//1724856291.931572.png" /><img src="/media/202408//1724856291.942102.jpeg" /><s>	</s> S.克里ebisch等人，救援地点周围受害者的3D模型在文献中已知的检测人类的方法有很多。热敏相机等传 感器是根据人体体温来检测人体的一种选择。然而，这 需要额外的硬件，而且非理想，因为体温也受到受害者 状况或救援地点周围环境的影响。为了简单和成本，坚 持只使用RGB-D数据作为信息源是可取的。为此，使用预 先训练过的对象检测器，如YOLO [3]是一个常见的选择。然而，更进一步地思考未来，不仅知道受害者的位置，而且知道受害者的姿势，对受害者的医疗记录有额外的 好处。为了追踪单个身体部位，我们考虑了两种常见的 骨骼追踪器，3DiVi和Openpose [4]，并测试了它们是否 适合于不同姿势的受害者的救援场景。努特拉克在高度 相关的谎言姿势上表现不佳。开放姿势不仅能够识别所 有测试姿势中的人类，包括躺着、坐姿和站立，而且受 害者的检出率很高，他们的四肢、胸部或头部被碎片等 其他物体覆盖。 由于其整体的最佳能力，Openpote被选 择用于人类检测。被检测到的骨骼具有特定于每个骨骼 的25个可检测点的确定性分数，即“关节 ”。检测发生 在图像流的单个RGB图像上，如图1所示。不幸的是，识 别每一具骨骼的一个问题是错误检测的高率，不仅是海 报上的人类，而且其他非人类物体也被识别为骨骼。2.2过滤骨架检测为了处理Openpose输出中的错误检测，我们应用了两种 方法：抵消错误的简单第一步是过滤不包含最小检测关 节数量的骨架检测，确定性分数高于定义阈值的骨架检 测。在我们的用例中，将每个有效骨架检测到的最小关 节数设置为5个，将确定性阈值设置为50%以上被证明是 一个有用的度量。这两个数字的进一步增加也将防止部 分覆盖的受害者被发现，因此是不可取的。其次， 由于 Openpose的检测算法只适用于颜色数据，而不考虑深度 信息，因此过滤具有身体部位不现实尺寸的骨骼检测具 有很大的影响。利用RGB-D相机的深度信息，将检测到的 身体部位的长度计算为相应关节之间的欧氏距离。然后 将它们与来自DIN 3402-2规范的真实身体尺寸进行比较 , 并附加-每个身体部位的实际安全边际可达20厘米。这两种测量 方法能够过滤出大多数的错误检测。.32在RGB-D数据上的自定位生成特定于受害者的3D模型的下一步是识别哪些颜色和 深度图像对应于救援地点的个别受害者。 由于Openpose 无法跨帧重新识别特定的人，因此有必要知道哪些图像 是在救援地点内的哪个位置拍摄的。Openpote输出包含 关于特定于相机局部坐标系的每个检测到的骨架关节的 坐标的信息。然而，我们并没有提供关于这些图像在救 援地点的全球坐标系中的位置的信息。为了将骨骼检测 从局部坐标系转换为全局坐标系，必须获取测程信息。 有几种选项可以做到这一点，包括向系统中添加一个信 息源，比如GPS。然而，当要在室内收集测速信息时，GPS的表现并不够好。光学测量信息也可以从已经获得的颜色和深度信息中检 索出来，作为三维模型生成的基础。随着时间的推移，[5]出现了各种不同的视觉大满贯算法。具体来说，软件 包RTAB-Map [6]在机器人操作系统ROS中适用和使用，这 是一个框架，能够管理和处理来自各种传感器的数据，通常用于机器人用例。利用RTAB-Map提供的测程信息，可以识别救援地点的图像被记录，并利用深度信息生成 地点的平面图。图2中的上部图像显示了一个生成的障碍 地图，并作为一个覆盖层，在一个全球世界坐标系中检 测到的骨架关节。除了2D地图外，还可以将颜色和深度 图像对与它们被拍摄的位置进行匹配，从而生成救援地 点的彩色3D地图作为点云。2.4聚类骨架检测来区分个别的受害者第2.2节的骨架检测和第2节的自我定位。3、可以使用集 群化的方式。为此，将骨架关节坐标转换为救援站点内 的全局三维点。假设受害者的地面高度与救援地点无关 , 它适用于使用全局2D点而不是3D点。 由于受害者的数 量尚不清楚，因此必须选择一种不需要使用的聚类算法S.克里ebisch等人，救援地点周围受害者的3D模型<img src="/media/202408//1724856292.062165.png" /><table><tr><td></td></tr></table>图2: 从上到下：为方向的障碍地图，检测到的骨骼部分显示与颜 色编码的可能性在地图和派生的局部人类检测集群作为输入参数的结果集群的数量。平均位移算法[7]是一 个合适的选择。它的基本原理是识别一个随机选择的起 点半径内的所有点。计算该半径内所有点的平均位置，然后作为新的点，周围识别其半径内的所有点。这样， 就可以生成一个向量场，其中两点之间的向量指向它们 的簇中心。一旦算法收敛到一个集群中心，它就会重新 开始一个随机的，而不是以前查看的点，直到数据集的 所有点都被检查并因此聚类。唯一需要的参数平均位移 是它的半径。在这里，我们有一个合理的考虑半径是考虑属于同一个人的两个开放关节检测可以具有 的预期最大距离。在开放的关节点内，可以彼此相距最 远的一对是颈部和中臀部。再次参考DIN 33402-2标准， 在18-65岁的德国男性中，以坐姿，855毫米覆盖了眼电 梯和椅子之间的距离。选择半径是一种权衡，即可能将 几个个体识别为一个个体，如果它们之间的位置太近， 然后由于不完善的测程法识别比现在更多的个体。前者 在试图确定救援地点本身的受害者地点时更适用， 以便 为救援人员提供可前往的位置。后者可能更适合生成单 个患者的3D模型，因为它们可能不包含其他患者的表示 。然而，在几个受害者位于顶部或部分相互覆盖的情况 下，这一论点是薄弱的，因为其他受害者的身体很可能 对一个受害者的状况产生影响。在我们的用例中，当受 害者没有发生在群体中时，一个合适的半径选择被证明 是100cm.使用此作为输入参数，“平均位移 ”可以为每个 受害者找到一个位置，即相应的集群中心。这可以在图2 的底部图像中看到。2.5以人为本的三维模型创建本文的主要目标是将在救援场景中记录在静止受害者周 围的颜色和深度图像融合成特定于现场每个受害者的三 维整体模型。生成的三维视图旨在描述表面上的详细颜 色信息。为了实现这一点，使用迭代最近点[8]和稀疏束 调整[9]算法，从颜色、深度和测程数据生成的点云进行 精细调整。使用平均位移生成的集群中心，可以在每个 受害者周围裁剪特定受害者的点云，该集群中心确定每 个受害者的位置作为参考点。然后，可以使用镶嵌技术 将点云转换为三维曲面模型。在这样做的过程中，确定 了各个点之间的关系，从而可以识别出形成三维物体表 面纹理的三角形。最后一步是将颜色信息投影到表面面 积上。为此，必要的算法由RTAB-Map工具箱[6]提供。这 样就可以过滤掉在一定尺寸以下的相干镶嵌结构的形式 出现的噪声。为了优化所得到的三维模型，建议应用表 面平滑技术，以便使平面用最小的三角形表示。这使得 颜色投影可以更少地扭曲，并且在受害者周围可能的文 字和警告标志可以更清晰地可见。被证明是有用的参数 可以在表1中找到。 由此产生的3D模型可以保存为多种文 件格式，包括波前的OBJ格式， 自第2020a版以来是DICOM 兼容的。3评价该评估的目的是证明在现实的医疗目的救援场景中生成 详细的受害者三维模型的可行性。在德国救援机器人中 心[1]选择了一个模拟救援地点，其中包含典型姿势的受 害者，从救援机器人上或救援人员手动携带的摄像机生 成RGB-D数据流。对每条流进行人工检测、过滤、 自定位 、聚类，最后创建三维模型的过程。人工检测通过开放 姿态和过滤来可靠地工作。vi-的估计<s>	</s> S.克里ebisch等人，救援地点周围受害者的3D模型帐单 1: 用于生成的参数RTAB三维模型<table><tr><td>参数</td><td>规格</td></tr><tr><td>后处理</td><td>检测更多闭合闭合：集群半径1米；集群角度 30度；5次迭代；细化与ICP的链接： true；稀疏的包调整（SBA） ：g2o、20次迭代；1,00像素方差</td></tr><tr><td>云过滤 云平滑</td><td>搜索半径：5cm；最小邻居半径：5MLS搜索半径：4cm</td></tr><tr><td>啮合泊松曲面重建纹理 映射</td><td>表面重建方法：泊松效应；传输颜色半径：3cm；纹理映射：true目标多边形尺寸：3cm，点重量：4；最小深度：5输出纹理大小： 8192x8192；多边形与相机的 最大距离这台相机的纹理：3米；最小聚要进行纹理处理的gon集群大小：50；距离到相机策略：true</td></tr></table>在某些情况下，苏阿尔测速法在某些情况下受到光照条 件或由于相机运动不稳定而选择的轨迹的影响。这些发 现与文献[10]中描述的困难相一致。尽管如此，无论是 自定位的不准确，还是关于骨架检测的不准确，都没有 缺陷，聚类的结果不足以成为生成三维模型的一个缺陷 。从每个受害者的单个数据流中成功地创建了详细的3D 模型。表1中的参数使救援现场的受害者模型得以详细可 视化，如图3所示。<img src="/media/202408//1724856292.145772.png" /><table><tr><td></td></tr></table>图3: 可自由旋转的受害者3D模型（左）和详细视图，具有良 好的文本和图纸可读性（右）4结论仅使用一个RGB-D数据流，就可以在救援地点发现和定位 受害者。了解每个受害者的位置，一个3D模型在现场显 示他们，并捕捉他们的直接环境，可以生成高水平的细 节。这种3D模型可以很容易地合并到医疗文件中，因为 它们是双兼容的。作者声明研究资助：这项工作由联邦教育和研究部（BMBF）资助 , 拨款13N14862（A-DRZ），cf。<a href="https://rettungsrobotik.de">https://rettungsrobotik.de</a>.我们感谢我们的项目合作 伙伴和合作者。利益冲突：作者陈述没有利益冲突。知情同意：本研究中所有个体均已获得 知情同意。参考文献[1]Kruijff-科尔巴约娃，我，等人。德国救援机器人中心（DRZ ) ：机器人系统协助应急响应的整体方法。2021年IEEE国际 研讨会关于安全、安全和救援机器人（SSRR）。2021年IEEE。[2] Mustra，M，克雷西米尔D，和Mislav G。“DICOM标准的概 述。 ”2008年第50届国际研讨会ELMAR。卷。1.IEEE，2008年。[3] Jocher，G.，欧亚，A.，邱，J。 (2023).约洛 通过超催化学（8.0.0版）[计算机软件]。<a href="https://github.com/ultralytics/ultralytics">https://github.com/ultralytics/ultralytics</a>[4] Cao，哲，等。使用部分亲和字段实时多人2姿态估计。IEEE 关于计算机视觉和模式识别的论文。2017.[5] Ragot，尼古拉斯，等人。“视觉slam算法的基准：Orb-slam2vsrtab-map。 ”2019年第八届新兴安全技术国际交流大 会（EST）。IEEE，2019。[6] Labbe，马修和弗朗索瓦 ·米肖。“RTAB-Map作为一个开源 的激光雷达和视觉同步定位和地图图书馆，用于大规模和长 期的在线操作。 ”《野外机器人技术杂志》36.2（2019年） ：416-446。[7] Comaniciu, D.和Meer，P。均值位移：一种稳健的特征空 间分析方法。在： IEEE交易模式分析和机器智能24(5)：603-619,2002。[8]张，Z。 (1994).用于自由形式曲线和曲面配准的迭代点匹 配。国际计算机视觉杂志，13(2)，119-152。[9]科诺里格，K.，车库，W。 (2010年9月）。稀疏的捆绑调整。在 BMVC(卷。10, pp.102-1).[10]梅尔兹利亚科夫，A.，马肯斯基，S。 (2021年9月）。对现代 通用视觉SLAM方法的比较。2021年IEEE/RSJ智能机器人和系 统国际会议（IROS） (pp。9190-9197).电器和电子工程师学 会