SONY

SCIEMENT利用索尼的空间现实显示屏治疗先天性心脏病

SCIEMENT的Viewtify解决方案可将一系列医学图像转换为3D计算机图形,并提供史无前例的直观理解,使医生可将其作为心脏表面进行实时检查。

  1. 使儿科心脏病专家和心脏外科医生能够更好地观察先天性心脏病。
  2. 使神经外科医生能够更好地了解脑动脉瘤的位置。
  3. 使放射科医生能够更好地观察复杂血管的分支结构。
  1. 将基于DICOM标准的2D医学成像转换为可通过任何平面进行实时操作、旋转、放大和切割的3D计算机图形。
  2. 通过索尼的空间现实显示屏,在裸眼立体显示屏中显示如实体3D物体一般随头部运动而移动的图像。1,2
  3. 有望帮助医生更好地设计治疗方案,并以3D形式测试手术切割。3

*1 建议电脑具备Intel Core i7-9700K @3.60GHz或更快的CPU,以及例如NVIDIA GeForce RTX 2070 SUPER或更快的显卡。

*2 有关3D功能等产品用途的详情,请参阅产品附带的使用说明书。

*3 Viewtify和索尼的空间现实显示屏并非医疗设备,且仅用于研究和教育目的。


  1. 索尼的空间现实显示屏提供了比3D打印更快、更方便的3D建模。
  2. 实现了高度准确、深入细节的裸眼3D医疗可视化。
  3. 有望为更好的患者治疗奠定基础3

引述:

“这一裸眼立体解决方案将彻底改变医疗领域。”

- 博士(医学博士)、SCIEMENT股份有限公司总裁兼首席执行官濑尾扩史医生。

CT、MRI和回声成像是有助于指导医疗实践的不可或缺的成像工具。但它们生成的都是3D物体的2D图像。SCIEMENT的总裁濑尾扩史医生称:“在儿科心脏病学中,是很难通过这种图像想象准确的3D结构的。而且,即使合成了3D计算机图形,医生仍然会去看2D显示,这样就很难了解到细节。”

SCIEMENT的Viewtify解决方案随时都有可能改变医学3D成像。该系统使用Unreal Engine 4计算机图形软件,将多个2D图像合成为一个3D表面形状,使医生可以通过索尼的空间现实显示屏进行检查。濑尾医生表示:“索尼的裸眼立体3D显示屏可以直观地显示细节,因此即使是复杂的结构也很容易理解。”

包括造影心脏CT图像在内,Viewtify和索尼的空间现实显示屏可以帮助医生了解婴儿心脏具体的解剖结构。濑尾医生说:“先天性心脏病通常是通过观察超声心动图来分类的,但这往往具有一定困难。有了Viewtify解决方案后,就很容易对每个疾病进行分类了。并且,我们可以了解到,即使分类相同,每个病例实际的心脏形状或结构也是存在差异的。”3

该解决方案使医生能够在计算机中实时4操纵3D图像,进行旋转、平移、放大或缩小,并通过任何平面生成横切面。此外,医生还可以像检查实体物体一样在索尼的空间现实显示屏上“环视”3D图像。濑尾医生说:“通过空间现实显示屏的高分辨率和眼球追踪,我们可以确切地了解心内结构。”

濑尾医生表示,儿科心脏病专家和心脏外科医生对这一解决方案表现出了极大的兴趣。它的其他潜在应用还包括确认胸段硬膜外阻滞的椎间隙,了解复合性骨折中骨片的形状,查看脑动脉瘤中血管的复杂形状,以及法医学和医学教育领域的应用。


*4 建议使用通过Unity或Unreal软件创建的“高分辨率、高画质图像”


在医疗实践和医学教育中,3D显示也比3D打印更具有实用性优势。“通过3D显示,可以根据需要调整横切面、外观和比例。”濑尾医生如是说。“在3D打印物上,我们无法撤销切割,然后在其他地方重新切割。但是,通过索尼的空间现实显示屏,就可以(以虚拟方式)无限切割。”此外,与3D打印相比,3D图像的成像速度更快,不消耗昂贵的材料,无需物理存储,并且还适合制作用于论文和教科书的图形。

濑尾医生认为,3D观看是对2D医疗监视器的补充,而非替代。例如,他本人就在使用空间现实显示屏的同时使用索尼的手术模型显示器(LMD-X2705MD)。空间现实显示屏一次只能由一个人观看,而且并非为2D医学图像而设计。濑尾医生表示:“医生们总是希望看到最佳状态的DICOM图像。”

除了医疗培训,濑尾医生在计算机图形方面也拥有丰富的专业知识。他的可视化影像“多尺度多物理场心脏模拟器”在国际SIGGRAPH 2015计算机动画展览会上获得了最佳可视化或模拟奖。在这一年,他也开始了与Unreal Engine 43的合作。Viewtify解决方案可将基于DICOM标准的医学图像转换为Unreal Engine 4的内容。他说:“将3D计算机图形放到索尼的空间现实显示屏上是很容易的。此外,还需要适当的阴影和照明。而真正具有挑战性的是为2D和3D显示生成同步版本。就结果而言,付出的努力都是值得的。这一裸眼立体解决方案将彻底改变医疗领域。”


*3 建议使用通过Unity或Unreal软件创建的“高分辨率、高画质图像”。