La RA, la RV et l'impression 3D comblent l'écart entre la radiologie et la chirurgie à l'UCSF
Les technologies 3D comme la réalité augmentée (RA), la réalité virtuelle (RV) et l'impression 3D fournissent aux médecins plus d'informations qu'en regardant des images 3D sur un écran 2D. Ces outils sont ainsi très utiles pour préparer les opérations chirurgicales à l'Université de Californie à San Francisco (UCSF). L'UCSF héberge l'un des meilleurs centres médicaux universitaires au monde et fournit des soins de santé avancés dans de nombreuses spécialités, tout en soutenant des efforts de recherche médicale et d'innovation considérables.
Dans cet article, nous avons pu poser quelques questions au Dr Jesse Courtier, radiologue en pédiatrie, qui se spécialise dans l'utilisation de la réalité augmentée à des fins de recherche et de soins des patients à l'UCSF.
Qu'est-ce qui vous a poussé à utiliser la technologie 3D (RA, RV, impression 3D) au sein de l'UCSF ?
« L'UCSF est un centre de référence pour les opérations chirurgicales très complexes dans de nombreuses sous-spécialités. Ainsi, le degré de préparation demandé par chaque opération est particulièrement élevé. L'imagerie médicale joue un rôle essentiel dans cette préparation. Nous avons constaté que l'imagerie 3D fournissait aux chirurgiens des informations conceptuelles supplémentaires importantes pour la préparation de ces opérations complexes qui allaient bien au-delà des simples reconstructions 3D sur des écrans 2D. Personnellement, en tant que radiologue en pédiatrie, il est indispensable que je puisse transmettre les informations complexes obtenues par les scanners et IRM d'une manière à la fois claire et compréhensible à mes collègues chirurgiens. »
« Les technologies 3D comme l'impression 3D et la RA (mon domaine d'intérêt) sont un outil puissant qui nous aide à combler l'écart entre le monde en 2D de la radiologie et le monde réel en 3D de la chirurgie. En outre, d'un point de vue chirurgical, trouver des moyens de réduire la charge cognitive globale que ces cas complexes impliquent grâce à une préparation avancée est un avantage supplémentaire plus que bienvenu. »
Quelles sont les principales utilisations auxquelles vous appliquez la RA ?
« Bien que je voie des utilisations possibles de la RA dans de nombreux domaines, nous avons déterminé quelques sous-spécialités pour lesquelles la préparation opératoire avec la RA se prête particulièrement. Les spécialités comme l'orthopédie, la chirurgie cardiothoracique, la cardiologie interventionnelle, les greffes de foie et la chirurgie pédiatrique font partie des domaines qui présentent des défis de complexité spatio-visuelle élevée et à des variations anatomiques considérables selon le cas. J'ai réalisé plus de 80 modèles de RA pour l'UCSF dans plusieurs sous-spécialités. Certains exemples spécifiques comprennent des fractures pédiatriques du coude, des réparations de malformations, des tumeurs hépatiques importantes et un cas cardiaque congénital extrêmement complexe. »
« Nous recherchons également des applications de la technologie de RA mobile lors de petites séances de groupe avec nos étudiants en médecine. En outre, nous commençons également à nous renseigner sur les possibilités de RA dans le cadre de sensibilisation de patients atteints de maladies cardiaques congénitales. Nous avons hâte d'en explorer le potentiel afin d'améliorer le respect des prescriptions des patients et d'amenuiser leur anxiété globale grâce à une meilleure compréhension de leur état. »
Comment la RA complète-t-elle l'impression 3D ?
« Je pense que la RA complète l'impression 3D en permettant de créer rapidement des prototypes et améliorations de modèles itératifs via un processus économe et écologique. Les modèles peuvent être testés et visualisés à répétition et à une échelle anatomique sans les contraintes habituelles des modèles physiques (gravité, épaisseur, dimensions de l'imprimante, coût). Elle permet également de collaborer à distance avec ses collègues grâce au partage de modèles 3D sans avoir besoin de modélisation physique. »
Quel logiciel utilisez-vous pour préparer les données d'imagerie médicale ?
« J'ai d'abord commencé mon voyage dans le monde de la 3D avec des logiciels gratuits et des applications commerciales génériques. Toutefois, au fil des multiples types de modèles que j'ai pu créer à l'UCSF, j'ai pris peu à peu conscience que nous allions avoir besoin d'applications logicielles plus avancées. J'avais besoin d'un logiciel fiable, doté de fonctionnalités diverses, qui une porterait une attention particulière à l'expérience et à l'interface utilisateur. L'UCSF a acheté la Materialise Mimics Innovation Suite via notre Centre d'imagerie 3D avancée + (dont je suis le codirecteur), et j'ai été très impressionné par ses fonctionnalités et ses capacités. Pour optimiser mon application spécifique à la RA du Microsoft HoloLens, que nous avons surnommé "Radha" (pour « Radiology with Holographic Augmentation »), j'utilise actuellement Blender à la toute fin du processus afin d'ajouter des couleurs optimisées pour la RA, des effets d'ombre et un nombre de polygones. »
AR models complement 3D printing by allowing for remote collaboration with colleagues without the need of physical models.
How has Materialise software enhanced your work?
“A current project we're working on with my colleagues in the ZSFGH Orthopedic Trauma Institute is an assessment of 3D AR models to improve pre-operative classification of complex acetabular fractures. We hypothesize these models will allow for a lower degree of inter-observer variability in fracture classification, which in turn guides appropriate clinical management in these cases. We aim to investigate the ability of 3D AR models created with the Mimics software's thickness analysis tool to determine optimal placement of fixation devices based on the bone thickness.”
Could you share a specific case or patient that was impacted by the use of AR?
“One particular case was a patient with a very complex congenital cardiac and abdominal malformation that required extensive chest and abdominal wall reconstructive repair. This case was planned between surgeons in pediatric surgery, pediatric cardiothoracic surgery, and plastic surgery. I segmented the case and created a full, scale holographic model including skin surface, bone, heart, lungs, airway, solid organs, and bowel. This model would have been extremely costly and challenging to display with any other method. I reviewed the model with my surgical colleagues in our surgical planning conference prior to the procedure and it was a success!”
Looking forward, what is needed to support the continued growth of this technology in medicine?
“I believe continued evidence building on the impact of Augmented Reality on clinical outcomes such as time under anesthesia, overall operating room time, and time under fluoroscopy will be critical for its widespread adoption. Continued innovation both in AR hardware and software will also be necessary to enable larger, more complex models that are not simply static representations, but animated models that reflect physiologic movements (breathing, heart rate, etc.). This will truly allow for realistic simulation and conceptualization for pre-surgical planning and more.”