156 | La Lettre de l'Hépato-gastroentérologue • Vol. XIX - n° 3 - mai-juin 2016

DOSSIERLa chirurgie de demain

Réalité augmentée... une nouvelle ère pour la chirurgie hépatique ?Augmented reality. . . a new era in hepatic surgery?

Patrick Pessaux 1, 2, 3, 4, Riccardo Memeo 1, 2, 3, 4, Vito De Blasi 1, 2, 3, Didier Mutter 1, 2, 3, Luc Soler 2,3, Jacques Marescaux 1, 2, 3

1 Unité de chirurgie hépato-biliaire et pancréatique, service de chirurgie digestive et endocrinienne.

2 IRCAD, Institut de recherche contre les cancers de l’appareil digestif, Strasbourg.

3 Institut hospitalo-universitaire de Strasbourg de chirurgie mini-invasive guidée par l’image (IHU Mix-Surg).

4 INSERM U1110, Strasbourg.

La résection chirurgicale offre actuellement le meilleur taux de survie chez les patients atteints d’un cancer primitif ou secondaire du foie. Tou-

tefois, moins de 50 % des patients sont éligibles à cette chirurgie hépatique. Une connaissance précise de l’anatomie du foie est essentielle pour proposer une résection hépatique. Les descriptions anato-miques de C. Couinaud (1) et H. Bismuth (2) sont largement acceptées pour décrire avec pertinence l’anatomie segmentaire du foie. Cette anatomie peut être mise en évidence par l’imagerie médicale et généralement grâce aux clichés scanner et IRM. Bien que ces clichés d’imagerie contiennent toutes les données requises pour les tumeurs, les struc-tures vasculaires et les voies biliaires, les chirurgiens peuvent trouver qu’il est difficile de percevoir les rapports qu’entretiennent ces structures au cours de la planification de l’intervention. Il semble ainsi essentiel d’offrir aux chirurgiens des outils qui faciliteront l’interprétation des clichés d’imagerie conventionnelle.

Optimiser l’acte chirurgical

La visualisation en 3D semble avoir des avantages significatifs par rapport à une visualisation standard en 2D, permettant d’optimiser la planification chirur-gicale. Pouvoir bénéficier durant la chirurgie de la visualisation de la planification préopératoire permet de réaliser une réelle navigation peropératoire. En effet, le patient virtuel ainsi obtenu peut être utilisé pour faciliter et optimiser à la fois le diagnostic et la planification de l’opération. Lorsque les données préopératoires sont associées aux données peropé-ratoires, il est également possible de développer un logiciel de guidage définissant ainsi la réalité aug-mentée. La réalité augmentée affiche le modèle 3D

du patient et une modélisation 3D des instruments avec superposition de la vidéo chirurgicale réelle, permettant ainsi d’optimiser la vue réelle grâce aux données virtuelles. Le patient devient alors virtuel-lement transparent afin que le chirurgien puisse localiser les vaisseaux et les tumeurs qui ne sont pas directement visibles et qu’il ne pouvait aupara-vant percevoir uniquement par le toucher. Il n’existe actuellement aucune solution commerciale offrant une assistance peropératoire permettant de guider les chirurgiens dans l’utilisation d’une telle modé-lisation. Les travaux de recherche dans ce domaine se polarisent sur la ponction de tumeur hépatique, ou s’appuient sur l’utilisation peropératoire d’une échographie 2D du foie. Dans le premier cas, les auteurs utilisent généralement une méthode d’en-registrement rigide, supposant ainsi que le patient reste dans une position enregistrée identique à celle acquise avant la chirurgie. Dans le second cas, les auteurs peuvent seulement afficher la position des structures qui sont visibles sur le cliché d’écho-graphie 2D. Afin de pallier ces obstacles, nous avons développé une solution globale dont l’objectif est de simpli-fier toute l’intervention. La première étape propose une nouvelle méthode automatisée de délimitation des organes et des structures pathologiques. Nous avons ensuite associé un logiciel de planification chirurgicale, développé et optimisé pour une utili-sation chirurgicale et non radiologique. Enfin, nous avons développé un logiciel d’assistance peropéra-toire permettant de réaliser une réalité augmentée et interactive. Cette méthode fournit une réalité augmentée efficace et précise à partir d’une caméra endoscopique ou externe, mais dans un champ de vision limité puisqu’un enregistrement global précis dans un champ de vision plus large est impossible avec la méthode proposée.

0156_LGA 156 08/06/2016 10:04:02

La Lettre de l'Hépato-gastroentérologue • Vol. XIX - n° 3 - mai-juin 2016 | 157

Points fortsMots-clésRéalité augmentée

Ordinateur

Hépatectomie

Modélisation

Navigation

Highlights » The 3D visualization seems

to have significant advantages compared with a standard 2D view, and particularly to under­stand more easily the liver ana­tomical abnormalities. » Surgical planning softwares

have been developed for per­forming virtual resections of the liver or any other organ. » Augmented reality is based

on two main processes: 3D modeling of medical imaging to obtain a virtual clone of the patient and recording these data visualization overlay on the patient. » Augmented reality is clearly

the next step of the new gene­ration of surgical instruments but is currently limited due to the complex deformations of organs during surgery. » Intraoperative imaging used

in the new generation of automated augmented reality should meet this challenge by creating a hybrid operating room.

KeywordsAugmented reality

Computer

Hepatectomy

Modelisation

Navigation

Modélisation 3D du patient

La manière la plus courante d’analyser des clichés d’imagerie médicale en 3D consiste à visualiser les données avec une technique de rendu de volume direct (figure 1). Cette technique est largement dis-ponible sur les consoles de post-traitement dans les unités de radiologie. L’accès à cette technique peut se faire via des logiciels gratuits sur Internet, comme OsiriX (limité à MacOS) [3] ou VR-Render© IRCAD2008 (fonctionnant sous environnement Windows, MacOS et Linux) [4]. Cette technique peut être suffisante pour fournir une visualisation en 3D correcte des structures anatomiques et patho-logiques. Le volume des organes et des lésions n’est toutefois pas disponible, et le rendu de volume rend difficile la résection virtuelle d’un organe sans sec-tionner complètement ses structures de voisinage. Pour remédier à cet obstacle, chaque structure ana-tomique et pathologique de l’imagerie médicale doit être identifiée et délimitée. Les modèles 3D qui en résultent peuvent être visualisés individuellement grâce au rendu de surface (figure 1). Cette seconde solution est plus adaptée à l’usage chirurgical, aussi bien pour la planification préopératoire qu’en phase peropératoire pour le guidage, chaque structure ayant une identification différente par l’attribution d’une couleur différente.

Actuellement, il existe un grand nombre d’ou-tils logiciels permettant de délimiter, recons-truire et visualiser les organes et les pathologies des patients en 3D avant la chirurgie à partir des clichés d’imagerie médicale (Myrian® de Intrasense, Ziostation© de Ziosoft, Synapse© Vincent de Fujinon, Iqqa® Liver de Edda Techno-logy, Scout™ Liver de Pathfinder).Nous proposons une nouvelle méthode s’appuyant sur une segmentation hiérarchique des organes visibles, à partir de la plus facile à la plus complexe, déjà rapportée (5-8). Pendant de nombreuses années, la segmentation anatomique du foie a fait l’objet de débats. La segmentation de C. Couinaud est actuellement la référence utilisée par la plupart des chirurgiens, mais elle est critiquée par de nombreux auteurs qui mettent en lumière ses limites, voire des erreurs de segmentation. C. Couinaud lui-même (9) a décrit ces anomalies topographiques. Il a démontré sur 111 cas qu’il existait des incohérences entre topo-logie vasculaire et topographie des segments, qui pourraient être corrigées en ayant recours à notre logiciel de modélisation 3D et de segmentation. Celui-ci garantit l’efficacité topologique de la seg-mentation finale et il n’ajoute aucune restriction topographique artificielle pour éviter les limites ou les erreurs de segmentation de Couinaud.

» La visualisation 3D semble avoir des avantages significatifs par rapport à une visualisation standard en 2D, et particulièrement celui d’appréhender plus facilement les anomalies anatomiques hépatiques.

» Des logiciels de planification chirurgicale ont été élaborés, permettant de réaliser des résections virtuelles du foie ou de tout autre organe.

» La réalité augmentée s’appuie sur 2 processus principaux : la modélisation 3D des clichés d’imagerie médi-cale permettant d’obtenir un clone virtuel du patient et l’enregistrement de ces données de visualisation par superposition sur le patient.

» La réalité augmentée est clairement la prochaine étape de la nouvelle génération d’instruments chirurgicaux, mais reste actuellement limitée en raison de la complexité des déformations d’organes au cours de la chirurgie.

» L’imagerie médicale peropératoire utilisée dans la nouvelle génération de réalité augmentée automatisée devrait répondre à cet enjeu par la création d’un bloc opératoire hybride.

A B

Figure 1. Comparaison entre rendu de volume direct (A) et rendu de surface après modélisation du patient (B).

0157_LGA 157 08/06/2016 10:04:03

158 | La Lettre de l'Hépato-gastroentérologue • Vol. XIX - n° 3 - mai-juin 2016

Réalité augmentée... une nouvelle ère pour la chirurgie hépatique ?

DOSSIERLa chirurgie de demain

Logiciel de planification chirurgicale virtuelleAucune modélisation 3D ne peut être utilisée sans logiciel de visualisation. Comme nous l’avons pré-cédemment rappelé, les logiciels traditionnels ont principalement été développés pour une application en radiologie et, par conséquent, ils ne fonctionnent pas tous sous les mêmes systèmes d’exploitation. Afin de résoudre ce problème, nous avons déve-loppé plusieurs outils à l’aide de notre architecture FW4SPL.Un premier logiciel de visualisation (VR-Render©

IRCAD2010) qui fonctionne sous Windows, Linux et MacOS, a ainsi été développé pour les radiologues. Il permet de visualiser des images de différents formats, tels que DICOM, InrImage, Jpeg, Vtk et FwXML en 2D (vues frontale, sagittale et axiale) ou par tranches 3D grâce au rendu de volume direct. Comme tous les systèmes de rendu de volume disponibles sur les postes de travail des unités d’imagerie médicale, il nécessite une fonction transfert permettant de régler les paramètres de la vue 3D. Plusieurs fonctions de rendu automatique ont été intégrées pour les clichés

d’imagerie tomodensitométrique afin de faciliter l’utilisation du logiciel. Cela permet de visualiser le cliché d’imagerie médicale dans les plans axial, sagittal et frontal (vue de rendu multiplanaire) par superposition 3D de la modélisation 3D du patient. En utilisant la même architecture FW4SPL, nous avons développé une nouvelle version optimisée de VR-Render© dédiée aux chirurgiens, plus facile à utiliser grâce à une interface conviviale et opti-misée (https:/www.visiblepatient.com/fr/products/software/). Ce site de formation offre de plus un éventail de cas cliniques assortis de vidéos opéra-toires. Cela permet un apprentissage efficace de son utilisation en s’appuyant sur des cas cliniques spécifiques. À partir de VR-Render© WLE, nous avons finalement développé un logiciel de planification chirurgicale pour la résection virtuelle du foie ou de tout autre organe. En comparaison de notre précédent logi-ciel de planification chirurgicale virtuelle en 3D (3D VSP) développé en 2002 (10), VR-Planning© inclut toutes les fonctions VR-Render© WLE (visionneuse 2D DICOM et rendu de volume direct). Le logiciel permet également de découper plusieurs régions du foie (c’est-à-dire plusieurs composants topolo-giques), tandis que le 3D VSP permettait uniquement de découper 2 composants. Une multisegmen-tectomie est par conséquent possible. Le calcul automatique du pourcentage de foie restant après résection constitue une deuxième amélioration importante, alors que le 3D VSP ne fournissait que le volume (figure 2).

Navigation peropératoire

La planification chirurgicale préopératoire peut principalement améliorer l’efficacité des interven-tions en chirurgie mini-invasive grâce à une meil-leure connaissance de l’anatomie du patient et un véritable entraînement préopératoire. Cependant, cette utilisation ne suffit pas à garantir que cette intervention chirurgicale virtuelle puisse être repro-duite dans la réalité. Une telle amélioration peut être apportée par l’utilisation peropératoire de la réalité virtuelle, à travers le concept de réalité augmentée. En effet, la réalité augmentée consiste à superposer la modélisation préopératoire en 3D du patient sur la vue peropératoire réelle du patient. Cela apporte une vue en transparence des patients et peut égale-ment guider les chirurgiens grâce à une visualisation virtuelle de leurs instruments chirurgicaux réels, qui sont suivis tout au long de l’opération.

A B

C

DE

Figure 2. VR-Planning© 2010 permet un suivi dans le temps (A, B, C) et des planifica-tions chirurgicales virtuelles (D et E).

0158_LGA 158 08/06/2016 10:04:05

La Lettre de l'Hépato-gastroentérologue • Vol. XIX - n° 3 - mai-juin 2016 | 159

Réalité augmentée... une nouvelle ère pour la chirurgie hépatique ?

DOSSIERLa chirurgie de demain

Les méthodes existantes ne permettent pas actuel-lement de superposer la modélisation 3D préopéra-toire en temps réel, surtout à cause du déplacement et de la déformation d’organes au cours de l’inter-vention chirurgicale, en comparaison de la position et la forme de ces organes sur l’image préopératoire. Afin de surmonter ces limites, nous proposons une approche nouvelle qui consiste en un processus interactif appelé “Interactive Augmented Reality” (IAR). Cette méthode est une extension de notre méthode décrite en 2004 (11) et est développée pour les tumeurs de la glande surrénale. Notre pre-mière méthode s’appuyait sur une IAR effectuée à partir d’une vue externe du patient. Cette nouvelle méthode ne nécessite pas d’activation externe, puisque l’IAR est directement effectuée à partir de la vue de la caméra (vue laparoscopique pour les chirurgies mini-invasives et vue externe pour la chirurgie ouverte). La méthode consiste à visualiser simultanément, sur le même écran, la vue de la vidéo du patient en peropératoire ainsi que la modélisation préopératoire en 3D et à changer manuellement la position, l’échelle et l’orientation du modèle 3D pour que les points de repère visibles coïncident à la fois sur le modèle 3D et sur la vue réelle du patient. Afin que cela puisse être réalisé en temps réel, la manipulation du modèle 3D, qui permet de le superposer sur la vue réelle, a été simplifiée le plus possible avec l’utilisation d’une simple souris. Pour la chirurgie hépatique, les utilisateurs se fieront aux points de repère anatomiques visibles, comme par exemple les bords du foie, la fissure ombilicale, les ligaments suspenseurs ou la vésicule biliaire. Cette méthode est par conséquent extrêmement visuelle, ce qui implique une bonne coordination de la main et de l’œil. Le principal avantage est la possibilité de corriger l’enregistrement à n’importe quel moment à travers l’interaction en temps réel du modèle 3D. L’utilisateur doit détecter les mouve-ments des points de repère visibles dans l’image et ajuster de la même manière la position du modèle 3D afin de suivre ces mouvements. De plus, grâce aux outils de résection virtuels du VR-Planning©, l’utilisateur peut modifier la topologie d’un organe pendant l’intervention chirurgicale en réséquant cet organe de manière virtuelle. Une évaluation a été effectuée au sein de notre département de chirurgie pour tester l’efficacité de l’IAR. Cette technique a été appliquée dans dif-férentes interventions chirurgicales de type oncolo-gique pour le foie, le pancréas, la glande surrénale, et la résection de tumeur parathyroïdienne (11-15). Les dernières applications ont été réalisées pour des

chirurgies du foie et du pancréas en superposant la vue virtuelle sur la vue du système de contrôle du robot da Vinci® (figure 3) [12, 13]. Le contrôle vas-culaire a également montré l’efficacité du système malgré l’interaction requise pour son bon fonction-nement. Un positionnement optimisé des outils a également été réalisé grâce à l’utilisation de la réalité augmentée. Associée à un logiciel de planification chirurgicale dédié à la chirurgie du foie, cette modélisation offre de nouvelles possibilités d’optimisation de la chirurgie hépatique. Utilisée pendant l’intervention, cette modélisation peut guider les chirurgiens en leur offrant une vue de réalité augmentée, pour des voies d’abord particulières comme pour une hépatectomie par voie transthoracique (figure 4, p. 160) [14], ou bien pour la détection de métastases hépatiques difficilement individualisables après une chimiothérapie néo-adjuvante (figure 5, p. 160) [15]. Si le processus de modélisation 3D via un service en ligne semble vraiment efficace, une assistance peropératoire nécessitera davantage de validation pour démontrer un vrai bénéfice. Toutefois, à partir d’une interaction dépendante de l’utilisateur, la méthode proposée restera limitée et devra être remplacée à l’avenir en intégrant des modèles d’organes déformables en temps réel.

A B

C

Figure 3. Vue opératoire dans la console du robot (A) avec réalité augmentée (B). Vue opératoire avec réalité augmentée au cours de l’hépatotomie (C).

0159_LGA 159 08/06/2016 10:04:06

160 | La Lettre de l'Hépato-gastroentérologue • Vol. XIX - n° 3 - mai-juin 2016

Réalité augmentée... une nouvelle ère pour la chirurgie hépatique ?

DOSSIERLa chirurgie de demain

R. Memeo, V. De Blasi, D. Mutter, L. Soler et J. Marescaux n’ont pas précisé

leurs éventuels liens d’intérêts.

Des solutions d’avenir associeront certainement une simulation prédictive avec une analyse d’imagerie médicale en temps réel pour surmonter les limites imposées. En guise d’efficacité, une modélisation spécifique au patient devra intégrer davantage de données que le modèle géométrique seulement. Les propriétés mécaniques, une anatomie fonctionnelle et une modélisation biologique amélioreront progressivement la qualité de la simulation et de la prédiction qui, en combinaison avec une analyse d’imagerie médicale peropératoire, fournira la précision nécessaire.

Conclusion

La réalité augmentée est clairement la prochaine étape de la nouvelle génération d’instruments chirurgicaux. Toutefois, elle reste actuellement limitée en raison de la complexité des déformations d’organes au cours de la chirurgie. Ces travaux de recherche représentent la première étape essentielle pour l’automatisation du geste opératoire, ce qui réduira les erreurs chirurgicales. En effet, la planifi-cation de l’intervention chirurgicale permettra tout d’abord de repérer les mouvements imparfaits, voire superflus. Ainsi détectés, ces mouvements seront transmis à un robot chirurgical qui, à l’aide de la réalité augmentée et d’un asservissement visuel, sera en mesure de reproduire précisément les gestes optimisés du chirurgien. La chirurgie de demain est en marche. ■

1. Couinaud C. Liver anatomy: portal (and suprahepatic) or biliary segmentation. Dig Surg 1999;16(6):459-67.2. Bismuth H. Surgical anatomy and anatomical surgery of the liver. World J Surg 1982;6(1):3-9.3. OsiriX Imaging Software, disponible en ligne : www.osirixviewer.com4. Render VR, Websurg LE, disponible en ligne : https:/www.visiblepatient.com/fr/products/software/5. Soler L, Nicolau S, Hostettler A et al. Computer Assisted Digestive Surgery. In: Garbey M., Bass BL, Collet C, de Mathelin M, Tran-Son-Tay, R. (eds.). Computational Surgery and Dual Training. US Ed: Springer, 2010;139-53.6. Mutter D, Soler L, Marescaux J. Recent advances in liver imaging. Expert Rev Gastroenterol Hepatol 2010;4(5):613-21.

7. Ruskó L, Bekes G, Fidrich M. Automatic segmentation of the liver from multi- and single-phase contrast-enhanced CT images. Med Image Anal 2009;13(6):871-82.8. Heimann T, Meinzer HP, Wolf I. A statistical deformable model for the segmentation of liver CT volumes. In Proc MICCAI Workshop on 3D Segmentation in the Clinic: a Grand Challenge 2007:161-6.9. Couinaud C. Errors in the topographic diagnosis of liver diseases. Ann Chir 2002;127(6):418-30.10. Koehl C, Soler L, Marescaux J. PACS based interface for 3D anatomical structures visualization and surgical planning. Proc SPIE 2002;4681:17-24.11. Marescaux J, Rubino F, Arenas M et al. Augmented reality-assisted laparoscopic adrenalectomy. JAMA 2004;292(18):2214-5.

12. Pessaux P, Diana M, Soler L et al. Robotic duode-nopancreatectomy assisted with augmented reality and real-time fluorescence guidance. Surg Endosc 2014;28(8):2493-8.13. Pessaux P, Diana M, Soler L et al. Towards cybernetic surgery: robotic and augmented reality-assisted liver seg-mentectomy. Langenbecks Arch Surg 2015;400(3):381-5.14. Hallet J, Soler L, Diana M et al. Trans-thoracic minimally invasive liver resection guided by augmented reality. J Am Coll Surg 2015;220(5):e55-60. 15. Ntourakis D, Memeo R, Soler L et al. Augmented Reality Guidance for the Resection of Missing Colorectal Liver Metastases: An Initial Experience. World J Surg 2016;40(2):419-26.

Références bibliographiques

RemerciementsCes travaux font partie intégrante du projet PASSPORT e-Santé de la Commission européenne, dans le septième programme-cadre, financé par le programme ICT (Technologies de l’information et de la communication).

P. Pessaux déclare avoir des liens d’intérêts avec Integra : orateur pour un symposium.

Figure 4. Réalité augmentée interactive réalisée permettant d’optimiser la position des trocarts lors d’une hépatectomie par voie transthoracique.

A B

Figure 5. Vue opératoire lors d’une hépatectomie multiple par laparotomie pour métastases d’origine colique (A) et vue avec réalité augmentée permettant d’aider à la détection des lésions (B).

0160_LGA 160 08/06/2016 10:04:08