Réalité mixte à l’hôpital: Microsoft HoloLens transformée en assistant chirurgie

L’AP-HP* a réalisé une première mondiale dans le segment de la santé connectée: l’exploitation de la « réalité mixte » dans le cadre d’une intervention chirurgicale avec retransmission en direct et interaction avec des médecins à distance.

Une série de partenaires a été mise dans la boucle sous la houlette du service de chirurgie orthopédique et traumatologique de l’hôpital Avicenne AP-HP : Microsoft, TeraRecon, Vizua,et Evolutis numérique.

Sous la supervision du docteur Thomas Grégory, une opération de l’épaule a été réalisée en s’appuyant sur la plateforme HoloPortal de TeraRecon et de la technologie holographique HoloLens de Microsoft exploitée à travers un casque de réalité mixte.

Comment l’intervention s’est déroulée dans le bloc opératoire? Equipé d’un casque HoloLens, le Dr Grégory a pu visualiser en hologrammes les modélisations 3D des clichés anatomiques de son patient projetées en temps réel.

Le chirurgien expert a pu affiner ses gestes au cours de l’opération en exploitant les technologies immersives et collaboratives. Notamment en accédant à des données médicales du patient (rapports médicaux, bilans biologiques, imagerie 2D) et à des tutoriels interactifs pendant l’opération.

Au cours de l’intervention chirurgicale, le Dr Grégory a pu s’entretenir avec d’autres experts localisés dans le monde qui suivaient l’opération par vidéo conférence Skype (Angleterre, Corée du sud, USA).

Dans le cadre de cette première mondiale, la plateforme HoloPortal connectée au casque HoloLens s’est appuyée sur la plateforme cloud Azure de Microsoft. Elle a été spécifiquement développée par TeraRecon (imagerie médicale) et Vizua (réalité augmentée).

HoloLens : un potentiel dans le secteur de la santé numérique

Selon AP-HP, la réalité mixte peut être exploitée à divers niveaux de la prise en charge du patient : informations, partage de données entre experts, interventions chirurgiques, formation et acquisition de compétences.

Son recours devrait se généraliser, selon l’hôpital Avicenne AP-HP.

Microsoft explore de plus en plus le potentiel de HoloLens dans le secteur de la santé. Lors de sa convention Microsoft Experiences 17 organisée en octobre, une session a permis de découvrir l’usage de la réalité mixte par l’hôpital Marie Lannelongue (Hauts-de-Seine) dans ses salles d’opération.

Objectif : permettre aux chirurgiens vasculaires, thoraciques et cardiaques de manipuler des « doubles virtuels » des patients à opérer. Un dispositif conçu avec TeraRecon et les technologies IA de Microsoft comme Cortana (contrôle vocal).

Vous pouvez découvrir la vidéo de l’opération sur YouTube (âme sensible s’abstenir) :

* Assistance publique – Hôpitaux de Paris (AP-HP), établissement public de santé qui exerce le rôle de centre hospitalier régional pour Paris et l’Île-de-France.