Mixed reality kan vara mer synonymt med Pokémon Go än plastisk rekonstruktiv kirurgi, men virtuella lemmar som projiceras på verkliga kroppar har potentialen att revolutionera operationssalen.
Det är åtminstone vad ett samarbete mellan Microsoft och Imperial College syftar till att bevisa. På Londons St Mary’s-sjukhus används teknologijättens HoloLens för att hjälpa kirurger att rekonstruera skadad vävnad, som överlagrar en virtuell version av en patients anatomi innan de börjar skära. Tekniken har redan fått åtta framgångar.
Dimitri Amiras, en muskuloskeletal konsultradiolog på projektet, är övertygad: ”Du talar om att en bild är värd tusen ord, jag kan inte säga hur många ord blandad verklighet är värd.”
VVS klaffar
När en person förlorar en stor bit av kött, är ett sätt att fixa såret att transplantera vävnad från en annan del av kroppen. Den här biten, som kallas en flik, trycks inte bara in i hålet, utan måste istället noggrant plomberas in i blodkärlen runt det skadade området.
”Nyckeln i operationen är blodtillförseln”, förklarar Dr Philip Pratt, forskare vid Imperial Colleges avdelning för kirurgi och cancer. ”Du kan inte bara överföra en bit vävnad till såret. Det kommer att dö. Det behöver syresättas. Så dessa kärl som förser klaffen med syre måste föras in i den befintliga blodförsörjningen.
”Men du kan inte se dessa fartyg ytligt när du tittar på [skin’s] yta. Det här är nyckeln: kan vi använda blandad verklighet för att exakt lokalisera dessa kärl och spara tid under operationen?
LÄS NÄSTA: VR-företagen tillämpar speldesign på industrin
För närvarande använder kirurger doppler-ultraljudsavläsningar, CT-skanningar och pennmarkeringar för att lokalisera blodkärl. Detta är inte alltid korrekt, och betyder att tid kan slösas bort på att jaga efter fartyg som inte är tillräckliga för återkoppling, eller som kan ha skadats av vad som än orsakade såret. För en procedur som kan ta 10-12 timmar att slutföra är dessa bortkastade ögonblick avgörande för att styra operationens framgång.
(CTA-avbildning som visar platsen för perforerande artärer med gula pilar. Kredit: Imperial College)
Ange HoloLens. Istället för att översätta skanningsdata till tvådimensionella bilder för kirurger att konsultera, låter mixed-reality-headsetet denna bild projiceras som ett 3D-hologram på kroppen. I en tidning som publicerades i januari, i European Radiology Experimental, beskriver forskarna bakom projektet det som ”att låta kirurgen ”se igenom” patientens hud”.
Arbetet har resulterat i åtta framgångsrika kliniska fall, alla fokuserade kring operationer på lemmar. ”Vi har bevisat genomförbarhet”, säger Pratt. ”Nu är det dags att skala upp det.”
Automation och deformation
Medan projicering av hologram från patientskanningar bevisligen har bidragit till att öka noggrannheten i operationssalen, medger Pratt att processen för närvarande är ”för lång”. En mänsklig expert behöver fortfarande segmentera skanningsdata och identifiera potentiella kärl innan en 3D-modell kan göras. Med användningen av artificiell intelligens hoppas forskarna kunna automatisera denna del av proceduren.
”Tanken är att du kan ta din CT-skanning direkt från skannern, sticka den genom en algoritm, och det dyker upp ett gäng voxelmodeller”, säger Amiras till Alphr. ”Du kommer att ha all anatomi segmenterad, med en tumör identifierad så att kirurgen vet var den ska skära. Det är drömmen.”
(Ett virtuellt överlägg på en patients ben, med hjälp av en HoloLens. Kredit: Imperial College)
Den flytande virtuella lemmen måste för närvarande också styras manuellt av kirurgen, flyttas runt och roteras med hjälp av handgester. Förhoppningen är att framtida iterationer automatiskt kommer att fästa 3D-modellen till dess verkliga motsvarighet, vilket låter kirurgen fokusera på var de behöver skära istället för att svänga en 3D-modell genom luften. Det finns till och med utrymme för modellerna att vara mer reaktiva på förändringar i position, förskjutning av vävnad och blodkärl beroende på om kroppsdelen hålls upp eller kläms mot operationsbordet.
”Du kan i huvudsak simulera effekten av gravitationen”, säger Pratt. ”Så du börjar i en viss position, sedan vänder du [virtual] benet upp och ner och simuleringen kommer att ändra vävnadens position.
”Jag väljer alltid den enklaste lösningen”
”Matematiskt är det ganska komplicerat, medan vi kan lösa 70 % av problemet genom att låta Dimitri lägga en kudde under benet”, tillägger han. ”Det kan vara ett riktigt intressant problem att lösa, men jag går alltid för den enklaste lösningen.”
Med åtta fall under bältet och potential att börja bygga in HoloLens i medicinsk skolutbildning, är forskarna vid Imperial övertygade om att blandad verklighet har en avgörande roll att spela i framtiden för kirurgi.
”Du måste hitta ett problem och åtgärda problemet”, säger Amiras. ”Gå inte och leta efter problem där det inte finns några. Folk tar ut blindtarm hela tiden för blindtarmsinflammation. Du behöver ingen HoloLens för att göra det. Men hitta en nyppunkt och se var den kan användas för att fixa något.
”På vissa sätt är det inte annorlunda från alla andra branscher: försök inte fixa det som inte är trasigt.”
