Хірургія завтрашнього дня: новаторські методи операцій лікарів з Харкова з використанням доповненої реальності.
Технологія доповненої реальності (AR) все активніше проникає в наше повсякдення, незважаючи на свою футуристичну природу. Якщо вісім років тому діти активно досліджували вулиці у пошуках покемонів, то сьогодні AR-фільтри в Instagram і Snapchat стали настільки звичними, що вже не дивують нікого.
Гіганти індустрії, такі як Meta, Apple та Microsoft, вкладають мільярди доларів в розвиток цієї технології, випускаючи AR-окуляри. Окуляри Apple, виробника iPhone, стали найдорожчим масмаркет-гаджетом в історії компанії.
Проте технологія доповненої реальності має значно більше застосувань, ніж лише у розважальній індустрії. Вона має потенціал трансформувати цілі наукові сфери. Наприклад, у медичній практиці AR дозволяє лікарям отримувати додаткову візуалізацію під час хірургічних втручань, надаючи тривимірні зображення органів пацієнта.
Уявіть собі операційну кімнату, де хірург бачить не лише пацієнта, а й детальну 3D-модель його мозку, накладену на реальне тіло. Це не фантастика, а реальність, яку створила команда українського healthtech-стартапу eXtra Vision.
Стартап був створений трьома медичними фахівцями: Владиславом Калюжкою (нейрохірург, генеральний директор), Микитою Маркевичем (кардіолог, технічний директор) та Марком Глухеньким (нейрохірург, операційний директор). Технологія eXtra Vision вже знайшла застосування у десятків лікарів, які виконали понад 150 операцій із її допомогою. Цього року стартап здобув перемогу на IT Arena та має намір виходити на ринок Європейського Союзу.
Як лікарям з Харкова вдалося перетворити ідею про віртуальну хірургію на успішний стартап?
"Кожна операція є справжнім випробуванням, що потребує максимальної точності і швидкості, зосередження лише на патологічних змінах, щоб не травмувати здорові тканини. У сфері нейрохірургії ризики для лікаря та пацієнта дуже високі. Щоб зменшити ці ризики, виникла ідея: а що, якщо ми створимо тривимірну модель мозку пацієнта, враховуючи його патологію?" - розповідає Калюжка про перші кроки у створенні свого стартапу.
Однак від ідеї створення тривимірних моделей до появи першого MVP (мінімально життєздатний продукт) минуло кілька років. Спершу був тривалий пошук розробників: не всі до кінця розуміли, як технічно реалізувати задум лікарів. До того ж виникали труднощі з інтеграцією отриманих 3D-зображень в AR-окуляри.
Зрештою, колеги вирішили прийти на допомогу. "Перший прототип нашої технології розробив мій колега, кардіолог, який до вступу в медичний університет отримав технічну освіту", - ділиться своїми спогадами Калюжка.
Перші 50 вдалих оперативних втручань за допомогою AR-окулярів були здійснені нейрохірургами в Харківській обласній клінічній лікарні. Операції проводилися як на головному, так і на спинному мозку. Медичні фахівці випробували свою інновацію на пацієнтах з різноманітними патологіями – від онкологічних утворень і судинних захворювань до травматичних ушкоджень і вроджених аномалій.
Ефективність запропонованого рішення переконала їх розвивати проект у форматі стартапу, з надією залучити інвестиції для формування власного бізнесу. Незабаром команда eXtra Vision вирішила розширити свої ряди, залучивши фахівців у галузі ІТ, зокрема розробників на платформі Unity, інженерів з штучного інтелекту (машинного навчання) та дизайнерів.
Для виготовлення 3D-моделі мозку пацієнта необхідні певні дані. Найкращими джерелами для цього є комп'ютерна томографія (КТ) або магнітно-резонансна томографія (МРТ) пацієнта. Зібрані цифрові двовимірні зображення імпортуються в спеціальний додаток, в якому завдяки штучному інтелекту формується об'ємна цифрова репрезентація голови людини.
На початковому етапі формування 3D-моделі виділяються основні анатомічні елементи, такі як шкіра, кістки, кровоносні судини та нервові закінчення. На наступному етапі акцент робиться на патологічних утвореннях, наприклад, на пухлинах або гематомах. Сьогодні процес створення 3D-моделей майже повністю автоматизований.
Готова модель завантажується у хмарне середовище, що дозволяє здійснювати синхронізацію з окулярами доповненої реальності. Процес від створення тривимірної моделі до її інтеграції з AR-окулярами зазвичай займає від кількох хвилин до півгодини, в залежності від обсягу даних.
Завдяки AR-окулярам, медичний працівник може спостерігати готову 3D-модель прямо у фізичному середовищі. У цих окулярах встановлено кілька камер і сенсорів, які здійснюють сканування навколишнього простору, формуючи систему координат. Окрім цього, сенсори допомагають відстежувати рухи рук хірурга та його інструментів.
"Лікар має можливість одночасно спостерігати за віртуальними та реальними об'єктами. Наша інноваційна технологія дозволяє накладати 3D-моделі на пацієнта, що створює ефект розрізу черепа. Це надає хірургу можливість точно визначити місце для розрізу, обсяг кісткової тканини, яку потрібно видалити для доступу до патології, а також обійти критично важливі судини", - розповідає генеральний директор eXtra Vision.
У стартапі найчастіше використовують окуляри HoloLens від Microsoft. Крім цього розробники працюють над тим, щоб імпортувати моделі на Apple Vision Pro, MetaQuest 3 і MetaQuest Pro від Oculus і Meta.
Стартап спеціалізується на діяльності нейрохірургів, зокрема в області операцій на головному мозку та хребті. У найближчому майбутньому команда має намір розширити застосування цієї технології в сферах ортопедії та травматології, гепатобіліарної хірургії (включаючи діагностику та лікування хвороб печінки, жовчного міхура і жовчних шляхів), а також у щелепно-лицевій хірургії.
3D-моделі відіграють важливу роль не лише під час проведення операції, а, перш за все, на етапі її підготовки. Лікар має можливість детально розглянути модель мозку, обертати її для ретельного опрацювання стратегії втручання. Раніше для таких цілей використовувалися лише двовимірні зображення з КТ або МРТ, аналіз яких вимагав значного досвіду та спеціальних навичок.
Тривимірні моделі відіграють важливу роль не лише для медичних працівників, а й для пацієнтів та їхніх близьких. З допомогою 3D-моделі головного або спинного мозку хірург має змогу наочно продемонструвати і пояснити, як саме проходитиме операція. "Хірургічні втручання на головному мозку завжди створюють великий психологічний тягар для пацієнтів, але коли вони отримують уявлення про процес та бачать, що лікар впевнено знає, як все відбуватиметься, це суттєво їх заспокоює", — підкреслює Калюжка.
Технологію можна використовувати безпосередньо під час операції. Перед розрізом модель проєктується на ділянку тіла пацієнта, де відбуватиметься хірургічне втручання. Так лікар бачить, де розташована пухлина чи інші важливі структури, такі як шлуночкова система або кістки. Структура тривимірної моделі залежить від конкретної операції та завдань, які потрібно виконати.
За словами генерального директора eXtra Vision, застосування їхньої технології є особливо важливим на етапі підготовки до операції — перед виконанням розрізу, який вимагає ретельного планування. Проте, саме в процесі втручання рекомендується обходитися без AR-окулярів, хоча їх можна залучити в будь-який момент для аналізу обстановки.
Крім того, зараз команда працює над створенням асистента для лікаря зі штучним інтелектом. Зараз нейромережа залучена більше до створення моделей, але в майбутньому команда планує залучати ШІ й до аналізу даних.
Штучний інтелект, що виконує роль асистента, зможе ідентифікувати тип пухлини та, спираючись на 3D-модель, запропонує лікарю оптимальний підхід до хірургічного втручання, аби зберегти цілісність критично важливих ділянок мозку.
Ще одне нововведення, яке розробники мають намір інтегрувати, - це зіставлення моделей з трекінгом інструментів. "Коли хірург використовує інструмент, оснащений унікальними маркерами, система автоматично генерує його віртуальну репліку. Це дозволяє йому бачити точне положення інструменту в зоні операції."
Ось альтернативна версія тексту: "Наприклад, коли хірург вводить інструмент на глибину 3 сантиметри в тканини, він може спостерігати за цим на екрані з точністю до міліметра. Це забезпечує виконання операцій з надзвичайною точністю, що є критично важливим у нейрохірургії", - зазначає Калюжка.
Стартап налічує 37 активних користувачів в Україні, серед яких медичні фахівці з таких міст, як Харків, Львів та Київ. Серед них є представники Інституту нейрохірургії імені Ромоданова, а також лікарі з інших регіонів. Завдяки технологіям eXtra Vision вже виконано більше 150 операцій.
У додатку пропонуються два способи оплати: перший варіант - одноразова покупка за 199 доларів за одну операцію, або ж річна підписка за 10,8 тисяч доларів, яка дозволяє користуватися до 100 моделями.
Якщо лікар не має своїх AR-окулярів, стартап пропонує можливість їх оренди. За словами Калюжки, через труднощі з придбанням таких пристроїв в Україні виникла черга з лікарів, які бажають скористатися технологією харківських розробників. З цієї причини команда активно працює над розширенням асортименту окулярів доповненої реальності, щоб задовольнити зростаючий попит.
Однією з основних труднощів у залученні нових клієнтів є якість інтернет-з'єднання в операційних системах. Оскільки AR-окуляри отримують готові моделі з "хмари", надійне підключення та висока швидкість інтернету є критично важливими для ефективної роботи цієї технології.
"Ця ситуація не обмежується лише українськими операційними. Ми займаємося розробкою локального рендерингу, щоб зменшити залежність від інтернет-з'єднання. У медичному закладі, з яким ми співпрацюємо, буде встановлено спеціальний пристрій, що слугуватиме локальним сервером, до якого підключатимуться окуляри," – повідомляє лікар.
На даний момент eXtra Vision залучив приблизно 100 тисяч доларів інвестицій, з яких більшість становлять внески самих засновників. У квітні 2024 року стартап здобув перемогу на Health Hackathon, організованому Всесвітньою організацією охорони здоров'я, отримавши приз у розмірі 3 тисячі доларів. У червні компанія отримала 25 тисяч доларів від Українського фонду стартапів та фонду Ukraine-Moldova American Enterprise Fund, а також 15 тисяч доларів як переможець IT Arena.
Команда ставить за мету залучити пів мільйона доларів для доопрацювання технології та виходу на нові ринки. Як розповідає ЕП CEO eXtra Vision, зараз стартап веде перемовини з лікарями з Центральної та Східної Європи.
"Серед основних переваг eXtra Vision варто виділити впровадження технологій штучного інтелекту, які набирають популярності серед інвесторів. Стартапи на кшталт eXtra Vision свідчать про значний прогрес у розвитку національної індустрії, адже подібних рішень на українському ринку не так вже й багато", - підкреслила Ксенія Ізакова, старша менеджерка проєктів у стартап-акселераторі 1991 і член журі фіналу конкурсу на IT Arena.
Вона зазначає, що українська стартап-екосистема в секторі healthtech тільки починає свій розвиток. Цю думку підтримує також генеральний директор eXtra Vision, який вважає, що використання AR-технологій у медицині лише розпочинає свій шлях.
