Виртуальное приспособление
Виртуальный фиксатор — наложение дополненной сенсорной информации на восприятие пользователем реальной среды с целью повышения эффективности человека как при непосредственном, так и при дистанционном (телероботизированном) выполнении задач[1]. Виртуальные фиксаторы были разработаны в начале 1990-х Луисом Розенбергом в Исследовательской лаборатории Военно-воздушных сил США (USAF AFRL) и стали одной из первых реализованных платформ в области виртуальной и дополненной реальности. Современные системы интегрируют концепцию совместной автономии, при которой человек-оператор и автономная система работают совместно[2]. Область применения технологии расширилась за пределы робототехники, включая метрологию[3] и виртуальное кинопроизводство[4].
История
Виртуальные фиксаторы впервые были разработаны Луисом Розенбергом в 1992 году в лаборатории Армстронга ВВС США, что привело к созданию первой в истории иммерсивной системы дополненной реальности[5][6][7][8][9]. Поскольку скорость трёхмерной графики в начале 1990-х была недостаточна для фотореалистичной регистрации дополненной реальности, Virtual Fixtures использовала два настоящих промышленных робота, которыми оператор управлял через полный экзоскелет верхней части тела. Для иммерсивного восприятия применялась оптическая схема с парой бинокулярных увеличителей, выравнивающих изображение манипуляторов робота так, чтобы оно воспринималось оператором как находящееся на месте его собственных рук[5][10][8]. Это обеспечивало пространственно-согласованное иммерсивное ощущение, когда оператор видел роботизированные руки вместо своих собственных. Поверх этого могли дополняться сгенерированные компьютером элементы — виртуальные барьеры, силовые поля и направляющие, призванные облегчить выполнение оператором реальных задач[11][12][6][13][14][15].
Были проведены эксперименты по тестированию производительности по закону Фиттса на группах пользователей, что впервые показало существенное увеличение эффективности выполнения сложных реальных манипуляционных задач за счёт иммерсивных дополненных сенсорных наложений[8][16].
Концепция
Концепция виртуальных фиксаторов была впервые предложена[5] как наложение виртуальной сенсорной информации на рабочее пространство для повышения производительности пользователя при непосредственном и дистанционном взаимодействии. Виртуальные сенсорные наложения могут моделироваться как реалистичные структуры, выровненные в пространстве так, что пользователь воспринимает их частью своего окружения, или как абстракции с невозможными для реальных объектов свойствами. Чтобы упростить восприятие этой идеи, для пояснения механики действия виртуального фиксатора приводят аналогию с использованием линейки: провести ровную линию от руки трудно, но с помощью линейки задача становится простой за счёт направляющего действия физического обрамления.
Первое предложение использовать виртуальные фиксаторы в хирургии для ВВС США было сделано в 1991 году: здесь виртуальный медицинский фиксатор мог бы служить направляющим для физического скальпеля хирурга[5]. Цель заключалась в наложении виртуальной информации таким образом, чтобы она воспринималась как естественная часть хирургического поля, способствуя росту мастерства, ловкости и безопасности операции. Предлагалось, что виртуальные хирургические фиксаторы обладают преимуществом по сравнению с реальными аппаратными ограничителями, поскольку они могут частично «погружаться» внутрь пациентов, обеспечивая направляющие и/или барьеры внутри скрытых тканей[17][5].
Определение виртуального фиксатора[5][10][12] шире, чем просто наведение исполнительного органа — возможны аудиофиксаторы, повышающие осведомлённость пользователя с помощью звуковых подсказок и мультимодальных сигналов локализации. В более узком смысле в системах человек-машина под виртуальным фиксатором подразумевается зависимая от конкретной задачи виртуальная надстройка, наложенная на реальное пространство и направляющая действия пользователя по желательным направлениям, одновременно ограничивая движение в недопустимых зонах.
Тактильная обратная связь играет важную роль в функционировании виртуальных фиксаторов, обеспечивая контекстную навигацию и генерацию тактильных барьеров, хотя её наличие и не является строго обязательным критерием для классификации подобных систем[18].
Виртуальные фиксаторы делятся на направляющие и фиксаторы запретных зон. Например, в телеуправлении мобильным роботом в удалённой среде во избежание попадания в опасные участки в соответствующих местах создаются запретные области — виртуальные барьеры, препятствующие выдаче команд, которые приведут к аварии[19][20][21].
Подобные ошибочные команды могут возникать из-за задержек в петле управления, недостаточной полноты тeлетрансляции или других факторов.
Направляющие фиксаторы, напротив, ограничивают движение пользователя в плоскости/по траектории; например, если транспортное средство должно следовать строго по заданному маршруту:
Оператор может перемещаться только вдоль «разрешённого направления», а все другие отклонения подавляются.
Для обоих видов виртуальных фиксаторов возможно регулирование «жёсткости» (или, наоборот, «комплаентности» — податливости): при высокой жёсткости фиксатор становится жёстким, полностью ограничивая движения, при увеличении податливости допускается частичный выход за границы.
При работе с движущимися объектами (например, в роботизированной хирургии) применяются динамические виртуальные фиксаторы, которые адаптируются к изменениям среды и генерируют ограничения в реальном времени с учётом смещения цели. Развитием технологии стала концепция «совместной автономии» (англ. shared autonomy), при которой роботизированная система выступает активным помощником, разделяя контроль с оператором: человек осуществляет высокоуровневое стратегическое управление, а автономный агент выполняет низкоуровневые корректировки для поддержания стабильности и предотвращения столкновений[22][23].
Математические модели и законы управления
Кинематическое управление
Данный раздел описывает построение закона управления для реализации виртуальных фиксаторов. Пусть робот представлен как чисто кинематическое устройство с положением эффектора и ориентацией относительно базовой системы координат . Управляющий сигнал представляется желаемой скоростью эффектора . В телеоперационных системах часто полезно масштабировать вводимую пользователем скорость перед передачей контроллеру робота. Если управление производится по силе или позиции, эти значения предварительно пересчитываются в скорости (например, дифференцированием).
Таким образом, сигнальный вектор вычисляется по пользовательскому вводу :
Если , возникает биунивокальное отображение движений между оператором и ведомым роботом.
Если заменяется диагональной матрицей , это позволяет независимо настраивать податливость по каждому измерению . Например, если первые три диагональных элемента равны , а остальные — нулю, то движение разрешено только по поступательной части, а вращения блокируются (жёсткий фиксатор). Если ненулевые элементы малы, допускается небольшое отклонение — фиксатор становится мягкий.
Для более сложных ограничений вводится зависящая от времени матрица , задающая предпочтительное направление в каждый момент времени. При направление совпадает с линией в , а при — с поверхностью. На основе определяются два оператора-проекции[24] — проективные на подпространство столбцов (span) и его ядро (kernel):
Если не имеет полного ранга, вместо обратной матрицы используется псевдообратная[24]:
где — псевдообратная матрица .
Введение дополнительной податливости только по нежелательному направлению даёт итоговое выражение:
Современные методы формулируют задачу управления виртуальным фиксатором как задачу оптимизации. В рамках такого подхода минимизируется отклонение от заданного ввода оператора при соблюдении ограничений, которые задаются в виде системы линейных неравенств[25].
Управление с тактильной обратной связью
Математические модели формирования тактильной обратной связи для виртуальных фиксаторов базируются на расчёте сил сопротивления или притяжения, а также на алгоритмах импедансного и адмиттансного управления. Для создания тактильного отклика при приближении к границе фиксатора или целевой траектории профиль силы может описываться кусочно-заданным кубическим полиномом:
- при ;
- при ;
- за пределами зоны действия.
Здесь — расстояние до точки пути, — радиус зоны действия фиксатора, а и — коэффициенты полинома[26]. При импедансном управлении система реагирует на кинематическое отклонение, генерируя соответствующую силу сопротивления. Базовое уравнение управления имеет вид: , где и — заданное и текущее положение, и — параметры жёсткости и демпфирования фиксатора, а остальные члены компенсируют динамику манипулятора[27]. При адмиттансном управлении система измеряет приложенную внешнюю силу (например, от оператора при контакте с границей) и вычисляет желаемое движение с учётом заданных параметров виртуальной массы , демпфирования и жёсткости : [27].
Функции барьера управления (CBF)
Современный подход к обеспечению безопасности в задачах физического взаимодействия человека и робота (pHRI) базируется на использовании функций барьера управления (CBF)[28][29]. Этот метод применяется для создания архитектуры виртуальных фиксаторов, позволяя настраивать баланс между производительностью управления и безопасностью. Использование CBF строго гарантирует невозможность выхода робота за установленные ограничения, предотвращая преодоление барьера. Математическая формулировка закона управления строится на интеграции робастных функций барьера управления в задачу квадратичного программирования (QP). Динамика системы с учётом человека описывается в аффинной форме: [30], где — вектор состояния, — вектор управления, — ограниченное возмущение от действий человека, а и — функции динамики. Виртуальный фиксатор задаётся через безопасное множество , где — непрерывно дифференцируемая функция барьера. Для компенсации возмущений применяется робастное условие CBF: , где — функция принадлежности к классу , а — запас робастности[30]. Условия CBF преобразуются в систему линейных неравенств и встраиваются в задачу QP, решаемую онлайн на каждом шаге управления. Целевая функция минимизирует отклонение от номинального управления с учётом штрафов за использование переменных ослабления. Это позволяет найти оптимальный компромисс между выполнением номинальной задачи и соблюдением жёстких ограничений безопасности[30]. Доказательство устойчивости и безопасности таких систем при физическом взаимодействии опирается на функции Ляпунова и условия пассивности[31][32]. Анализ Ляпунова позволяет гарантировать пассивность системы по отношению к внешним силам, подтверждая сходимость и безопасность законов управления.
Современные исследования и применение
В 2020-х годах технология виртуальных фиксаторов перешла от статичных наложений к динамическим, интеллектуальным и адаптивным системам, интегрированным с искусственным интеллектом (ИИ). Основной вектор развития направлен на повышение точности, безопасности и эффективности в таких областях, как роботизированная хирургия, промышленная телеробототехника и обучение специалистов[33]. Хотя в начале десятилетия термин не был широко распространён в клинической практике, его принципы реализовывались через 3D-моделирование и индивидуальные хирургические шаблоны, созданные с помощью 3D-печати[34][35].
Динамические и интерактивные фиксаторы Современные исследования сосредоточены на создании фиксаторов, способных адаптироваться к изменениям рабочей среды в реальном времени. Для этого используются данные с 3D-камер (например, RGB-D) и МРТ[36]. Методика генерации динамических фиксаторов на основе облаков точек позволяет системе реагировать на деформацию тканей, например, при дыхании пациента во время операции. Эксперимент по симуляции установки торакальных портов показал, что такой подход сокращает количество ошибок на 50 % и время выполнения задачи на 35 %. Развиваются также методы, позволяющие оператору интерактивно создавать сложные фиксаторы для телеуправления в заранее неизвестных средах. При реконструкции динамических сцен применяются современные методы рендеринга: технология 4D Gaussian Splatting обеспечивает необходимую скорость работы в реальном времени, тогда как нейронные поля излучения (NeRF) используются для высокоточного наложения ограничений в задачах, требующих экстремальной геометрической точности и детализации[37].[38]
Интеграция с ИИ и мультимодальными интерфейсами Машинное обучение играет ключевую роль в проектировании и функционировании виртуальных фиксаторов. Для автоматической оптимизации их параметров применяется обучение с подкреплением в среде цифрового двойника[39], причём процесс обучения значительно ускоряется за счёт использования человеческих демонстраций (даже неудачных). В роботизированной хирургии это приводит к созданию систем «разделённой автономии» (shared autonomy), где робот автономно ассистирует хирургу в рамках ограничений, заданных ИИ[40]. Восприятие оператора улучшается за счёт мультимодальных интерфейсов, которые объединяют визуальные подсказки в дополненной (AR) или виртуальной (VR) реальности со звуковыми сигналами и усовершенствованной тактильной обратной связью, имитирующей сопротивление и текстуру тканей[41][33][42].
Области применения Основной сферой применения остаётся хирургия, где технология используется для повышения точности и безопасности в торакальных, сердечно-сосудистых, ортопедических и витреоретинальных операциях[40][35]. Виртуальные фиксаторы также активно внедряются в хирургические симуляторы для обучения специалистов, обеспечивая реалистичную обратную связь и автоматизированную оценку навыков[41].
В промышленности концепция применяется для дистанционного управления тяжёлой строительной техникой. Технология также находит применение в космических операциях для управления роботами на орбите, где фиксаторы помогают компенсировать значительные задержки сигнала. Кроме того, связанные с фиксаторами концепции визуального руководства используются в AR-системах для сбора высококачественных данных при обучении роботов.
В метрологии виртуальные фиксаторы (виртуальные зажимы) заменяют сложные физические приспособления, что позволяет снизить затраты на их изготовление и калибровку, а также повысить стабильность и повторяемость измерений[43]. В кинопроизводстве концепция применяется для управления виртуальными осветительными приборами в среде Unreal Engine, обеспечивая точное тестирование схем освещения и настройку камер в реальном времени[44].

