Виртуальное приспособление

Виртуальный фиксатор — наложение дополненной сенсорной информации на восприятие пользователем реальной среды с целью повышения эффективности человека как при непосредственном, так и при дистанционном (телероботизированном) выполнении задач[1]. Виртуальные фиксаторы были разработаны в начале 1990-х Луисом Розенбергом в Исследовательской лаборатории Военно-воздушных сил США (USAF AFRL) и стали одной из первых реализованных платформ в области виртуальной и дополненной реальности. Современные системы интегрируют концепцию совместной автономии, при которой человек-оператор и автономная система работают совместно[2]. Область применения технологии расширилась за пределы робототехники, включая метрологию[3] и виртуальное кинопроизводство[4].

История

Виртуальные фиксаторы впервые были разработаны Луисом Розенбергом в 1992 году в лаборатории Армстронга ВВС США, что привело к созданию первой в истории иммерсивной системы дополненной реальности[5][6][7][8][9]. Поскольку скорость трёхмерной графики в начале 1990-х была недостаточна для фотореалистичной регистрации дополненной реальности, Virtual Fixtures использовала два настоящих промышленных робота, которыми оператор управлял через полный экзоскелет верхней части тела. Для иммерсивного восприятия применялась оптическая схема с парой бинокулярных увеличителей, выравнивающих изображение манипуляторов робота так, чтобы оно воспринималось оператором как находящееся на месте его собственных рук[5][10][8]. Это обеспечивало пространственно-согласованное иммерсивное ощущение, когда оператор видел роботизированные руки вместо своих собственных. Поверх этого могли дополняться сгенерированные компьютером элементы — виртуальные барьеры, силовые поля и направляющие, призванные облегчить выполнение оператором реальных задач[11][12][6][13][14][15].

Были проведены эксперименты по тестированию производительности по закону Фиттса на группах пользователей, что впервые показало существенное увеличение эффективности выполнения сложных реальных манипуляционных задач за счёт иммерсивных дополненных сенсорных наложений[8][16].

Концепция

undefined

Концепция виртуальных фиксаторов была впервые предложена[5] как наложение виртуальной сенсорной информации на рабочее пространство для повышения производительности пользователя при непосредственном и дистанционном взаимодействии. Виртуальные сенсорные наложения могут моделироваться как реалистичные структуры, выровненные в пространстве так, что пользователь воспринимает их частью своего окружения, или как абстракции с невозможными для реальных объектов свойствами. Чтобы упростить восприятие этой идеи, для пояснения механики действия виртуального фиксатора приводят аналогию с использованием линейки: провести ровную линию от руки трудно, но с помощью линейки задача становится простой за счёт направляющего действия физического обрамления.

undefined

Первое предложение использовать виртуальные фиксаторы в хирургии для ВВС США было сделано в 1991 году: здесь виртуальный медицинский фиксатор мог бы служить направляющим для физического скальпеля хирурга[5]. Цель заключалась в наложении виртуальной информации таким образом, чтобы она воспринималась как естественная часть хирургического поля, способствуя росту мастерства, ловкости и безопасности операции. Предлагалось, что виртуальные хирургические фиксаторы обладают преимуществом по сравнению с реальными аппаратными ограничителями, поскольку они могут частично «погружаться» внутрь пациентов, обеспечивая направляющие и/или барьеры внутри скрытых тканей[17][5].

Определение виртуального фиксатора[5][10][12] шире, чем просто наведение исполнительного органа — возможны аудиофиксаторы, повышающие осведомлённость пользователя с помощью звуковых подсказок и мультимодальных сигналов локализации. В более узком смысле в системах человек-машина под виртуальным фиксатором подразумевается зависимая от конкретной задачи виртуальная надстройка, наложенная на реальное пространство и направляющая действия пользователя по желательным направлениям, одновременно ограничивая движение в недопустимых зонах.

Тактильная обратная связь играет важную роль в функционировании виртуальных фиксаторов, обеспечивая контекстную навигацию и генерацию тактильных барьеров, хотя её наличие и не является строго обязательным критерием для классификации подобных систем[18].

Виртуальные фиксаторы делятся на направляющие и фиксаторы запретных зон. Например, в телеуправлении мобильным роботом в удалённой среде во избежание попадания в опасные участки в соответствующих местах создаются запретные области — виртуальные барьеры, препятствующие выдаче команд, которые приведут к аварии[19][20][21].

undefined

Подобные ошибочные команды могут возникать из-за задержек в петле управления, недостаточной полноты тeлетрансляции или других факторов.

Направляющие фиксаторы, напротив, ограничивают движение пользователя в плоскости/по траектории; например, если транспортное средство должно следовать строго по заданному маршруту:

undefined

Оператор может перемещаться только вдоль «разрешённого направления», а все другие отклонения подавляются.

Для обоих видов виртуальных фиксаторов возможно регулирование «жёсткости» (или, наоборот, «комплаентности» — податливости): при высокой жёсткости фиксатор становится жёстким, полностью ограничивая движения, при увеличении податливости допускается частичный выход за границы.

undefined

При работе с движущимися объектами (например, в роботизированной хирургии) применяются динамические виртуальные фиксаторы, которые адаптируются к изменениям среды и генерируют ограничения в реальном времени с учётом смещения цели. Развитием технологии стала концепция «совместной автономии» (англ. shared autonomy), при которой роботизированная система выступает активным помощником, разделяя контроль с оператором: человек осуществляет высокоуровневое стратегическое управление, а автономный агент выполняет низкоуровневые корректировки для поддержания стабильности и предотвращения столкновений[22][23].

Математические модели и законы управления

Кинематическое управление

Данный раздел описывает построение закона управления для реализации виртуальных фиксаторов. Пусть робот представлен как чисто кинематическое устройство с положением эффектора и ориентацией относительно базовой системы координат . Управляющий сигнал представляется желаемой скоростью эффектора . В телеоперационных системах часто полезно масштабировать вводимую пользователем скорость перед передачей контроллеру робота. Если управление производится по силе или позиции, эти значения предварительно пересчитываются в скорости (например, дифференцированием).

Таким образом, сигнальный вектор вычисляется по пользовательскому вводу :


Если , возникает биунивокальное отображение движений между оператором и ведомым роботом.

Если заменяется диагональной матрицей , это позволяет независимо настраивать податливость по каждому измерению . Например, если первые три диагональных элемента равны , а остальные — нулю, то движение разрешено только по поступательной части, а вращения блокируются (жёсткий фиксатор). Если ненулевые элементы малы, допускается небольшое отклонение — фиксатор становится мягкий.

Для более сложных ограничений вводится зависящая от времени матрица , задающая предпочтительное направление в каждый момент времени. При направление совпадает с линией в , а при  — с поверхностью. На основе определяются два оператора-проекции[24] — проективные на подпространство столбцов (span) и его ядро (kernel):


Если не имеет полного ранга, вместо обратной матрицы используется псевдообратная[24]:


где  — псевдообратная матрица .

Введение дополнительной податливости только по нежелательному направлению даёт итоговое выражение:


Современные методы формулируют задачу управления виртуальным фиксатором как задачу оптимизации. В рамках такого подхода минимизируется отклонение от заданного ввода оператора при соблюдении ограничений, которые задаются в виде системы линейных неравенств[25].

Управление с тактильной обратной связью

Математические модели формирования тактильной обратной связи для виртуальных фиксаторов базируются на расчёте сил сопротивления или притяжения, а также на алгоритмах импедансного и адмиттансного управления. Для создания тактильного отклика при приближении к границе фиксатора или целевой траектории профиль силы может описываться кусочно-заданным кубическим полиномом:

  • при ;
  • при ;
  • за пределами зоны действия.

Здесь — расстояние до точки пути, — радиус зоны действия фиксатора, а и — коэффициенты полинома[26]. При импедансном управлении система реагирует на кинематическое отклонение, генерируя соответствующую силу сопротивления. Базовое уравнение управления имеет вид: , где и — заданное и текущее положение, и — параметры жёсткости и демпфирования фиксатора, а остальные члены компенсируют динамику манипулятора[27]. При адмиттансном управлении система измеряет приложенную внешнюю силу (например, от оператора при контакте с границей) и вычисляет желаемое движение с учётом заданных параметров виртуальной массы , демпфирования и жёсткости : [27].

Функции барьера управления (CBF)

Современный подход к обеспечению безопасности в задачах физического взаимодействия человека и робота (pHRI) базируется на использовании функций барьера управления (CBF)[28][29]. Этот метод применяется для создания архитектуры виртуальных фиксаторов, позволяя настраивать баланс между производительностью управления и безопасностью. Использование CBF строго гарантирует невозможность выхода робота за установленные ограничения, предотвращая преодоление барьера. Математическая формулировка закона управления строится на интеграции робастных функций барьера управления в задачу квадратичного программирования (QP). Динамика системы с учётом человека описывается в аффинной форме: [30], где — вектор состояния, — вектор управления, — ограниченное возмущение от действий человека, а и — функции динамики. Виртуальный фиксатор задаётся через безопасное множество , где — непрерывно дифференцируемая функция барьера. Для компенсации возмущений применяется робастное условие CBF: , где — функция принадлежности к классу , а — запас робастности[30]. Условия CBF преобразуются в систему линейных неравенств и встраиваются в задачу QP, решаемую онлайн на каждом шаге управления. Целевая функция минимизирует отклонение от номинального управления с учётом штрафов за использование переменных ослабления. Это позволяет найти оптимальный компромисс между выполнением номинальной задачи и соблюдением жёстких ограничений безопасности[30]. Доказательство устойчивости и безопасности таких систем при физическом взаимодействии опирается на функции Ляпунова и условия пассивности[31][32]. Анализ Ляпунова позволяет гарантировать пассивность системы по отношению к внешним силам, подтверждая сходимость и безопасность законов управления.

Современные исследования и применение

В 2020-х годах технология виртуальных фиксаторов перешла от статичных наложений к динамическим, интеллектуальным и адаптивным системам, интегрированным с искусственным интеллектом (ИИ). Основной вектор развития направлен на повышение точности, безопасности и эффективности в таких областях, как роботизированная хирургия, промышленная телеробототехника и обучение специалистов[33]. Хотя в начале десятилетия термин не был широко распространён в клинической практике, его принципы реализовывались через 3D-моделирование и индивидуальные хирургические шаблоны, созданные с помощью 3D-печати[34][35].

Динамические и интерактивные фиксаторы Современные исследования сосредоточены на создании фиксаторов, способных адаптироваться к изменениям рабочей среды в реальном времени. Для этого используются данные с 3D-камер (например, RGB-D) и МРТ[36]. Методика генерации динамических фиксаторов на основе облаков точек позволяет системе реагировать на деформацию тканей, например, при дыхании пациента во время операции. Эксперимент по симуляции установки торакальных портов показал, что такой подход сокращает количество ошибок на 50 % и время выполнения задачи на 35 %. Развиваются также методы, позволяющие оператору интерактивно создавать сложные фиксаторы для телеуправления в заранее неизвестных средах. При реконструкции динамических сцен применяются современные методы рендеринга: технология 4D Gaussian Splatting обеспечивает необходимую скорость работы в реальном времени, тогда как нейронные поля излучения (NeRF) используются для высокоточного наложения ограничений в задачах, требующих экстремальной геометрической точности и детализации[37].[38]

Интеграция с ИИ и мультимодальными интерфейсами Машинное обучение играет ключевую роль в проектировании и функционировании виртуальных фиксаторов. Для автоматической оптимизации их параметров применяется обучение с подкреплением в среде цифрового двойника[39], причём процесс обучения значительно ускоряется за счёт использования человеческих демонстраций (даже неудачных). В роботизированной хирургии это приводит к созданию систем «разделённой автономии» (shared autonomy), где робот автономно ассистирует хирургу в рамках ограничений, заданных ИИ[40]. Восприятие оператора улучшается за счёт мультимодальных интерфейсов, которые объединяют визуальные подсказки в дополненной (AR) или виртуальной (VR) реальности со звуковыми сигналами и усовершенствованной тактильной обратной связью, имитирующей сопротивление и текстуру тканей[41][33][42].

Области применения Основной сферой применения остаётся хирургия, где технология используется для повышения точности и безопасности в торакальных, сердечно-сосудистых, ортопедических и витреоретинальных операциях[40][35]. Виртуальные фиксаторы также активно внедряются в хирургические симуляторы для обучения специалистов, обеспечивая реалистичную обратную связь и автоматизированную оценку навыков[41].

В промышленности концепция применяется для дистанционного управления тяжёлой строительной техникой. Технология также находит применение в космических операциях для управления роботами на орбите, где фиксаторы помогают компенсировать значительные задержки сигнала. Кроме того, связанные с фиксаторами концепции визуального руководства используются в AR-системах для сбора высококачественных данных при обучении роботов.

В метрологии виртуальные фиксаторы (виртуальные зажимы) заменяют сложные физические приспособления, что позволяет снизить затраты на их изготовление и калибровку, а также повысить стабильность и повторяемость измерений[43]. В кинопроизводстве концепция применяется для управления виртуальными осветительными приборами в среде Unreal Engine, обеспечивая точное тестирование схем освещения и настройку камер в реальном времени[44].

Примечания

  1. Розенберг, Луис Б. Augmented Reality: Reflections at Thirty Years // Proceedings of the Future Technologies Conference (FTC) 2021, Volume 1 : [англ.]. — Cham : Springer International Publishing, 2022. — Vol. 358. — P. 1–11. — ISBN 978-3-030-89906-6. — doi:10.1007/978-3-030-89906-6_1.
  2. Shared Autonomy: A Review. ACM Digital Library. SAGE Publications (1 июля 2018). Дата обращения: 27 августа 2026.
  3. Virtual Fixtures in Metrology. ODR Chalmers. Дата обращения: 27 августа 2026.
  4. ARRI LUKA: Virtual Fixtures for Unreal Engine. ARRI. Дата обращения: 27 августа 2026.
  5. 1 2 3 4 5 6 Розенберг Л. Б. (1992). “The Use of Virtual Fixtures As Perceptual Overlays to Enhance Operator Performance in Remote Environments” (PDF). Technical Report AL-TR-0089. Wright-Patterson AFB OH: USAF Armstrong Laboratory. Архивировано из оригинала (PDF) 2019-07-10. Используется устаревший параметр |url-status= (справка)
  6. 1 2 Розенберг, Л. Б. (1993). “Virtual fixtures: Perceptual tools for telerobotic manipulation”. Proceedings of IEEE Virtual Reality Annual International Symposium. IEEE. pp. 76—82. DOI:10.1109/vrais.1993.380795. ISBN 0-7803-1363-1.
  7. Розенберг, Луис (1993). “The use of virtual fixtures to enhance telemanipulation with time delay”. Proceedings of the ASME Winter Annual Meeting on Advances in Robotics, Mechatronics, and Haptic Interfaces. Новый Орлеан, Луизиана. 49: 29—36.
  8. 1 2 3 Розенберг, Луис (1993). “The use of virtual fixtures to enhance operator performance in time delayed teleoperation” (PDF). J. Dyn. Syst. Control. 49: 29—36. Архивировано из оригинала (PDF) 2019-07-10. Используется устаревший параметр |url-status= (справка)
  9. Ноэр, Майкл. Desktop fingerprints (21 сентября 1998). Дата обращения: 27 августа 2026.
  10. 1 2 Розенберг, Л. (1993). Ким, Вон С., ed. “Virtual fixtures as tools to enhance operator performance in telepresence environments”. SPIE Manipulator Technology. Telemanipulator Technology and Space Telerobotics. 2057: 10. Bibcode:1993SPIE.2057...10R. DOI:10.1117/12.164901. S2CID 111277519.
  11. Эбботт, Джейк Дж. Haptic Virtual Fixtures for Robot-Assisted Manipulation // Robotics Research : [англ.] / Джейк Дж. Эбботт, Панадда Марайонг, Эллисон М. Окамура. — Берлин, Гейдельберг : Springer, 2007. — Vol. 28. — P. 49–64. — ISBN 978-3-540-48113-3. — doi:10.1007/978-3-540-48113-3_5.
  12. 1 2 Розенберг (1994). Дас, Хари, ed. “Virtual Haptic Overlays Enhance Performance in Telepresence Tasks”. Telemanipulator and Telepresence Technologies. 2351: 99—108. DOI:10.1117/12.197302. S2CID 110971407.
  13. Махатаева, Жанат; Варол, Хюсейн Атакан (2020). “Augmented Reality for Robotics: A Review”. Robotics [англ.]. 9 (2): 21. DOI:10.3390/robotics9020021. ISSN 2218-6581.
  14. Леонард, Саймон. Registration of planar virtual fixtures by using augmented reality with dynamic textures // 2015 IEEE International Conference on Robotics and Automation (ICRA). — Сиэтл, США : IEEE, 2015. — P. 4418–4423. — ISBN 978-1-4799-6923-4. — doi:10.1109/ICRA.2015.7139810.
  15. Ся, Тянь. Augmented reality environment with virtual fixtures for robotic telemanipulation in space // 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems / Тянь Ся, Саймон Леонард, Антон Дегюэ … [и др.]. — 2012. — P. 5059–5064. — ISBN 978-1-4673-1736-8. — doi:10.1109/IROS.2012.6386169.
  16. Розенберг, Луис Б. (1993). Ким, Вон С., ed. “Virtual fixtures as tools to enhance operator performance in telepresence environments”. Telemanipulator Technology and Space Telerobotics. 2057: 10—21. Bibcode:1993SPIE.2057...10R. DOI:10.1117/12.164901. S2CID 111277519.
  17. Розенберг Л. Б. (1992). «The Use of Virtual Fixtures as Perceptual Overlays to Enhance Operator Performance» Stanford University, Stanford CA, Center for Design Research (CDR)
  18. Surgical Robot Haptic Feedback 2026. Patsnap. Дата обращения: 27 августа 2026.
  19. Эбботт, Дж. Дж. Virtual fixture architectures for telemanipulation // 2003 IEEE International Conference on Robotics and Automation (Cat. No.03CH37422) / Дж. Дж. Эбботт, Э. М. Окамура. — Тайбэй, Тайвань : IEEE, 2003. — Vol. 2. — P. 2798–2805. — ISBN 978-0-7803-7736-3. — doi:10.1109/ROBOT.2003.1242016.
  20. Марайонг, Панадда. Control methods for guidance virtual fixtures in compliant human-machine interfaces // 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems / Панадда Марайонг, Грегори Д. Хагер, Эллисон М. Окамура. — 2008. — P. 1166–1172. — ISBN 978-1-4244-2057-5. — doi:10.1109/IROS.2008.4650838.
  21. Марайонг, П. Effect of Hand Dynamics on Virtual Fixtures for Compliant Human-Machine Interfaces // 2006 14th Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems / П. Марайонг, Г. Д. Хагер, Э. М. Окамура. — Александрия, США : IEEE, 2006. — P. 109–115. — ISBN 978-1-4244-0226-7. — doi:10.1109/HAPTIC.2006.1627075.
  22. Shared Autonomy in Teleoperation. ACM Digital Library. Дата обращения: 27 августа 2026.
  23. Dynamic Arbitration for Shared Control. arXiv. Дата обращения: 27 августа 2026.
  24. 1 2 Марайонг, П.; Окамура, Э. М.; Хагер, Г. Д. (2003). “Spatial motion constraints: theory and demonstrations for robot guidance using virtual fixtures”. 2003 IEEE International Conference on Robotics and Automation (Cat. No.03CH37422). IEEE. pp. 1270—1275. DOI:10.1109/robot.2003.1241880. ISBN 0-7803-7736-2.
  25. Optimization-based Virtual Fixtures. arXiv (сентябрь 2018). Дата обращения: 27 августа 2026.
  26. Haptic feedback generation for virtual fixtures based on piecewise cubic polynomial. Springer Link. Дата обращения: 27 августа 2026.
  27. 1 2 Impedance Control. Wang Robotics. Clemson Open Textbooks. Дата обращения: 27 августа 2026.
  28. Haptic Virtual Fixtures for Telemanipulation Using Control Barrier Functions. JoVE. Дата обращения: 27 августа 2026.
  29. Control Barrier Functions for Haptic Virtual Fixtures in Human-Robot Interaction. IEEE Xplore. Дата обращения: 27 августа 2026.
  30. 1 2 3 Robust Control Barrier Functions for Physical Human-Robot Interaction. OAE Publishing. Дата обращения: 27 августа 2026.
  31. Passivity-Based Control for Physical Human-Robot Interaction. arXiv. Дата обращения: 27 августа 2026.
  32. Generalized Passivity-Based Control for Physical Human-Robot Interaction. DLR eLib. Дата обращения: 27 августа 2026.
  33. 1 2 Active constraints in teleoperated robotic surgery: a paradigm shift from virtual fixtures. Frontiers in Robotics and AI (2024). Дата обращения: 27 августа 2026.
  34. Применение 3D-моделирования в персонифицированном подходе к накостному остеосинтезу (обзор литературы). CyberLeninka. Дата обращения: 3 ноября 2025.
  35. 1 2 Применение аддитивных технологий в травматологии и ортопедии. Журнал «Врач» (15 октября 2021). Дата обращения: 3 ноября 2025.
  36. Dynamic Guiding Virtual Fixtures from Real-Time MRI for Cardiac Interventions. University of Houston (2022). Дата обращения: 27 августа 2026.
  37. 4D Gaussian Splatting: What It Is. The Future 3D. Дата обращения: 27 августа 2026.
  38. NeRF and Gaussian Splatting: The Breakthrough of 2025. Sparc3D. Дата обращения: 27 августа 2026.
  39. Estimating Virtual Fixture Parameters in Digital Twin Environment using Reinforcement Learning. Technical University of Munich (2023). Дата обращения: 27 августа 2026.
  40. 1 2 Shared Autonomy in Bimanual Robotic Assistance for Vitreoretinal Surgery. PMC (февраль 2022). Дата обращения: 27 августа 2026.
  41. 1 2 Haptics to Become Standard in Surgical Robotics. AZoRobotics (29 сентября 2025). Дата обращения: 27 августа 2026.
  42. Multimodal Cognitive Load-Aware Augmented Reality for Telerobotic Operation. arXiv (1 января 2025). Дата обращения: 27 августа 2026.
  43. Применение виртуальных фиксаторов в метрологии. Chalmers ODR. Дата обращения: 27 августа 2026.
  44. ARRI LUKA: Virtual Fixtures in Unreal Engine. ARRI. Дата обращения: 27 августа 2026.