Они похожи на полупрозрачный пластырь, не мешают двигаться и работают 12 часов без подзарядки. Разработка южнокорейских инженеров под названием WRSLT — это первый в мире беспроводной ИИ-переводчик языка жестов на пальцах, который не требует индивидуальной подгонки и готов изменить правила общения для 70 миллионов человек
Это устройство, напоминающее полупрозрачную полоску-пластырь, крепится на пальцы, не нуждается в настройке и интерпретирует жесты с точностью около 88%. Результаты исследования уже опубликованы в журнале Science Advances. Его создатели убеждены, что смогут даровать способность говорить 70 миллионам людей с нарушениями слуха по всему миру. В эпоху, когда голосовые ассистенты легко заказывают пиццу, а искусственный интеллект пишет студенческие работы, значительная часть человечества по-прежнему сталкивается с почти непреодолимой преградой в повседневных ситуациях. Для неслышащих и слабослышащих людей сделать заказ кофе, объяснить самочувствие врачу или просто завязать разговор с незнакомцем — нередко сложнейшая задача. Проблема в том, что из примерно 70 миллионов человек, владеющих более чем 300 жестовыми языками, лишь немногие способны их понимать. Но команда инженеров и биомедиков из Южной Кореи совершила прорыв, который способен навсегда трансформировать эту ситуацию. Они разработали систему «умных» колец, преобразующую жесты в печатный текст — без кабелей, неудобных перчаток и длительного предварительного конфигурирования.
Принцип действия
Разработка получила название WRSLT (беспроводной кольцевой переводчик жестового языка). Внешне это набор из семи миниатюрных полупрозрачных колец, которые надеваются на фаланги пальцев чуть ниже второго сустава. Такое решение было выбрано неслучайно: оно позволяет руке сохранять полную свободу движений во время общения. Авторы проекта подчеркивают, что традиционные системы перевода жестов либо использовали проводные датчики, опутывающие руку наподобие паутины, либо громоздкие перчатки, серьезно ограничивающие подвижность. Новая разработка лишена этих недостатков: кольца растягиваются, подстраиваясь под разную толщину пальцев, и не мешают естественной жестикуляции. Каждое кольцо снабжено крошечным трехосевым акселерометром — сенсором, фиксирующим ускорение и пространственную ориентацию. Эти датчики отслеживают сгибание, наклон, поворот и остановку каждого пальца. Собранные данные по протоколу Bluetooth Multilink отправляются на смартфон или компьютер, где в дело вступает ИИ. Нейросеть анализирует траектории движений и превращает их в читаемый текст. Важно, что система не просто распознает изолированные слова — она использует специальный алгоритм последовательного детектирования, позволяющий «дописывать» фразы в реальном времени, пока пользователь продолжает жестикулировать.
Точность, автономность, универсальность
Результаты тестов, опубликованные в Science Advances, весьма убедительны. Исследователи обучили нейросеть на одной группе добровольцев, а затем проверили её работу на совершенно другой — людях, чьи данные никогда не использовались при настройке модели. Такой подход считается самым строгим и объективным, поскольку он моделирует реальную ситуацию, когда устройством пользуется человек, не участвовавший в его создании. Итоговая точность распознавания составила 88,5% для 100 жестов международного языка и 88,3% для 100 жестов американского языка жестов. Эти цифры важны не сами по себе, а в сравнении с предшествующими разработками. Авторы работы отмечают, что существующие аналоги либо демонстрируют сравнимую точность только после персональной подстройки под конкретного пользователя, либо неспособны работать без проводов. WRSLT же не нуждается в индивидуальной настройке, а заряда сменной батарейки в каждом кольце хватает примерно на 12 часов непрерывной работы. Система также успешно различает как динамические жесты (например, «плясать», «парить», «солнце»), так и статичные позы, которые удерживаются неподвижно (например, местоимения «я» и «ты»).
Разработчики не скрывают, что их творение — пока лишь опытный образец. Текущий словарь в 200 слов (100 для ASL и 100 для ISL) — это лишь малая часть лексики, необходимой для приемлемого общения. Однако команда уже работает над уменьшением размера колец и расширением набора учебных данных, чтобы охватить более широкий словарный запас и в перспективе — другие жестовые языки. По словам самих исследователей, их платформа потенциально применима не только для перевода, но и для других задач, где нужно точное отслеживание движений пальцев: например, для управления в виртуальной или дополненной реальности, бесконтактных интерфейсов и систем мониторинга в реабилитации. В научную группу вошли специалисты из Университета Йонсей, Университета иностранных языков Хангук, Корейского института науки и технологий (KIST) и других исследовательских центров Южной Кореи. Их работа — это не просто очередной технологический курьез, а реальный шаг к тому, чтобы десятки миллионов людей по всему миру перестали чувствовать себя изолированными от общества. И, возможно, уже в недалеком будущем неслышащему человеку для заказа чашки кофе будет достаточно просто пошевелить пальцами.