Ученые из Кембриджского университета создали носимое устройство Revoice, способное обеспечить беглую, эмоционально выразительную коммуникацию у пациентов с дизартрией после инсульта. Разработка представляет собой комплекс, который объединяет датчики вибраций мышц горла и сигналы пульса сонной артерии с обработкой на базе большой языковой модели (ЛЯМ). Об этом сообщил журнал Nature Communications (NatCom).
Система использует сверхчувствительные текстильные датчики, которые закрепляются на шее, чтобы снимать качественные сигналы. Обработка сигналов сходит благодаря системе искусственного интеллекта (ИИ), которая вы же вы реально во времени восстанавливает речь.
В испытаниях на пяти пациентах с дизартрией (нарушение речи после инсульта) агенты системы корректировали ошибки токенов и улучшали связность фраз — с учетом логики и эмоциональной окраски.
Авторы сообщили о низких показателях ошибок: 4,2% — по словам (WER) и 2,9% — по предложениям (SER), а также о росте удовлетворенности пользователей на 55%. По замыслу разработчиков, платформа может применяться и при других неврологических состояниях и в многоязычных сценариях.
Авторы подчеркивают, что пока исследование проведено на небольшой группе и с ограниченным словарем, а эмоции выводятся по одному типу сигнала. В дальнейшем они планируют расширять выборку пациентов, добавлять разные языки, улучшать мультимодальное распознавание эмоций (например, подключая дополнительные сенсоры), облегчать «железо» (гибкая плата), переносить вычисления на edge-устройства и дорабатывать механизм определения конца высказывания для людей, предпочитающих более длинные фразы.
В работе также отмечается потенциальный эффект для качества жизни. Согласно публикации, восстановление коммуникации может снижать социальную изоляцию и помогать реабилитации за счет более точной обратной связи между пациентом и терапевтом.
