WIDETIDE

Интересное в мире. Спектакли, концерты, лекции в прямом эфире теперь смогут смотреть люди с полной или частичной потерей слуха, и субтитры им будут не нужны.

Британские разработчики с помощью нейросети создали алгоритм, который превращает речь в виртуального сурдопереводчика.

Ученые давно пытались придумать что-то подобное, но им не удавалось четко отрисовать, например, кисти рук, которые очень важны в жестовом языке.

Как работает алгоритм? 

Сначала он переводит голос человека в текст. Потом этот текст превращается в скелетную модель тела с жестами. А затем вектор объединяется с фотографией человека, которую нужно анимировать. После этого специальная нейросеть объединяет все жесты и создает видео. 

Разработчики провели тест и попросили 46 добровольцев, 28% из которых носители жестового языка, оценить реалистичность видео. Большинство из них одобрили новый алгоритм.