Речь в речь. создаем нейронную сеть, которая подделывает голос.

Tartuga

Бывалый
ПРОВЕРЕННЫЙ ПРОДАВЕЦ
PREMIUM USER

Tartuga

Бывалый
ПРОВЕРЕННЫЙ ПРОДАВЕЦ
PREMIUM USER
Регистрация
7 Фев 2020
Сообщения
525
Реакции
98
Репутация
147
Способов идентифицировать человека по голосу появляется все больше. И параллельно исследователи придумывают, как обойти эти механизмы — и для защиты собственной персональной информации, и для взлома защищенных таким образом систем. Я решил разобраться в самых последних достижениях ученых в этой сфере, чтобы рассказать обо всем тебе.

Генерация голоса
Голос человека — результат движения связок, языка, губ. В распоряжении компьютера только числа, изображающие записанную микрофоном волну. Как же компьютер создает звук, который мы можем услышать из динамиков или наушников?

Текст в речь
Один из самых популярных и исследованных методов генерации звуков — прямое преобразование текста, который нужно воспроизвести, в звук. Самые ранние программы такого рода склеивали отдельные буквы в слова, а слова — в предложения.
С развитием программ-синтезаторов набор заранее записанных на микрофон букв стал набором слогов, а затем и целых слов.
Преимущества таких программ очевидны: они просты в написании, использовании, поддержке, могут воспроизводить все слова, какие только есть в языке, предсказуемы — все это в свое время стало причиной их коммерческого использования. Но качество голоса, созданного таким методом, оставляет желать лучшего. Все мы помним отличительные черты такого генератора — бесчувственная речь, неправильное ударение, оторванные друг от друга слова и буквы.

Звуки в речь
Этот способ генерации речи относительно быстро заменил собой первый, поскольку лучше имитировал человеческую речь: мы произносим не буквы, а звуки. Именно поэтому системы, основанные на

Пожалуйста Авторизуйтесь или Зарегистрируйтесь для просмотра скрытого текста.

— IPA, более качественны и приятны на слух.
В основу этого метода легли заранее записанные в студии отдельные звуки, которые склеиваются в слова. По сравнению с первым подходом заметно качественное улучшение: вместо простого склеивания аудиодорожек используются методы смешивания звуков как на основе математических законов, так и на основе нейронных сетей.

Речь в речь
Относительно новый подход полностью основан на нейронных сетях. Рекурсивная архитектура

Пожалуйста Авторизуйтесь или Зарегистрируйтесь для просмотра скрытого текста.

, построенная исследователями из DeepMind, позволяет преобразовывать звук или текст в другой звук напрямую, без привлечения заранее записанных строительных блоков (

Пожалуйста Авторизуйтесь или Зарегистрируйтесь для просмотра скрытого текста.

).
Ключ к этой технологии — правильное использование рекурсивных нейронов

Пожалуйста Авторизуйтесь или Зарегистрируйтесь для просмотра скрытого текста.

, которые сохраняют свое состояние не только на уровне каждой отдельной клетки нейронной сети, но и на уровне всего слоя.


Схема работы WaveNet
В целом эта архитектура работает с любым видом звуковой волны, вне зависимости от того, музыка это или голос человека.
На основе WaveNet есть несколько проектов.​

Пожалуйста Авторизуйтесь или Зарегистрируйтесь для просмотра скрытого текста.

— уничтожение шумов в записи голоса;​

Пожалуйста Авторизуйтесь или Зарегистрируйтесь для просмотра скрытого текста.

(

Пожалуйста Авторизуйтесь или Зарегистрируйтесь для просмотра скрытого текста.

) — генерация звука из мел-спектрограммы;​

Пожалуйста Авторизуйтесь или Зарегистрируйтесь для просмотра скрытого текста.

— улучшение качества голоса в записи.​
Для воссоздания речи такие системы используют генераторы звуковой нотации из текста и генераторы интонаций (ударения, паузы), чтобы создать натурально звучащий голос.
Это самая передовая технология создания речи: она не просто склеивает или смешивает непонятные машине звуки, но самостоятельно создает переходы между ними, делает паузы между словами, меняет высоту, силу и тембр голоса в угоду правильному произношению — или любой другой цели.

Создание поддельного голоса
Для самой простой идентификации, про которую я рассказывал в своей

Пожалуйста Авторизуйтесь или Зарегистрируйтесь для просмотра скрытого текста.

, подойдет практически любой метод — особенно удачливым хакерам может хватить даже необработанных пяти секунд записанного голоса. Но для обхода более серьезной системы, построенной, например, на нейросетях, нам понадобится настоящий, качественный генератор голоса.

Принцип работы имитатора голоса
Для создания правдоподобной модели «голос в голос», основанной на WaveNet, потребуется множество усилий: нужно записать большое количество текста, сказанного двумя разными людьми, причем так, чтобы все звуки совпадали секунда в секунду, — а сделать это сложновато. Однако есть и другой метод.
Основываясь все на тех же принципах, что и технология синтеза звука, можно достичь не менее реалистичной передачи всех параметров голоса. Так, была создана

Пожалуйста Авторизуйтесь или Зарегистрируйтесь для просмотра скрытого текста.

на основе небольшой записи речи. Именно ее мы с тобой и используем.
Сама программа состоит из нескольких важных частей, которые работают последовательно, поэтому разберемся поэтапно.
Кодирование голоса
Голос каждого человека обладает рядом характеристик — их не всегда можно распознать на слух, но они важны. Чтобы точно отделять одного говорящего от другого, будет правильным создать специальную нейронную сеть, формирующую свои наборы признаков для разных людей.
Этот кодировщик позволяет в дальнейшем не только переносить голос, но и сравнивать результаты с желаемыми.


Так выглядят 256 характеристик голоса
Создание спектрограммы
На основе этих характеристик можно из текста создать мел-спектрограмму звука. Этим занимается синтезатор, в основе которого лежит Tacotron 2, использующий WaveNet.


Пример сгенерированной спектрограммы
Сгенерированная спектрограмма содержит всю информацию о паузах, звуках и произношении, и в ней уже заложены все заранее вычисленные характеристики голоса.
Синтез звука
Теперь другая нейронная сеть — основанная на

Пожалуйста Авторизуйтесь или Зарегистрируйтесь для просмотра скрытого текста.

— будет постепенно создавать из мел-спектрограммы звуковую волну. Эта звуковая волна и станет воспроизводиться как готовый звук.
Все характеристики основного голоса сохраняются в синтезированном звуке, который, пусть и не без трудностей, воссоздает исходный голос человека на любом тексте.

Тестирование метода
Теперь, зная, как создать правдоподобную имитацию голоса, давай попробуем применить это на практике. В

Пожалуйста Авторизуйтесь или Зарегистрируйтесь для просмотра скрытого текста.

я рассказывал про два очень простых, но рабочих метода идентификации человека по голосу: с использованием анализа мел-кепстральных коэффициентов и с помощью нейронных сетей, специально обученных определять одного человека. Давай узнаем, насколько хорошо мы можем обмануть эти системы поддельными записями.
Возьмем пятисекундную запись голоса мужчины и создадим две записи с помощью нашего инструмента. Оригинал и записи, которые у меня получились, можно

Пожалуйста Авторизуйтесь или Зарегистрируйтесь для просмотра скрытого текста.

.
Сравним эти записи с помощью мел-кепстральных коэффициентов.


Вид коэффициентов на графике
Разница в коэффициентах также видна и в числах:
Синтез_1 - оригинал: 0.38612951111628727​
Синтез_2 - оригинал: 0.3594987201660116​
Как же отреагирует на такую хорошую подделку нейронная сеть?
Синтез_1 - оригинал: 89.3%​
Синтез_2 - оригинал: 86.9%​
Убедить нейросеть оказалось возможно, но не в совершенстве. Серьезные системы безопасности, которые установлены, например, в банках, скорее всего, смогут детектировать подделку, но человек, тем более по телефону, вряд ли сумеет отличить настоящего собеседника от его компьютерной имитации.

Выводы
Подделать голос сейчас уже не так сложно, как было раньше, а это открывает большие возможности не только для хакеров, но и для создателей контента: инди-разработчики игр смогут сделать качественную и дешевую озвучку, аниматоры — озвучить своих персонажей, а режиссеры фильмов — снять достоверную документалку.
И пусть технологии качественного синтеза речи еще только развиваются, но их потенциал уже сейчас захватывает дух. В скором времени все голосовые помощники обретут свой личный голос — не металлический, холодный, а наполненный эмоциями и чувствами; чат с техподдержкой перестанет раздражать, а ты сможешь заставить свой телефон отвечать на неприятные звонки вместо тебя.
 

q8d6a8_stupid

Участник

q8d6a8_stupid

Участник
Регистрация
10 Июл 2020
Сообщения
14
Реакции
1
Репутация
0
Очень интересная статья! Спасибо!
 
Сверху