2 березня Waverley запрошує на вже другу нашу подію зі світу Інтернет Речей. Цього разу поговоримо про голосові асистенти, які можуть працювати офлайн. Своїм досвідом буде ділитися Сергій Король.

Сергій - Technical QA Manager з багаторічним досвідом роботи в розробці і тестуванні програмного забезпечення. Через активне захоплення технологіями штучного інтелекту, він прийшов до дослідження та практичної реалізації питання голосового управління звичайними, не “smart” приладами: https://dou.ua/lenta/articles/voice-controlled-smart-home. Тепер, Сергій вирішив піти далі, повністю відмовившись від готових рішень, у пошуках кастомної реалізації повністю автономного механізму розпізнавання та сприйняття природного мовлення в рамках системи розумного будинку на основі Vosk ASR / Spacy NLU у зв’язці з сучасним залізом NVIDIA Jetson та програмованими мікрофонними решітками.

Якщо вам цікаво дізнатись, як створити голосового помічника, що не потребує підключення до інтернету, який керуватиме вашими домашніми смарт-ґаджетами, ця подія для вас. Ми коротко розглянемо основні пов’язані з цим технічні вимоги, задачі та труднощі, обговоривши такі теми:
- Знову винаходимо велосипед: для чого взагалі нам потрібен офлайновий голосовий помічник;
- Налаштування інфраструктури: мікрофонні решітки, сервер автоматичного розпізнавання мовлення (ASR) /обробки природної мови (NLP), контроллери приладів, мережевий рівень;
- Огляд та порівняння мікрофонних решіток ReSpeaker Core V2 and Matrix Voice;
- Що варто знати про попередню обробку вхідного аудіо потоку? Чи є доступні готові рішення?
- Можливі труднощі в налаштуванні заліза та програмного забезпечення на рівні сервера, апаратне прискорення з використанням GPU;
- Як скоротити час відгуку, щоб прилади максимально швидко реагували на команди?
- Можливі труднощі з автоматичним розпізнаванням мовлення (ASR) та обробкою природної мови (NLU) та як зробити так, щоб ваш голосовий асистент добре вас розумів.