Как научить марусю ругаться матом колонку

Теперь любой пользователь Маруси от Mail.ru Group сможет создать собственные навыки для голосового помощника. Для того, чтобы обучить Марусю, не нужен опыт в программировании: скиллы можно собрать с помощью специального конструктора.

Создавать навыки для Маруси можно в конструкторе Aimylogic от Just AI – одного из лидеров в области технологий разговорного искусственного интеллекта. Теперь помощника можно научить навыку, которого давно не хватало — например, по кодовому слову включать любимый подкаст или заказывать пиццу из ресторана.

Навык можно добавить не только для личного пользования: после модерации он будет доступен всем пользователям помощника — а значит, им смогут воспользоваться друзья автора или клиенты.

Если у разработчика уже есть навык, написанный на платформе для другого помощника, он может легко обучить ему Марусю.

В приложении уже появились новые игровые навыки. Список игр и команд для запуска можно найти в каталоге. Маруся поможет скрасить вечер за играми «Одно из двух» или «Сто к одному», позаботиться о вашем здоровье, предложив «Йогу для глаз», и даже коронует в игре «Да, милорд».

Навыки можно создать как для приложения голосового помощника, так и для устройств, которые она поддерживает, в том числе для умной колонки «Капсула».

Маруся уже интегрирована в сервисы Mail.ru Group. Например, голосовой помощник может прочитать письма в Почте Mail.ru или рассказать свежие новости, опубликованные на портале Mail.ru. Поддержка конструктора навыков поможет расширить взаимодействие Маруси с другими сервисами.

Пользователи смогут обучать «Марусю»

Любой пользователь голосового помощника «Маруся» от Mail.ru Group теперь может собственноручно обучить ее новым навыкам. Знание языков программирования для этого не нужно – навыки необходимые навыки для «Маруси» можно будет подобрать с помощью специального конструктора.

Дмитрий Григорьев

Обучить «Марусю» новым навыкам можно в конструкторе Aimylogic от Just AI . Например, можно научить голосового помощника по кодовому слову включать любимый подкаст или заказать еду из ресторана. Новые скиллы можно будет сделать общедоступными для других обладателей «Маруси», пишет Telecom Daily.

Навыки можно создать как для приложения голосового помощника, так и для устройств, которые она поддерживает, в том числе для умной колонки «Капсула». Кроме того голосовой помощник уже интегрирован в ряд сервисов mail.ru. Например, он «Маруся» может читать почту и рассказывать новости с портала Mail.ru.

Ранее сообщалось, что «Вымпелком» готовит к релизу в феврале текущего года первую версию виртуального ассистента, об этом сообщается в специально созданном Telegram-канале, где можно получить доступ к тестовой версии ассистента.

Как разговорить Марусю: FAQ по созданию скиллов для голосового ассистента

Голосовые помощники как технология возникли благодаря развитию целого созвездия других технологий. И одним из таких голосовых помощников стала Маруся, относительно недавно созданная в Mail.ru Group. В её основе лежат последние разработки компании в области распознавания речи, машинного обучения и быстрой обработки крупных массивов данных. Маруся — это диалоговая платформа. Она способна взаимодействовать с человеком не только звуком, но и посредством изображений или текста. Есть много ситуаций, в которых она ответит не голосом, а изображением, текстом или ссылкой.

Маруся дебютировала еще в прошлом году, а первое устройство с этим ассистентом появилось в апреле 2020. Компания развивает его, делает умнее и наполняет библиотеку скиллов. В частности, ассистент стал лучше понимать пользователя, улучшился TTS. Кроме того, Маруся научилась управлять умным домом. В июне 2020 года Mail.ru Group открыла возможность создавать свои собственные скиллы. С тех пор протокол сильно прокачался и возможности ассистента намного выросли, а для разработчиков появился отладчик, где можно протестировать созданные скиллы.

Содержание:

Как работает Маруся.
Как сделать скилл полезным.
Как создать скилл для Маруси.
Как перенести скилл из других ассистентов.
Как устроена среда отладки скиллов.
Как добавить скилл через ВКонтакте.
Как осуществляется модерация скиллов.
Как добавлять изображения в Марусю.
Как добавлять звуки в Марусю.

1. Как работает Маруся

В основе работы Маруси лежит система «скиллов» или, по-русски, «навыков». Это крохотные диалоговые приложения, в которых прописаны реакции и действия голосового помощника в ответ на определённые голосовые запросы. Этакие микросервисы, если вы знакомы с этой программной архитектурой. Пользователи взаимодействуют со скиллами Маруси, которая может быть встроена в самые разные устройства и отдельные программы. Причём у устройств могут быть сенсорные экраны или только голосовые интерфейсы.

На сегодняшний день Марусю поддерживают:

мобильное приложение Маруся на iOS;
мобильное приложение Маруся на Android;
умная колонка «Капсула»;
умная колонка Prestigio Smartvoice;
приложение Почта Mail.ru для iOS;
приложение Почта Mail.ru для Android.

2. Как сделать скилл полезным

Прежде чем начать создавать скилл, постарайтесь абстрагироваться от всех инструментов и процессов. Представьте, что пользователь разговаривает не с устройством, а просит выполнить свою задачу какого-нибудь специалиста. Задумайтесь: «Если бы вместо моего скилла был человек, идеально выполняющий эту задачу, как бы он общался с заказчиком?» Распишите по шагам, как будет проходить этот диалог, какой информацией будут обмениваться заказчик и исполнитель. Учитывайте, что диалог и сценарий использования может отличаться для Маруси в умной колонке и в приложении. В приложении вы можете часть информации вынести в визуальный интерфейс, а в умной колонке доступно только голосовое управление.

При общении с Марусей пользователь может говорить что угодно, и нужно предусмотреть пограничные ситуации, чтобы он не зашёл в тупик. Для этого проверьте свой скилл по чеклисту TRINDI (на русском).

После оттачивания сценария нужно продумать интерфейс. Для проверки его удобства рекомендуем второй важный чек-лист — usability-эвристики Нильсена (на русском). По нему проверьте ключевой сценарий и все подзадачи и ответвления. Чек-лист покажет, доносите ли вы всеми необходимыми способами пользователю сигналы о том, что скилл сработал и как он сработал. А заодно поможет правильно обработать ошибки: не просто выдав уведомление, а с пояснением, что делать дальше.

А еще мы советуем использовать длинное тире (—) в диалогах с пользователем, а в качестве кавычек использовать только начертание, принятое в русской типографике — «ёлочки». И не забывайте, что Маруся обращается на «вы» в независимости от возраста пользователя.

3. Как создать скилл для Маруси

С помощью конструктора голосовых приложенийAimylogic. Платформа скиллов общается с самим скиллом посредством протокола. Вебхук (webhook) — это веб-сервис, созданный разработчиком. Этот веб-сервис поддерживает протокол Маруси и способен принять и обработать запрос от пользователя (который Маруся перенаправит во внешний скилл) и отправить ответ. Чтобы сделать такой веб-сервис нужно обладать навыками программирования. Но можно воспользоваться конструктором для создания скиллов или ботов, которые значительно упрощают процесс.
Разработать самостоятельно. Для этого придётся изучить подробную документацию по созданию скиллов для Маруси. В ней подробно описан протокол, по которому взаимодействует Маруся с внешними навыками, как работать с TTS, как работать с медиафайлами. Код приложения может быть написан на любом удобном вам языке и размещен на любом сервере. Главное, чтобы вебхук был доступен из интернета и воспроизводил протокол Маруси из документации.
Заказать разработку скиллов у сторонних разработчиков. Тут всё то же самое, что и в предыдущем пункте, только работа будет произведена кем-то другим. Для этого нанятая команда должна иметь опыт по проектированию диалоговых систем (например чат-ботов) и созданию приложений с голосовым управлением.

4. Как перенести скилл из других ассистентов

Если у вас уже есть скилл, созданный на платформе AImylogic, то для подключения его к Марусе достаточно выбрать канал Маруся в настройках и следовать инструкции. Более подробную информацию можно прочитать на странице платформы. При этом все разработчики, которые создают скиллы для Маруси с помощью Aimylogic, могут хостить эти скиллы бесплатно. Для этого есть специальный тариф — Skillmaster.

На что стоит обратить внимание при переносе скилла:

Проверить скилл на упоминания брендов и компаний.
Убрать стороннюю монетизацию, ссылки на другие каталоги и прочие специфичные настройки.
Проверить разметку голосового синтеза. Подробная инструкция по ссылке.
Проверить хостинг картинок. Возможно, в переносимом скилле изображения подгружаются из облачного хранилища. Для работы с изображениями необходимо их загрузить в интерфейсе ВКонтакте.
При желании можно конвертировать аудио, используя библиотеку звуков Маруси.

5. Как устроена среда отладки скиллов

Нам важно, чтобы разработчики могли быстро проверять свои идеи, легко отлаживать и тестировать скиллы на нашей платформе. Для этого мы создали среду для тестирования скиллов.

Она позволяет не публикуя скилл опробовать его на любом клиенте Маруси. Для начала работы достаточно указать среде Webhook URL разрабатываемого скилла. При этом нет необходимости выкладывать его в сеть — разработчик может подключить к тестовой среде скилл, развёрнутый на своём компьютере, указав локальный адрес, например:

http://localhost:3000/webhook

Подключенный к среде скилл можно тестировать в любом клиенте Маруси: на колонке «Капсула», в мобильном приложении, во ВКонтакте или во встроенном в среду эмуляторе. Разработчик может переопределять некоторые параметры клиента, передаваемые в скилл: временную зону, геолокацию, язык интерфейса, признак наличия дисплея — это удобно для тестирования сценариев работы скилла.

Читать:

Minimum power consumption wifi что это

Тестовая среда воссоздаёт production-окружение Маруси, поэтому уже на ранних этапах реализации разработчик может убедиться, что скилл правильно интегрируется с платформой. Если он возвращает ошибку, отвечает долго, или ответ от скилла не соответствует протоколу, то среда выведет соответствующее сообщение. Также среда отображает лог JSON-сообщений между скиллом и платформой, что помогает искать ошибки в бизнес-логике работы скилла.

6. Как добавить скилл через ВКонтакте

Сам скилл можно создать в разделе для разработчиков ВКонтакте. Чтобы добавить готовый скилл:

В типах приложения выберите «Скилл Маруси».
Добавьте название, которое будет совпадать с командой для активации скилла.
Введите в поле Webhook URL адрес сервера, по которому будет размещен скилл, например https://example.com/test-webhook.
Подтвердите действие.

Обратите внимание: имя является первой фразой-триггером для вызова скилла. Фразы должны быть специфичны и уникальны, чтобы мы могли использовать их для внешних скиллов. Например, фразу «Расскажи анекдот» добавить не сможем, т.к. она уже используется во внутренних скиллах Маруси. А вот «Давай сделаем кодревью» пока можно использовать. Длина фразы активации не может превышать 64 символа.

7. Как осуществляется модерация скиллов

Все скиллы, которые создаются для Маруси сторонними разработчиками, в обязательном порядке проходят модерацию. Проходят быстро, всего за один рабочий день.

Каких правил нужно придерживаться, чтобы ваш скилл для Маруси был успешно допущен к использованию:

картинки должны соответствовать теме скилла и законам РФ, а также не нарушать авторских прав;
описание скилла должно быть простым, кратким и ёмким;
категория должна соответствовать тематике скилла;
скилл должен быть полезен и не носить рекламного характера;
название скилла и активирующей его фразы не должно содержать известные торговые марки (исключение: если скилл представлен владельцем этой марки);
скилл не должен давать доступ к контенту, защищенному авторским правом, если права на контент не принадлежат разработчику скилла.

8. Как добавлять изображения в Марусю

Маруся позволяет в ответе из внешнего скилла вставлять картинки. Для использования своего изображения необходимо загрузить с помощью формы загрузки изображений на странице редактирования информации о скилле на платформе загрузки скиллов ВКонтакте. После того, как изображение будет успешно загружено, оно отобразится рядом с формой загрузки вместе со своим идентификатором. Идентификатор изображения необходимо указывать в ответе внешнего скилла в поле image_id . Выглядеть такой ответ будет следующим образом:

< "response":< "text":"Сейчас очередь в столовой 5 человек.", "tts":"Сейчас очередь в столовой пять человек.", "card":< "type":"BigImage", "image_id":239017, "title": "Заголовок для изображения", "description": "Описание изображения" >, "buttons":[ < "title":"Надпись на кнопке", "payload":<>, "url":"https://example.com/" > ], "end_session":true >, "session":< "session_id":"574d41e0-a41e-4028-a73a-6f5b5", "message_id":0, "user_id":"3eae3c2f69b9f04e8cb15e157c4a9e05" >, "version":"1.0" >

9. Как добавлять звуки в Марусю

Произносимый Марусей текст можно разнообразить звуковыми эффектами, которые входят в библиотеку звуков Маруси. Для этого в поле tts (текст, предназначенный для перевода в речь) ответа внешнего скилла нужно вставить самозакрывающийся тег speaker , в котором необходимо указать атрибут audio . Выглядит это так:

tts = “Поздравляю! Вы правильно ответили на все мои вопросы!”

В произносимую речь можно вставлять и собственные звуки. Для этого нужно создать скилл на платформе ВКонтакте, а затем на странице редактирования скилла загрузить свои аудиофайлы. Они будут доступны только для использования в вашем внешнем скилле. После того как звуки станут доступны, их можно вставить в речь с помощью тега speaker с указанием атрибута audio_vk_id . Значением атрибута будет идентификатор загруженного вами звука. Выглядит это так:

tts = “Угадайте, чей это голос? ”

Платформа скиллов Маруси будет и дальше развиваться. Мы будем радовать разработчиков новыми фичами и развивать инструменты, чтобы создавать скиллы для Маруси было еще легче и интереснее. Следите за новостями и присоединяйтесь к нашему сообществу в Telegram!

Блог компании VK
Программирование
Умный дом
Голосовые интерфейсы

Поговори мне тут. Тестируем голосового помощника Марусю от Mail.ru

Слухи о собственном голосовом помощнике от Mail.Ru начали ходить уже давно, но до бета-теста ассистент добрался только сейчас. Мы походили с Марусей несколько дней, и готовы подробно про нее рассказать. Дочитайте материал до конца — там вас ждут три инвайта на бета-тест Маруси.

Главный экран

Начнем с того, что Маруся живет в отдельном приложении, а не встроена в какой-либо продукт, как это сделано в случае с голосовым помощником от Яндекса. Это одновременно является и плюсом, и минусом, но об этом чуть попозже.

При запуске приложения открывается экран, напоминающий чат (кстати, очень похожий на экран Алисы), внизу расположены три кнопки.

Левая кнопка — это меню-гамбургер, который вызывает пункт настроек. Здесь вы можете авторизоваться одним из трех способов (об этом тоже позднее), посмотреть информацию о приложении, отключить активацию по голосу (ассистент перестанет откликаться на свое имя и другие команды), получить инвайты для раздачи друзьям и просмотреть правовую информацию. Честно сказать, разнообразие настроек не поражает воображение, но не стоит забывать, что это всего лишь бета-тест и в будущем многое может поменяться.

Центральная кнопка в виде микрофона отвечает за вызов Маруси и работу с ней. Как и логотип Алисы, она анимированная и подстраивается под конкретное действие пользователя.

Кнопка справа позволяет вызвать клавиатуру, чтобы напечатать запрос Марусе. Такая функция есть во всех голосовых ассистентах. Она нужна, когда нет возможности задать вопрос голосом.

Зачем привязывать аккаунт?

Тут все просто. После привязки аккаунта VK Маруся сможет подтягивать музыку и ваши собственные плейлисты из музыкального сервиса, ставить музыкальные подборки по вашему запросу и даже воспроизводить радиостанции. А если привязать аккаунт Mail.ru, Маруся сможет читать ваши последние письма и выводить информацию о них. Отвечать на сообщения пока что нельзя, но разработчики обещают добавить эту возможность в будущем.

Работа с ассистентом

Скажем прямо — на данном этапе у Маруси очень страшный голос, который режет слух. Нет, конечно не такой ужасный, как у Google Assistant, но после Siri и уж тем более Алисы слышать грубый роботизированный голос будет тяжело. Кстати, Марусю озвучила актриса Елена Соловьева, а потому в будущем, качество синтеза речи может заметно возрасти. Но пока что голос действительно тяжело воспринимать на слух. Он тяжелый, фразы иногда «слипаются», где-то ассистент ускоряет речь, а где-то замедляет. Ну и куда же без неправильных ударений?

Несмотря на то, что это всего лишь бета-тест, ассистент уже неплохо справляется с базовой функциональностью и обладает своими интересными фишками. Например, Маруся может запомнить нужную вам информацию (всего пять «блоков»), а затем воспроизвести ее. А еще она ставит не заранее заготовленные музыкальные плейлисты, как это делают другие ассистенты, а выдает музыку непосредственно на основе ваших предпочтений в VK. Ну и читает последние сообщения электронной почты.

Очень здорово сделаны Афиша и поиск на карте. Красивая анимация, подробное озвучивание результатов поиска — это приятно удивило. А вот с погодой у Маруси дела не очень — она сообщает крайне ограниченную информацию с карточки. Посмотреть подробную информацию, развернуть карточку или уточнить данные нельзя. Верим, что и это поправят перед релизом.

К поиску Маруся обращается гораздо реже, чем другие ассистенты, и это большой плюс. В этом плане она идет наравне с Google Assistant.

А теперь поясним, почему же отдельное приложение для Маруси можно считать и минусом, и плюсом. С одной стороны, очень удобно, когда тебя ничто не отвлекает от главной задачи и все делается в одном приложении. С другой стороны, Маруси нет ни в браузере, ни в навигаторе (хотя у Mail.ru его и нет), ни в колонках. В этом плане Алиса сейчас недосягаема, а потому — ждем релиза умной колонки от синей корпорации.

Но самым большим минусом ассистента является, конечно же, набор возможностей. Маруся умеет выполнять очень простенький перечень действий и ей недоступно ничего более. У Алисы есть огромная библиотека навыков под названием «Диалоги», которая существенно прокачивает ее. Можно заказать такси, цветы, купить билеты в кино, прослушать все издания, прочитать новости, управлять умным домом. А Google Assistant вообще подключен к IFTT, с помощью которого можно писать свои сценарии для ассистента. Ну и не забываем про Wolfram Alfa, да.

Потому разработчикам Маруси нужно активно привлекать сторонних разработчиков и самим улучшать «базис» ассистента, иначе она просто умрет.

На данном этапе мы видим классную, но очень сыроватую бету ассистента. Многое нужно доработать. Но мы верим, что с большим количеством фидбека от пользователей, разработчики быстро это сделают. Конкуренция — это ведь всегда хорошо, верно?

Ну а пока что нынешним ассистентам ничего не угрожает. Маруся лишь на самом начале своего пути, и никто не знает, как сложится ее судьба.

А если вы сами хотите поиграться с помощником, мы даем вам три инвайта для активации Маруси на любом устройстве. Спешите, пока не разобрали!

И не забудьте про наш новый подкаст про голосовых помощников, искусственный интеллект и вот это всё.