Скажите «Алоха»: внимательный взгляд на голосовые амбиции Facebook

  1. Алоха голос
  2. Патенты на колонки и камеры
  3. Instagram голосовые сообщения
  4. Долгий путь к голосовой книге

Facebook не спешил принимать революцию в области голосовых вычислений. У него нет голосового помощника, его умный динамик все еще находится в разработке, а некоторые приложения, такие как Instagram, не полностью оборудованы для аудиосвязи. Но многое из этого может измениться, судя по экспериментам, обнаруженным в facebook-х код, плюс новые патентные заявки.

Развитие голосовой функциональности может дать людям больше возможностей использовать Facebook дома или в пути. По имеющимся сведениям, готовящийся к выпуску интеллектуальный динамик Portal предназначен для удобного видеочата с удаленной семьей, включая пожилых и детей, у которых могут возникнуть проблемы с телефонами. Усовершенствованные функции транскрипции и преобразования речи в речь могут связывать пользователей Messenger через средства ввода и сохранять их в приложении чата, а не возвращаться к SMS.

Но голос Facebook может заглушить шум толпы, если он не начнет двигаться в ближайшее время. У всех основных производителей мобильных устройств и операционных систем теперь есть свои собственные голосовые помощники, такие как Siri, Alexa, Google Assistant и Samsung Bixby, а также собственные умные динамики. Во втором квартале 2018 года Оценки Каналы что Google отправил 5,4 миллиона домов, а Amazon отправил 4,1 миллиона эхо. HomePod от Apple медленно стартует с менее чем 6 процентами рынка, за умным динамиком Alibaba, согласно Стратегия Аналитика , Пятнистый отчет Facebook о конфиденциальности может отвлечь потенциальных клиентов от конкурентов.

Учитывая, что Facebook опаздывает на игру, он должен прийти с мощной утилитой, которая решает реальные проблемы. Вот взгляд на новейшие разработки Facebook в голосовом пространстве и на то, как его прошлые эксперименты заложили основу для его следующего большого толчка.

Алоха голос

Facebook разрабатывает свою собственную функцию распознавания речи под названием Aloha как для приложений Facebook и Messenger, так и для внешнего оборудования - скорее всего, интеллектуальный динамик видеочата, который он разрабатывает. Код внутри приложений Facebook и Messenger для Android откопан частым консультантом TechCrunch и исследователем мобильных приложений. Джейн Манчун Вонг дает первый взгляд на прототип для пользовательского интерфейса Aloha.

Под надписью «Aloha Voice Testing», когда пользователь говорит, находясь в цепочке сообщений, горизонтальная синяя полоса расширяется и сжимается для визуализации объема речи при распознавании и транскрибировании в текст. Код описывает функцию как наличие соединения с внешними устройствами Wi-Fi или Bluetooth. Вполне возможно, что программное обеспечение будет работать как на аппаратном, так и на программном обеспечении Facebook, подобно Google Assistant, который работает как на телефонах, так и на динамиках Google Home. [Обновление: как показано ниже, функция Aloha содержит экран «Портал вашего мобильного устройства подключен», подтверждающий это имя для устройства динамического видеочата Facebook.]

Facebook отказался комментировать видео, так как его представитель Ха Тай сказал мне: «Мы постоянно тестируем материал - сегодня нечего делить, но через несколько недель моя команда свяжется с вами по поводу новостей об оборудовании, поступающих из организации AR / VR. «Неясно, будут ли эти аппаратные новости посвящены голосу и Алохе или Порталу, или это просто связано с Facebook-конференция Oculus Connect 5 25 сентября.

Источник ранее сообщил мне, что несколько лет назад Facebook интересовался разработкой собственного программного обеспечения для распознавания речи, специально разработанного для точной записи того, как друзья общаются друг с другом. Эти речевые паттерны часто бывают более случайными, разговорными, быстрыми и полными сленга, чем то, как мы формально обращаемся к компьютерным помощникам, таким как Amazon Alexa или Google Home.

Вонг также обнаружил логотип Aloha в коде Facebook, на котором изображены вулканы Вонг также обнаружил логотип Aloha в коде Facebook, на котором изображены вулканы. Я могу подтвердить, что я видел чат-бота Facebook Aloha Setup с похожим логотипом на телефонах сотрудников Facebook.

Если Facebook сможет понять это, он может предложить свои собственные функции транскрипции в Messenger и в других местах на сайте, чтобы пользователи могли общаться между собой. Это может потенциально позволить вам диктовать комментарии или сообщения друзьям, когда вы заняты руками или не можете смотреть на экран. Получатель мог затем прочитать текст вместо того, чтобы слушать его как голосовое сообщение. Эту функцию также можно использовать для включения голосовой навигации приложений Facebook для лучшего использования без помощи рук.

Патенты на колонки и камеры

Facebook получил патент на докладчика

Умный динамик видео чата Facebook под кодовым названием Aloha первоначально но позже переименован в портал Алекс Хит из Business Insider, а теперь и Cheddar, впервые сообщил об этом в августе 2017 года. Конкурент Amazon Echo Show за 499 долларов первоначально должен был стартовать на F8 Facebook в мае, но Bloomberg сообщил, что его оттолкнули на фоне опасений, что он усугубит скандал с конфиденциальностью, разожженный Cambridge Analytica.

Новая патентная заявка показывает, что Facebook рассматривал вопрос создания интеллектуального динамика еще 26 декабря 2016 года, когда он подал патент на устройство в форме куба. Патентная схема «орнамент для устройства громкоговорителя», изобретенный Бабак Эльми Александр Жайс и Джон Прокш-Уэйли. Facebook приобрел стартап Elmieh Nascent Objects в сентябре того же года, и теперь он технический руководитель в секретной аппаратной лаборатории Building 8 в Facebook.

Стартап строил модульное оборудование, и в начале этого года он был награжден патенты для работы в фейсбуке на нескольких модульных камерах. Технология динамиков и камер, которую разрабатывает Facebook, потенциально может превратиться в то, что есть в динамике видеочата.

Тот факт, что Facebook так долго изучал технологию громкоговорителей и что лидер по этим патентам до сих пор ведет секретный проект в Building 8, подтверждает, что у Facebook большие планы на голосовое пространство.

Полученные патенты на Facebook показывают дизайн для камеры (слева) и видеокамеры (справа)

Instagram голосовые сообщения

И наконец, Instagram становится все глубже в голосовой игре тоже. Снимок экрана, сгенерированный из кода Android-приложения Instagram от Вонга, показывает развитие функции обмена голосовыми сообщениями в Instagram Direct. Это позволит вам говорить в Instagram и отправлять аудиоклипы, похожие на рацию или добавлена ​​функция голосовых сообщений Facebook Messenger еще в 2013 году.

Вы можете увидеть голосовую кнопку в редакторе сообщений в нижней части экрана, и код объясняет это как «Голосовое сообщение, нажмите и удерживайте для записи». Прототип следует после недавнего запуска видеочат в Instagram Direct Еще одна особенность, на которой TechCrunch сломал новость благодаря исследованиям Вонга , Представитель Instagram отказался комментировать, как это обычно бывает, когда в его коде обнаружены функции, но еще не проходит публичное тестирование, заявив: «К сожалению, больше нечего поделиться этим сейчас».

Прототип следует после недавнего запуска   видеочат в Instagram Direct   Еще одна особенность, на которой TechCrunch   сломал новость благодаря исследованиям Вонга   ,  Представитель Instagram отказался комментировать, как это обычно бывает, когда в его коде обнаружены функции, но еще не проходит публичное тестирование, заявив: «К сожалению, больше нечего поделиться этим сейчас»

Долгий путь к голосовой книге

Фейсбук давно возился в голосовом пространстве Фейсбук давно возился в голосовом пространстве. В 2015 году это приобрел стартап обработки естественного языка Wit.ai который управлял платформой разработчика для создания речевых интерфейсов, хотя это позже вкатил Wit.ai в команду разработчиков Messenger сосредоточиться на чат-ботов. Facebook также начал тестирование автоматически расшифровка голосовых клипов Messenger в тексте в 2015 году, что, вероятно, послужило основой для функции Aloha, показанной выше. Компания также представила своего личного помощника M, который мог выполнять задачи для пользователей, но он был развернут только для очень ограниченной пользовательской базы и впоследствии отключен.

В следующем году глава Messenger Facebook Дэвид Маркус заявил на TechCrunch Disrupt, что голос «это не то, над чем мы сейчас активно работаем», но добавил, что «в какой-то момент становится совершенно очевидно, что по мере того, как мы развиваем все больше и больше возможностей и взаимодействий» внутри Messenger мы начнем работать над обменом голосом и интерфейсами ». Однако источник сообщил мне, что секретная группа Language Technology Group Facebook уже изучает возможности голосовой связи. Фейсбук тоже начался тестирование функции Live Audio для пользователей, которые хотят просто транслировать звук, а не видео.

К 2017 году Facebook был предлагая автоматические субтитры для видео Страниц , и был разработка функции голосового поиска , И в этом году Facebook начал пытаться голосовые клипы как обновления статуса а также Истории для пользователей по всему миру кто может испытывать затруднения при наборе на своем родном языке. Но руководители мало говорили о голосовых инициативах.

Наиболее подробные комментарии мы получили от дизайнера Фейсбука Люка Вудса на TechCrunch Disrupt 2017, где он описал голосовой поиск, сказав, что это «очень многообещающе. Там происходит много захватывающих вещей ... Я люблю иметь возможность разговаривать с машиной, чтобы перемещаться в определенное место. Это один из многих возможных вариантов использования ». Также может помочь голосовая транскрипция.

До сих пор неясно, каким именно Алохой станет Facebook. Это может быть де-факто операционная система или голосовой интерфейс и функция транскрипции для интеллектуальных динамиков и приложений Facebook. Он может стать более полноценным голосовым помощником, как M, но со звуком. Или, возможно, он может стать мостом Facebook к другим голосовым экосистемам, выступая в качестве Alexa Skill или Google Assistant Action.

Когда я спросил Вудса: «Как бы работал Facebook на Alexa?», Он ответил с улыбкой. «Это очень интересный вопрос! Без комментариев."

Когда я спросил Вудса: «Как бы работал Facebook на Alexa?