Корпорация Microsoft на своей ежегодной конференции для разработчиков представила технологии, которые помогут разрабатывать мультисенсорные, объединяющие несколько устройств интерфейсы, создавать ИИ-решения на базе Microsoft Azure, Microsoft 365 и любой другой платформе, а также инициативу AI for Accessibility – искусственный интеллект для людей с ограниченными возможностями.

В рамках развития «умного» облака и «умных» устройств Microsoft делает Azure IoT Edge Runtime средой с открытым кодом, позволяя пользователям модифицировать и настраивать приложения для «умных» устройств. Custom Vision теперь будет работать на Azure IoT Edge, позволяя таким устройствам, как дроны и промышленное оборудование, быстро выполнять критически важные действия без соединения с облаком. Это первый из сервисов Azure Cognitive Services, поддерживающий работу на «умных» устройствах, а в ближайшие месяцы в Azure IoT Edge появятся и другие сервисы.

Производитель дронов компания DJI начинает сотрудничество с Microsoft и будет создавать новый комплект средств разработки (SDK) для ПК с Windows 10. Компания также выбрала Azure в качестве приоритетного облачного провайдера для дальнейшей разработки решений для коммерческих дронов и SaaS-решений. Новый комплект средств разработки поможет обеспечить полный контроль управления полетами и передачу данных в режиме реального времени на почти 700 млн активных устройств с Windows 10 во всем мире. В рамках коммерческого сотрудничества DJI и Microsoft будут разрабатывать решения на основе Azure IoT Edge и сервисов Microsoft на базе ИИ.

Анонсирован и совместный с Qualcomm Technologies проект создания комплекта средств разработки решений для компьютерного зрения с элементами ИИ на Azure IoT Edge. В рамках партнерства будет создано оборудование и ПО, необходимое для разработки решений Интернета вещей с применением камер. Разработчики смогут создавать решения на базе сервисов Azure Machine Learning и пользоваться преимуществом аппаратного ускорения на платформе Qualcomm Vision Intelligence и в компонентах Qualcomm AI Engine. Будет также обеспечена поддержка сервисов Azure, таких как машинное обучение, потоковая аналитика и когнитивные сервисы, которые можно загрузить из облака для локального запуска на устройствах.

Microsoft объявила о выпуске Project Kinect for Azure, набора сенсоров, включающего в себя камеры с датчиками глубины нового поколения со встроенным компьютерным управлением, предназначенного для реализации технологии ИИ в периферийных устройствах. Созданный на базе технологий Kinect, нашедших свое продолжение в HoloLens, Project Kinect for Azure предлагает новые сценарии для разработчиков ИИ-решений, которые «осознают» окружающее пространство. Благодаря сочетанию сенсора Time of Flight с дополнительными сенсорами в энергоэффективном форм-факторе, Project Kinect for Azure будет использовать все возможности Azure AI для улучшения аналитики. Он может обеспечить тщательно проработанное отслеживание движений рук и сверхточное пространственное картирование.

Комплект для разработчиков Speech Devices SDK обеспечивает качество обработки аудиоданных из источников многоканального сигнала для более точного распознавания речи с шумоподавлением, воспроизведением удаленного звука и другими функциями. С его помощью разработчики могут создать множество активизируемых голосом сценариев, таких как сквозные системы управления заказами, бортовые и домашние помощники, а также другие виды цифровых ассистентов.

Обновления Azure Cosmos DB включают новые возможности, разработанные для поддержки как облачных, так и периферийных вычислений, а также доступ к базе данных через VNET для повышения безопасности.

Предварительная версия архитектуры для глубоких нейронных сетей Project Brainwave теперь доступна на Azure и периферийных устройствах. Project Brainwave делает Azure самым быстрым облаком для запуска решений на базе ИИ в режиме реального времени. Теперь он также полностью интегрирован с Azure Machine Learning и поддерживает оборудование Intel FPGA и нейронные сети на базе ResNet50.

Обновление Azure Cognitive Services включает в себя унифицированный сервис речи с улучшенным распознаванием и функцией преобразования текста в речь, поддерживающей настраиваемые голосовые модели и перевод. Благодаря этому, а также обновлению Custom Vision, каждый разработчик сможет без труда внедрять интеллектуальные функции в свои приложения.

Microsoft Azure становится платформой для разработки диалоговых решений на базе ИИ с возможностью их интеграции в любого агента. Обновления Bot Framework и Cognitive Services будут использоваться для создания нового поколения диалоговых ботов, способных поддерживать более содержательные беседы и имеющих опцию кастомизации голоса и личности для соответствия образу бренда.

Предварительная версия Azure Search с интеграцией Cognitive Services сочетает ИИ с технологиями индексации для быстрого поиска информации и аналитических данных в визуальном или текстовом виде.

Microsoft также продемонстрировала интеллектуальные возможности смешанной реальности, которые способны распознавать и понимать окружающую людей обстановку, вещи, которые они используют, их действия и взаимоотношения. Так, Microsoft Remote Assist обеспечивает пользователям возможность совместной работы в удаленном режиме благодаря видеозвонкам в смешанной реальности, обмену изображениями и аннотациям смешанной реальности. Сотрудники фронт-офиса могут делиться тем, что они видят, с экспертами в Microsoft Teams, ускоряя решение проблем и совместное выполнение задач.

Microsoft Layout позволяет с помощью технологии смешанной реальности разрабатывать дизайн, учитывающий окружение. Можно импортировать 3D-модели для создания дизайна комнаты в реальном масштабе, тестировать дизайн с помощью высококачественных голограмм в физическом пространстве или в виртуальной реальности, редактировать вместе с другими участниками в режиме реального времени.

Microsoft помогает разработчикам создавать решения для новой эры «умных» устройств на Azure, Microsoft 365 и других платформах, используя различные языки и среды. Так, с помощью Azure Kubernetes Service (AKS) разработчики могут упростить создание и запуск контейнерных решений даже без обширного опыта работы с Kubernetes. AKS появится в широком доступе в ближайшие недели, служба будет интегрироваться с инструментами разработчиков, средствами DevOps, инструментами управления сетью и мониторинга на портале Azure, позволяя разработчикам сосредоточиться на написании кода, а не на объединении сервисов. Кроме того, Microsoft предоставляет поддержку устройств Azure IoT Edge в Kubernetes.

Visual Studio IntelliCode предлагает интеллектуальные подсказки для улучшения качества и производительности кода, его предварительная версия также доступна в Visual Studio. Предварительная версия функционала Visual Studio Live Share позволяет разработчикам безопасно сотрудничать в режиме реального времени с другими членами команды, которые могут редактировать и отлаживать сервисы с помощью имеющихся инструментов, таких как Visual Studio 2017 и VS Code. Разработчики могут использовать Live Share на любом языке для любого сценария, включая бессерверные, предназначенные для выполнения в облаке, или IoT-решения.

Microsoft объявила о начале сотрудничества с GitHub, в результате пользователям GitHub теперь доступны мощности Azure DevOps. Компания провела интеграцию Visual Studio App Center и GitHub, обеспечив разработчикам GitHub, создающим мобильные приложения для устройств на iOS и Android, возможность бесшовной оптимизации процессов DevOps прямо из интерфейса GitHub.

Новый инструмент Microsoft Azure Blockchain Workbench упрощает разработку блокчейн-приложений путем соединения блокчейн-сети с поддержкой Azure с облачными сервисами, такими как Azure Active Directory, Key Vault и SQL Database, сокращая время, необходимое для прототипирования.

Наконец, новая пятилетняя программа AI for Accessibility, в которую компания инвестирует 25 млн долл., нацелена на использование ИИ во благо людей с ограниченными возможностями, которых в мире более миллиарда. Программа включает в себя гранты, инвестиции в технологии и экспертную поддержку, а также внедрение инноваций AI for Accessibility в облачные сервисы Microsoft. Основой проекта стала инициатива AI for Earth (искусственный интеллект для Земли).