Microsoft надеется, что вы сможете работать на ПК с Windows 11, просто поговорив с Copilot.

«Привет, Алекса, включи свет на кухне». «Привет, Google, напомни мне в 4 забрать бельё». Потребители годами общались с помощниками и выполняли свою работу. Теперь к ним присоединяется Microsoft, и это изменение может навсегда изменить наше взаимодействие с компьютерами. Встречайте новый язык фраз для компьютеров с Windows 11 — «Привет, второй пилот ».

Что меняется?

Компания Microsoft сегодня объявила о превращении каждого компьютера с Windows 11 в компьютер с искусственным интеллектом (ИИ), и в центре этих амбиций — ИИ-помощник Copilot. Компания объявила о предоставлении доступа к Copilot Vision и Copilot Voice всем пользователям. Эти две мультимодальные функции позволят пользователям взаимодействовать со своим компьютером с помощью голосовых команд после включения функции голосового управления в приложении Copilot.

Эти две функции затрагивают гораздо более амбициозную идею — Copilot Actions — систему, которая сначала будет представлена ​​в виде предварительной версии. Представьте себе своего рода агента, который может работать от вашего имени. До сих пор Copilot Actions ограничивался веб-доступом. Теперь же ИИ может выполнять задачи локально, обращаясь к файлам, хранящимся на вашем компьютере.

С помощью простой голосовой команды Copilot может выполнять действия с файлами, например, извлекать информацию из PDF-файла, открывать приложение для выполнения нужной задачи или находить изображения. Всё это происходит автономно и в фоновом режиме, позволяя вам сосредоточиться на других задачах. Это похоже на взаимодействие с агентами Copilot в приложениях Office, инструментом оператора OpenAI или с помощью Claude от Anthropic для создания и редактирования файлов с помощью команд на естественном языке, даже не открывая эти файлы.

«Мы считаем, что этот переход к диалоговому вводу данных станет таким же преобразующим, как мышь и клавиатура, с точки зрения открытия новых возможностей ПК для самого широкого круга пользователей», — говорится в пресс-релизе компании. Microsoft заверяет, что при автономной работе Copilot пользователи могут вмешаться на любом этапе и взять управление в свои руки. «Когда речь идёт о конфиденциальных действиях или важных решениях, Copilot Actions может запросить дополнительное разрешение пользователя для выполнения этих действий», — говорится в сообщении компании.

Что может сделать второй пилот?

Благодаря Copilot Vision ИИ-помощник видит всё, что отображается на экране. Это значит, что он может отвечать на ваши вопросы, давать советы и даже предоставлять внутриигровые подсказки. Это связано с функцией «Highlights», которая поможет пользователю выполнить любую задачу. От помощи с редактированием фотографий до составления планов путешествий, ИИ-помощник оценивает контент на экране и предлагает необходимые пошаговые рекомендации.

Понимание выходит за рамки визуальных эффектов в приложениях Microsoft, таких как Excel, PowerPoint и Word. В этих приложениях Copilot Vision может анализировать целые таблицы данных или документы и выполнять работу. Пользователи, участвующие в программе Insider, также смогут участвовать в текстовых диалогах с Copilot Vision, а не просто говорить и слушать.

Новый инструмент Ask Copilot на панели задач Windows 11 позволит пользователям вызывать Copilot Vision или Voice одним щелчком мыши. Microsoft также расширяет возможности Copilot Connectors, которые позволяют пользователям получать доступ к ИИ-помощнику в таких сервисах, как OneDrive и Outlook, а также в сторонних сервисах, таких как Google Диск, Gmail и Контакты. Идея аналогична коннекторам ChatGPT и аналогичной реализации в браузере Comet от Perplexity. Проще говоря, Copilot будет получать доступ ко всем данным, хранящимся в этих сервисах, и выполнять различные задачи: от обзора расписания встреч до поиска документов в облачном хранилище.