Apple Intelligence: вот все, что мы знаем на данный момент

Apple Intelligence — это подход Apple к искусственному интеллекту, который призван фундаментально изменить способ нашего взаимодействия с технологиями, объединяя передовые возможности машинного обучения и искусственного интеллекта в повседневных устройствах.

Обещая больше разговорной прозы от Siri, автоматическую корректуру и обобщение текста в приложениях, а также молниеносную генерацию изображений, экосистема искусственного интеллекта Apple предназначена для улучшения пользовательского опыта и оптимизации операций во всей линейке продуктов. Вот все, что вам нужно знать о новом ИИ от Apple.

Дата выпуска Apple Intelligence и совместимость

Официальный выпуск Apple Intelligence первоначально планировался в сентябре, что совпало с выпуском iOS 18 , iPadOS 18 и macOS Sequoia . Однако, как сообщил Марк Гурман из Bloomberg , впоследствии Apple решила немного отложить выпуск Intelligence . В настоящее время он доступен разработчикам, хотя, по словам Гурмана, маловероятно, что Apple Intelligence будет выпущена публично до выпуска версии 18.1, запланированного на октябрь.

НОВИНКА: Apple Intelligence появится позже, чем ожидалось: в iOS 18.1 и iPadOS 18.1 он появится в октябре и будет отсутствовать в первых сентябрьских выпусках. Тем не менее, на этой неделе версия 18.1 выйдет в бета-версию для разработчиков. https://t.co/LqXDvjO6ef

— Марк Гурман (@markgurman) 28 июля 2024 г.

Компания уточнила, что, по крайней мере первоначально, функции искусственного интеллекта будут доступны на iPhone 15 Pro и 15 Pro Max , а также на iPad и Mac с чипами M1 или новее (и, предположительно, также на телефонах iPhone 16, поскольку они все будут работать под управлением iOS 18). Более того, эти функции доступны только при запуске, если в качестве языка пользователя установлен английский.

Почему обрыв? Что ж, Apple настаивает на том, что эти процессы слишком интенсивны для старого оборудования, поскольку они используют более совершенные нейронные механизмы, графические процессоры и процессоры этих новых чипов.

Пользователи, использующие iPhone 15 Pro или iPhone 15 Pro Max в рамках программы Apple для разработчиков, получили доступ к ранней версии Intelligence в июле с выпуском бета-версии iOS 18.1.

Новые возможности ИИ

Независимо от того, с каким устройством вы используете Apple Intelligence, ИИ будет сосредоточен в первую очередь на трех функциях: помощь в написании, создании и редактировании изображений, а также расширении когнитивных возможностей Siri.

Инструменты для письма

Новая функция «Инструменты для письма» будет интегрирована в iOS 18, iPadOS 18 и macOS Sequoia после запуска. Он может корректировать написанное пользователем и при необходимости переписывать разделы, а также обобщать текст во всей экосистеме приложений Apple, включая Mail, Notes и Pages. Сторонние разработчики смогут использовать инструменты записи в своих приложениях через вызовы API.

Например, в приложении «Почта» Apple Intelligence предоставит пользователю краткую сводку содержимого его почтового ящика, а не покажет ему первые пару строк самого электронного письма. Smart Reply предложит ответы на основе содержания сообщения и обеспечит, чтобы ответ отвечал на все вопросы, заданные в исходном электронном письме. Приложение даже переместит более своевременную и уместную корреспонденцию в верхнюю часть папки «Входящие» с помощью приоритетных сообщений.

Приложение «Заметки» также претерпит значительные улучшения. Благодаря Apple Intelligence Notes предложит новые функции транскрипции и обобщения аудио, а также встроенный калькулятор, получивший название Math Notes, который решает уравнения, введенные в текст заметки.

Изображение игровой площадки

Функции создания и редактирования изображений будут в основном выполняться с помощью нового приложения Image Playground, в котором пользователи смогут раскручивать созданные изображения за считанные секунды и в одном из трех художественных стилей: анимация, иллюстрация и эскиз. Image Playground будет существовать как отдельное приложение, многие функции которого будут интегрированы с другими приложениями Apple, такими как «Сообщения».

Apple Intelligence также появится в вашей фотопленке. Функция «Воспоминания» в приложении «Фотографии» уже была способна автоматически идентифицировать наиболее значимых людей, места и домашних животных в жизни пользователя, а затем объединять этот набор изображений в целостную коллекцию с музыкой. С Apple Intelligence функция «Воспоминания» становится еще лучше.

ИИ выберет фотографии и видео, которые лучше всего соответствуют запросу пользователя (например, поездка лучших друзей в Лос-Анджелес в 2024 году). Затем он создаст сюжетную линию, включая главы, основанные на темах, которые ИИ найдет в выбранных изображениях, и соберет все это в короткометражный фильм. Пользователи фотографий также получат доступ к Clean Up, инструменту, похожему на Magic Eraser от Google , и улучшенным функциям поиска, как только Apple Intelligence завершит общедоступную бета-версию.

Сири

Конфиденциальность Apple Intelligence

Чтобы избежать дорогостоящих и неловких утечек данных , от которых пострадали некоторые из ее конкурентов в последние месяцы, Apple поставила конфиденциальность во главу угла работы Apple Intelligence, даже зайдя так далеко, что создала собственный частный и безопасный искусственный интеллект. вычислительное облако под названием Private Cloud Compute (PCC) для обработки сложных пользовательских запросов.

Большая часть рутинных операций Apple Intelligence будет выполняться на устройстве с использованием процессоров последних поколений A17 и M-семейства, сказал Крейг Федериги, старший вице-президент Apple по разработке программного обеспечения, во время WWDC 2024. «Он знает о ваших личных данных. , без сбора ваших личных данных», — добавил он.

«Когда вы делаете запрос, Apple Intelligence анализирует, может ли он быть обработан на устройстве», — продолжил Федериги. «Если ему требуется большая вычислительная мощность, он может использовать вычисления в частном облаке и отправлять только те данные, которые имеют отношение к вашей задаче, для обработки на кремниевых серверах Apple». Это должно значительно снизить вероятность взлома, перехвата, слежки и иного перехвата частных пользовательских данных во время передачи между устройством и PCC.

«Ваши данные никогда не хранятся и не предоставляются Apple к доступу», — пояснил он. «Он используется исключительно для выполнения вашего запроса, и, как и ваш iPhone, независимые эксперты могут проверять код, который работает на этих серверах, чтобы проверить это обещание конфиденциальности».

Партнерство Apple Intelligence с ChatGPT

Apple Intelligence будет не единственным передовым генеративным искусственным интеллектом, который появится в ваших устройствах Apple этой осенью. Во время WWDC руководители Apple и OpenAI объявили , что две компании запускают партнерство, в рамках которого функциональность ChatGPT (на базе GPT-4o ), включая генерацию изображений и текста, будет интегрирована в Siri и инструменты для письма. Как и Apple Intelligence, ChatGPT вмешается, если встроенных возможностей Siri недостаточно для запроса пользователя, за исключением того, что вместо этого ChatGPT отправит запрос в общедоступное вычислительное облако OpenAI, а не в PCC.

Пользователям не придется отходить от экрана Siri при использовании возможностей ChatGPT: Siri сообщит ответ независимо от того, где был обработан запрос. Чтобы обеспечить хотя бы видимость защиты конфиденциальности, устройство запросит у пользователя разрешение перед отправкой запроса вместе с любыми документами или изображениями, которые пользователь приложил.

Apple Intelligence прошла обучение работе с тензорными процессорами Google

В исследовательском документе Apple, опубликованном в июле, показано, что компания решила обучать ключевые компоненты модели Apple Intelligence с использованием тензорных процессоров Google (TPU) вместо востребованных систем на базе графических процессоров Nvidia. По мнению исследовательской группы, использование TPU позволило им использовать достаточную вычислительную мощность, необходимую для обучения огромного LLM, а также сделать это более энергоэффективно, чем при использовании автономной системы.

Это знаменует собой существенное отклонение от того, как обычно ведется бизнес при обучении ИИ. В настоящее время Nvidia контролирует от 70% до 95% рынка ИИ-чипов, поэтому заставить Apple вместо этого выбрать продукт своего прямого конкурента — и обнародовать этот факт — весьма необычно, если не сказать больше. Это также может быть знаком грядущих событий. Доминирование Nvidia на рынке не может длиться вечно — мы уже видим, как сегодняшние гиперскейлеры переходят на производство собственных чипов. Помимо текущих усилий Google по TPU , Amazon недавно объявила , что работает над собственной линейкой чипов, которая превзойдет текущие предложения Nvidia на 50%, потребляя при этом вдвое меньше энергии. Microsoft объявила , что в мае будет использовать семейство AI-чипов AMD.