После использования этого духовного продолжения Google Camera я почувствовал, что фотографии, сделанные на мобильный телефон, должны быть такими

Шесть лет назад я начал свой путь фотографа, когда сел на борт IndiGo Airbus 320, направлявшегося в Индию, с камерой Sony в руках.

Сегодня, шесть лет спустя, фотография с помощью мобильных телефонов с необычайной скоростью охватывает сферу традиционной фотосъемки, а линейка продукции на рынке фотокамер постепенно превращается в удобные инструменты для профессиональной сферы или предметы моды.

В это время мое внимание привлекло еще одно «Индиго» — Project Indigo от Adobe, совершенно иное приложение для обработки изображений.

Он переносит на iPhone в его первоначальном виде признанный опыт вычислительной фотографии Google Camera, позволяя мне увидеть, насколько мощным является предел вычислительной фотографии.

Приложение для камеры, рассчитанное на будущее, но пока только предварительная версия

Если вы быстро посмотрите, то, возможно, трудно будет понять, что это приложение для обработки изображений.

Значок приложения Project Indigo вообще не имеет графических элементов. Вместо этого он следует обычной схеме дизайна Adobe, размещая на значке первые буквы двух слов в названии, а базовое изображение представляет собой сетку из 16 квадратов, обрамленную синими линиями.

Входя в Project Indigo (далее именуемый Indigo), первое, что вы видите, это знакомый интерфейс запроса разрешений. Это приложение для обработки изображений требует в общей сложности три разрешения:

• Разрешения на управление камерой
• Разрешения на доступ к альбому
• Разрешения на информацию о местоположении

Отсутствие прав доступа к микрофону говорит о том, что Project Indigo — это приложение, которое полностью обслуживает статичные изображения, а видеосъемка, которая больше соответствует интернет-тенденциям, не входит в его фокус.

После завершения подачи заявки на разрешение Indigo покажет вам основной пользовательский интерфейс и функции этого приложения для обработки изображений. Мы быстро пропустим его и перейдем непосредственно к основному интерфейсу приложения.

Основной интерфейс съемки Project Indigo не соответствует дизайну iOS 26, но предоставляет максимально возможное количество информации и элементов управления, позволяя операторам иметь максимальный контроль над своими фотоэффектами.

Начиная сверху, он разделен на три части: формат изображения, гистограмма и параметры экспозиции, а также режим съемки. Формат изображения позволяет вам выбирать, снимать фотографии в формате JPEG или формате DNG+JPEG.

Формат JPEG — это распространенный формат распространения, подходящий для публикации непосредственно в Интернете или социальных сетях после съемки, в то время как последний представляет собой фотографию в формате RAW, которая записывает подробную информацию о снимке, что может обеспечить огромное пространство для постобработки и не подходит для прямого распространения.

Гистограмма и параметры экспозиции в верхней средней части наглядно показывают текущую экспозицию в видоискателе и комбинацию выдержки и чувствительности. Эту часть также можно сдвинуть, чтобы войти во вторичное меню. В этом меню вы можете управлять некоторыми вспомогательными элементами управления кадрированием и съемкой, такими как обратный отсчет съемки, сетка видоискателя, уровень или индикатор передержки подсветки. Отсюда вы также можете войти во все настройки приложения Indigo.

Справа — текущий режим съемки. Настройки режимов Indigo несложные и делятся всего на два режима: фото и ночная сцена.

Обращая взгляд на нижнюю половину экрана, в нижней части видоискателя находится знакомая полоса выбора фокусного расстояния. Если взять в качестве примера мой iPhone 16 Pro, Indigo предлагает пять вариантов: 0,5×, 1×, 2×, 5× и 10×.

Очень заметно, что слово SR указано на двух фокусных расстояниях 2× и 10×. Из официального руководства мы можем узнать, что полное название SR — Multi-frame super-resolution. 2× на основе основной камеры 1× и 10× на основе 5× получат четкость, сравнимую с оптическими фокусными расстояниями с поддержкой этой технологии.

Как следует из названия, технический принцип, лежащий в основе технологии многокадровой сверхвысокого разрешения, заключается в том, что после нажатия кнопки затвора телефон мгновенно делает значительное количество фотографий, а затем с помощью определенного алгоритма объединяет десятки фотографий для создания фотографий, полных детализации и низкого уровня шума.

В ходе реальных испытаний я обнаружил, что технология многокадрового сверхвысокого разрешения работает в диапазоне от 2× до 4,9×, и то же самое справедливо для 10× и выше.

Другими словами, в проекте «Индиго» задачи получения изображений для каждого фокусного расстояния далее разделяются:

• 0,5×-1×: цифровое кадрирование на основе собственного сверхширокоугольного объектива;
• 1×-1,9×: цифровое кадрирование на основе собственной основной камеры;
• 2×-4,9×: Оптическое кадрирование на основе технологии многокадрового сверхразрешения;
• 5×-9,9×: цифровое кадрирование на основе собственного 5-кратного телеобъектива;
• 10× и выше: квазиоптическое кадрирование на основе технологии многокадрового сверхразрешения.

Посмотрев на ослепительную схему фокусного расстояния, мы обращаем внимание на нижнюю часть. Режимы фотосъемки и ночной съемки расположены горизонтально между схемой фокусного расстояния и кнопкой спуска затвора. Здесь вы можете быстро переключаться между двумя режимами, чтобы справиться с различными сценами съемки. Однако здесь есть дублирование с переключателем режимов вверху справа, что, похоже, немного тратит пространство пользовательского интерфейса.

Ниже находится самая важная кнопка спуска затвора. Слева от кнопки спуска затвора находится альбом, в который будут помещены сделанные фотографии для последующего слияния. Здесь вы можете видеть, что на заднем плане происходит слияние нескольких фотографий. Отсюда вы также можете перейти в Lightroom для дальнейшего редактирования фотографий.

Справа находится более профессиональный ручной режим, в котором можно настраивать параметры, напрямую влияющие на конечное изображение, такие как цветовая температура, фокусное расстояние, выдержка и чувствительность.

После ознакомления с макетом страницы мне стало очень любопытно узнать о реальных показателях съемки Project Indigo и узнать, насколько отличается понимание этой старой компании, специализирующейся на области обработки изображений, от мобильной съемки.

Позвольте мне сначала сделать вывод. Project Indigo полностью отличается от родной камеры iPhone в двух основных аспектах. Основываясь на том же оборудовании, эффект изображения Project Indigo более привлекателен, а переход между светом и тенью больше соответствует тому, что видит невооруженный глаз, без глупо яркого ощущения iPhone.

Судя по гистограмме, пиксели Project Indigo больше сконцентрированы в левой половине, а изображение имеет тенденцию быть более темным, что больше соответствует зоне комфорта человеческого глаза, сильнее стимулирует эмоциональный резонанс человека и больше соответствует глубоким привычкам художественного самовыражения.

Другое заключается в том, что изображение Project Indigo имеет меньшую резкость и фрагментацию, но благодаря синтезу значительного количества множественных кадров резкость не слишком ослабевает. После увеличения края объектов и текста на изображении по-прежнему остаются относительно четкими, сохраняя определенную степень читаемости.

Помимо того, что Project Indigo делает переход света и тени более естественным и решает проблему резких краев, он также имеет оптимизацию, которую нелегко заметить — на исходном изображении с камеры iPhone может легко появиться едва заметный и плотный шум после увеличения, но Project Indigo очень хорошо справляется с этим фоновым шумом, и изображение по-прежнему может оставаться чистым при увеличении.

В целом Project Indigo превосходит все ожидания по детализации изображения, резкости, подавлению шумов и цветопередаче, демонстрируя более естественную и гармоничную эстетическую тенденцию и точнее воспроизводя то, что видит невооруженный глаз.

Можно сказать, что дебют Project Indigo решил все проблемы, за которые сейчас критикуют iPhone, такие как чрезмерная резкость, неестественная кривая яркости и детализация изображения, полная фонового шума. Он даже расширил доступные границы фокусного расстояния iPhone, но я не рекомендую вам пробовать его прямо сейчас.

Причина в том, что это приложение все еще имеет много проблем: например, иногда появляются черные полосы внизу фотографий, а сделанные фотографии становятся фиолетово-красными после редактирования в альбоме. В то же время выделяемое тепло и потребление энергии во время всего процесса съемки значительно выше, чем у родной камеры системы.

Согласно отзывам разработчиков Project Indigo в социальных сетях, проблемы с черным краем и цветопередачей в основном связаны с неполной адаптацией системы, что является типичной ошибкой стадии бета-тестирования;

Причины нагрева и потребления энергии глубже. Indigo использует конвейер обработки изображений, который полностью отличается от iPhone, поэтому он не может вызывать родной ISP Apple. Все многокадровые вычисления и задачи слияния изображений практически напрямую возлагаются на сам процессор, что, естественно, приводит к более высокой нагрузке на оборудование.

На самом деле, Adobe уже напомнила вам обо всем этом еще до того, как вы открыли программу — помните значок с белым фоном и синим каркасом?

Этот дизайн, напоминающий инженерный чертеж, прямо указывает на то, что проект Indigo по-прежнему сосредоточен на базовых алгоритмах и структурах вычислительной фотографии и представляет собой технологический эксперимент, а не полностью функциональный готовый продукт, пригодный для распространения.

В то же время происхождение Project Indigo также определяет, что его пользовательский опыт определенно недостаточно хорош — это проект, запущенный командой Nextcam в рамках Adobe Labs, которая является испытательным полигоном Adobe и инкубатором будущих технологий, сосредоточенным на постановке вопросов и проверке идей, а не на предоставлении конечных результатов.

Происхождение и будущее вычислительной фотографии

Хотя запуск проекта Indigo приписывают Adobe, компании, которая уже давно работает в сфере обработки изображений, в команде Nextcam, запустившей Indigo, есть имя, которое стоит отметить, — Марк Левой.

Если вы застали эпоху, когда отечественная система обработки изображений на базе Android еще не появилась, а Google Camera пользовалась популярностью, то вы, возможно, не знакомы с именем Марка Левоя — ранний Pixel и Google Camera, известная своими алгоритмами, являются шедеврами, созданными под его руководством.

Философия Левоя коренится в его академическом образовании, в мире, который сильно отличается от традиционной оптической фотографии: в мире компьютерной графики.

Еще во время его докторской диссертации разработанная им технология объемного рендеринга заложила основу для основной логики его более поздних работ: посредством вычислений ряд двумерных срезов данных (например, КТ-сканов) реконструировались в трехмерное целое. Это был прототип основной логики многокадрового синтеза и реконструкции изображений, которую он позже применил в мобильной фотографии.

Преподавая в Стэнфордском университете, Левой заложил прочную теоретическую основу для вычислительной фотографии. В статье «Рендеринг светового поля», написанной им в соавторстве с коллегами, утверждалось, что камеры должны регистрировать не только интенсивность света, но и его направление, что позволяет выполнять революционные операции, такие как повторная фокусировка после съемки.

Знакомо? Камера Lytro, которая уже ушла в прошлое, является верным последователем этого пути.

В 2004 году Левой переосмыслил и популяризировал термин «вычислительная фотография» в курсе Стэнфорда, интерпретировав более широкое значение этого слова с другой точки зрения:

Вычислительная фотография — это метод, направленный на улучшение или расширение возможностей цифровой фотографии, позволяющий получить обычную фотографию, которую невозможно сделать с помощью традиционной камеры.

Десять лет спустя Левой официально присоединился к Google и возглавил команду, сосредоточившуюся на мобильной фотографии. Здесь его ранние идеи были окончательно реализованы: группа кадров изображения с чрезвычайно короткой выдержкой получается посредством высокоскоростной непрерывной съемки, а затем алгоритмы используются для выравнивания, объединения и снижения шума. Наконец, вычисляется фотография с чистым качеством и широким динамическим диапазоном, значительно превосходящим качество любого отдельного кадра.

Теория, требующая огромных вычислений и несколько чрезмерно идеалистичная, после обобщения и уточнения была реализована с вычислительной мощностью, которую может себе позволить обычное оборудование, и, наконец, попала в руки сотен миллионов пользователей. Крик десятилетней давности наконец-то получил эхо.

Главными героями после этого являются знакомый Pixel и его знаменитые функции. Прежде всего, HDR+, который полностью меняет производительность изображений мобильных телефонов в сложных условиях освещения. Благодаря технологии многокадрового синтеза он сохраняет яркие детали, а также четко отображает темные уровни.

Далее следует портретный режим, который использует алгоритм для достижения эффекта размытия фона, сравнимого с эффектом зеркальной камеры на одной камере. Это идеальное воплощение его концепции уменьшения размерности; а ночной режим сцены доводит эту идею до крайности. Он может объединять до 15 кадров, каждый с экспозицией до 16 секунд, в яркую и четкую ночную фотографию. Его эффект был беспрецедентным в области мобильной съемки в то время.

Эти функции, основанные на технологии многокадрового синтеза, не только позволили однокамерному Pixel превзойти телефоны с двумя камерами, такие как iPhone и Samsung, завоевав многочисленные награды, в том числе звание лучшего камерофона года, но и сделали термин «вычислительная фотография» выигрышной формулой для мобильной обработки изображений.

Много лет спустя, когда Левоя, который уже присоединился к Adobe, спросили о связи между вычислительной фотографией и художественным творчеством, его философия была ясной и решительной:

Не существует такого понятия, как «прямая фотография». Динамический диапазон света в реальном мире намного превышает предел того, что может записать любой датчик. Сам человеческий глаз также является адаптивным светочувствительным механизмом. Сцены, которые видят люди, были субъективно обработаны мозгом, поэтому любая цифровая система обработки изображений должна корректировать записанные цвета и тона, и эти корректировки неизбежно субъективны.

Левой не стесняется своего продукта и даже на удивление честен, утверждая, что на протяжении нескольких лет изображения Pixel создавались в соответствии с его философией и эстетикой:

Мне нравятся картины Караваджо, поэтому стиль изображений на Pixel 2 и Pixel 4, как правило, темный и высококонтрастный.

Эта философия распространялась на всю карьеру Левоя, пока он не ушел из Google и не присоединился к Adobe. Мы все еще можем видеть этот темный стиль в Project Indigo, который полностью отличается от стратегии обработки изображений оригинальной камеры iPhone, которая фокусируется на средних тонах и светах.

Конечно, это эстетическое предпочтение с одной стороны, и оно также неотделимо от требований алгоритма с другой стороны. Текущее решение Project Indigo заключается в том, чтобы сделать несколько слегка недоэкспонированных фотографий, чтобы сохранить яркие детали и цвета, а затем уменьшить темный шум с помощью многокадрового синтеза. Фотографии, синтезированные по этой логике, как правило, темнее.

На этом этапе те, кому интересно, уже могут обнаружить очень долгосрочное пасхальное яйцо: как эстетически, так и технически Project Indigo можно рассматривать как духовное продолжение Pixel. Что еще интереснее, это удивительное приложение в настоящее время доступно только в версии для iOS.

Разве это не своего рода ортодоксальность Google в Apple?

Не позволяйте алгоритмам присваивать себе фотографии

Единственная константа — это перемены; удача никогда не длится вечно.

Термин «вычислительная фотография», который на заре своего существования олицетворял технологию и прогресс, в последующий период начал приходить в упадок.

После запуска Pixel, Google Camera стала родной камерой Pixel, и постепенно перестала существовать как отдельное приложение. Сложность адаптации резко возросла. Кроме того, постоянное совершенствование отечественных мобильных телефонов постепенно привлекало всеобщее внимание и получало признание, что также отвлекало внимание людей от Google Camera.

С другой стороны, Apple, занимающая половину экосистемы мобильных телефонов, полностью внедрила технологию Deep Fusion в серии iPhone 11. Она также использует технологию многокадрового стекирования, но получила неоднозначные отзывы.

Что касается iPhone без Deep Fusion, то, хотя этот эффект и естественен, он все же ухудшает качество изображения и в конечном итоге был постепенно устранен в последующих обновлениях процессора.

С тех пор термин «вычислительная фотография» стал вызывать все больше негативных ассоциаций — фотографии сильно размазаны, пересвечены и имеют сильное ощущение фрагментации изображения. Эти неудобные визуальные прилагательные постепенно стали его стереотипными ярлыками.

В этом году все изменилось. На OPPO Find X8 Ultra есть «Master Mode», который, как утверждается, подготовлен для фотографов. Его стиль изображения более сдержанный и мягкий, чем у обычной вычислительной фотографии: он эффективно подавляет ощущение фрагментации, вызванное цифровой резкостью, при этом имея более естественную кривую яркости.

Однако немного жаль, что при стремлении к внешнему виду и мягкости резкость основного режима не сохраняется, четкость краев объектов снижается, а качество изображения теряет некоторую прочность.

Подход Project Indigo более радикален. Он следует алгоритму выжимания производительности до предела и синтеза десятков фотографий за один раз, полностью устраняя негативное влияние вычислений на готовую пленку, оставляя вычисления только в процессе. Конечный результат — фотография с естественным видом и ощущением, линейной яркостью и онлайн-резкостью.

Можно сказать, что это лучшее приложение для обработки изображений, которое я когда-либо видел и которое отделяет алгоритмы от готовых продуктов.

В конечном счете, наши сомнения относительно вычислительной фотографии на самом деле проистекают из нашего отвращения к очевидным «следам обработки» на фотографиях.

Да, алгоритмы действительно важны, и они действительно работают очень усердно, но людям нужна просто обычная хорошая фотография, как сказал Марк Левой, которая не требует никакого профессионального оборудования, но может дать неожиданные результаты только посредством вычислений.

А не листок бумаги с написанным на нем алгоритмом, претендующий на авторство.

#Добро пожаловать на официальный публичный аккаунт WeChat iFanr: iFanr (WeChat ID: ifanr), где вам будет представлен еще более интересный контент как можно скорее.

iFanr | Исходная ссылка · Просмотреть комментарии · Sina Weibo