Интервью с Ло Цзюнем, директором по алгоритмам обработки изображений в OPPO: Хорошая вычислительная фотография — это когда вы забываете о вычислительной фотографии.
В грядущем OPPO Find X9 Ultra будут заменены все семь объективов – основная камера, широкоугольный объектив, два телеобъектива, цветной объектив Danxia, фронтальная камера и телеконвертер…
Ни одна из них не была семейной реликвией.
За более чем 20 лет своей деятельности компания OPPO крайне редко полностью обновляла свое фотооборудование в рамках одного поколения продуктов. Ло Цзюнь сказал:
Похоже, подобное революционное обновление никогда прежде не проводилось.
Ло Цзюнь — директор по алгоритмам обработки изображений OPPO, который руководил разработкой алгоритмов обработки изображений для четырех поколений продуктов, от Find X6 Pro до Find X9 Ultra, а также для «мастер-режима», ставшего визитной карточкой OPPO в области фотосъемки.
Накануне запуска Find X9 Ultra iFanr взял интервью у Ло Цзюня. Мы поговорили о новом «мастер-режиме», еще не вышедшем телефоне, а также о прошлом, настоящем и будущем технологий обработки изображений OPPO.
Мы пытаемся найти ответ: что такое «реализм» вычислительной фотографии?
Режим мастера: Использование алгоритмов для борьбы с алгоритмами
Что такое «мастер-режим»?
Проще говоря, это конвейер обработки изображений в камерах OPPO, который не зависит от обычного режима съемки.
В обычном режиме цель — добиться яркости, приятных цветов и мгновенного улучшения качества изображения: система автоматически увеличивает яркость, повышает насыщенность цветов, а также выполняет сильную коррекцию резкости и шумоподавление. Эти операции делают фотографии привлекательными с первого взгляда, но ценой того, что они выглядят несколько искусственно «усовершенствованными».
Сегодня в индустрии мобильной обработки изображений наиболее распространен спорный вопрос: "управление алгоритмами".
"Алгоритмический характер" — это не проблема какой-либо одной компании, а скорее структурный побочный продукт развития вычислительной фотографии до ее нынешнего состояния.
Поскольку мобильные телефоны используют все более сложные алгоритмы для компенсации физических ограничений своих небольших корпусов — многокадровый синтез, шумоподавление с помощью ИИ, HDR-стекирование, сверхразрешающая реконструкция — каждый этап обработки добавляет к фотографии вычислительные следы: тени осветляются, светлые участки подавляются, шум сглаживается, чтобы изображение напоминало масляную живопись, а повышение резкости создает больше «деталей».
В результате всё выглядит хорошо, но ничто не кажется чистым.
В режиме "Мастер-режим" используется другой подход.
Она обрабатывает изображения с более сдержанным тональным отображением, более естественной стратегией повышения резкости и тональной логикой, более близкой к логике оптической камеры. Она сохраняет тени там, где они должны быть темными, и зернистость там, где присутствует шум, не стремясь к «яркой белой красоте» на каждом снимке, а вместо этого стремясь к реалистичной текстуре фотографии.
В индустрии мобильных телефонов существует неписаное правило: если какая-либо функция вызывает споры на протяжении двух поколений подряд, то, скорее всего, от неё откажутся в третьем поколении.
«Мастер-режим» идеально воплощал этот образ.
В эпоху Find X7 Ultra мнения пользователей о нем были очень противоречивыми. Те, кому он нравился, говорили, что у него «камероподобное» ощущение и «высококачественный» вид; те, кому он не нравился, утверждали, что изображение «темное» и «нечеткое». Я даже столкнулся с ситуацией, когда после отправки другу фотографии, сделанной в режиме Master Mode, его первой реакцией было: «Ты что, размыл снимок?»
Но режим Master Mode сохранился.
Из нишевого инструмента для профессиональных пользователей он превратился в режим фотосъемки, который активно выбирают даже студенты колледжей.
Ещё более интригующим является то, что пользователи предпочитают режим Master Mode практически по той же причине — в нём отсутствует ощущение алгоритмичности.
Фактически, в режиме Master Mode используется самый передовой и ресурсоемкий алгоритмический конвейер во всей системе визуализации.
Это ощущение контраста является отражением современных возможностей OPPO в области обработки изображений, а также демонстрирует глубокое понимание Ло Цзюнем вычислительной фотографии за последнее десятилетие.
Мастера традиционного кинематографа создали мастер-режим.
Ло Цзюнь специализировался на алгоритмах обработки изображений и устроился в Sony через программу набора персонала в университете.
В начале 2000-х годов японская индустрия фототехники занимала лидирующие позиции в мировой индустрии. Он работал над видеорегистраторами Handycam, зеркальными фотокамерами Alpha и был свидетелем разработки с нуля беззеркальной серии NEX.
Но настоящий поворотный момент в индустрии он увидел благодаря камере Sony RX100.
В то время она стоила более 200 000 иен, в то время как обычная компактная фотокамера стоила от 50 000 до 60 000 иен. Эта же продавалась более чем за 10 000 юаней сразу после выхода на рынок, но она действительно была довольно инновационной.
Компания Sony уместила однодюймовый сенсор и объектив Zeiss в корпус размером с нагрудный карман рубашки. Это положило начало тенденции миниатюризации в области фототехники. Оглядываясь назад, можно сказать, что RX100 и последующие модели мобильных телефонов следовали тому же пути: максимальное качество изображения в крайне ограниченном физическом пространстве.
Однако мобильные телефоны продвинулись гораздо дальше.
За более чем десять лет работы в Sony все алгоритмы обработки изображений, разработанные Ло Цзюнем, работали на специализированных микросхемах ASIC. Разработка новой микросхемы осуществлялась каждые два года и охватывала несколько продуктовых линеек, при этом приоритет отдавался стабильности и надежности.
Но постепенно он осознал фундаментальное несоответствие:
Алгоритмы быстро совершенствуются, но специализированные интегральные схемы (ASIC) выпускаются каждые два года. Общая вычислительная мощность и архитектура несколько не соответствуют исследовательскому подходу вычислительной фотографии и искусственного интеллекта — они слишком медленные.
Позже он открыл для себя NPU — процессор, специально разработанный для обработки вычислений в нейронных сетях. Алгоритмы могли выполняться на программном уровне, что значительно увеличивало скорость итераций.
Однако наилучшей платформой для нейронного процессора является не камера, а мобильный телефон.
В начале 2017 года Ло Цзюнь увидел на выставке MWC демонстрацию компанией OPPO своей перископической телеобъективной технологии — 10-кратного гибридного зума, чего на тот момент никто в индустрии мобильных телефонов не делал. Он сразу же оценил потенциал компании и решил присоединиться к OPPO.
Интересно, что десять лет спустя в модели Find X9 Ultra, разработку которой он возглавлял, появился еще более совершенный 10-кратный оптический телеобъектив, но это уже совсем другая история.
Этот переход от традиционной к мобильной фотосъемке определил основную логику его режима Master Mode. Многие считают, что режим Master Mode «лишен алгоритмической обратной связи, напоминая результат съемки прямо из камеры», — замечание, которое показалось Ло Цзюню интересным.
Профессиональные камеры также используют алгоритмы, и их конвейеры обработки изображений довольно сложны и полностью реализованы с помощью микросхем. Однако эффект очень похож на наш режим Master Mode, поэтому для пользователя ориентиром становится следующее: «Я могу добиться эффекта, похожего на тот, что получается при использовании камеры, с помощью алгоритмов моего телефона».
По его мнению, утверждение о том, что «в камерах нет алгоритмов», является заблуждением. Алгоритмы камеры просто встроены в чип и невидимы для пользователя.
Дизайн режима Master Mode основан именно на этом понимании. Цель никогда не заключалась в том, чтобы «удалить алгоритм», а скорее в том, чтобы сделать алгоритм похожим на процессор обработки изображений профессиональной камеры — выполняющим большую часть работы незаметно для пользователя.
Внутри компании OPPO это называется "использование вычислительных ресурсов для вычислений" .
Ло Цзюнь сказал, что если ваша цель — «сделать алгоритм невидимым», то вы не можете стремиться к улучшению какого-либо одного параметра. Вам необходим систематический набор стандартов, определяющих, что значит «хорошо».
Он сформулировал этот стандарт четырьмя словами: правдоподобно.
Три года на преобразование OPPO Imaging
В конце 2021 года Ло Цзюнь был переведен из Японии обратно в Китай, чтобы полностью взять на себя руководство направлением совершенствования алгоритмов обработки изображений OPPO.
Для всех производителей мобильных телефонов переход на собственные алгоритмы обработки изображений — это решение, которое предполагает значительные долгосрочные инвестиции, но низкую краткосрочную отдачу.
Однако, чтобы сделать обработку изображений, а не просто их улучшение, ключевым конкурентным преимуществом флагманских телефонов OPPO, Ло Цзюнь реорганизовал команду из сотен человек, работающих над алгоритмами обработки изображений.
«Реалистичное воспроизведение» — относительно абстрактное понятие: какие изображения можно считать реалистичными и какие методы следует использовать для их воспроизведения?
Ло Цзюнь разделяет это на три конкретных измерения — свет и тень, детали и цвет. У него есть трехлетний план, в рамках которого он надеется восстановить возможности обработки изображений OPPO с помощью трех поколений продуктов.
В соответствии с философией Ло Цзюня, Find X6 Pro стал поворотным моментом для телефонов, предназначенных для съемки изображений, поскольку он в первую очередь решал проблему света и тени.
В интервью iFanr директор OPPO по технологиям обработки изображений Чэн Чжуо заявил, что цель серии Find X6 — установить «правильные тональные соотношения», корректируя искаженные кривые света и тени.
В этом поколении Find используется единственный на тот момент в отрасли телеобъектив с большим сенсором — 1/1,56-дюймовый CMOS-сенсор с эквивалентным фокусным расстоянием 70 мм, а также совершенно новый процессор обработки изображений Super Light and Shadow Image Engine.
Эта система впервые позволяет мобильным телефонам калибровать информацию о яркости на уровне пикселей и вычислять соотношение света и тени между объектом, источником света и окружающей средой. Ло Цзюнь сказал:
Яркий, но не ослепительный, темный, но не черный — таковы наши основные требования к свету и тени.
Ло Цзюнь также представил режим для профессиональных пользователей, который позволял в полной мере использовать возможности фотосъемки мобильных телефонов в системе обработки изображений OPPO, и назвал его «Профессиональный режим Hasselblad» — это был прототип «Мастер-режима».
Далее команде Ло Цзюня нужно было проработать детали.
Смартфон Find X7 Ultra оснащен первой в отрасли системой из четырех основных камер с двойным перископическим объективом, а также телеобъективом с 6-кратным оптическим зумом.
Увеличение фокусного расстояния — это не просто «возможность снимать дальше». В понимании Ло Цзюня это имеет более фундаментальный смысл:
Чем больше фокусное расстояние, тем больше систем отсчета. Можно запечатлеть мир с разных ракурсов, и система сможет восстановить более полную информацию.
Система координат — это ключевое понятие, которое Ло Цзюнь использует для понимания «реалистичного воспроизведения».
Реальность не является абсолютным объективным стандартом; она зависит от того, что вы используете в качестве эталона. Видоискатель — это одна система отсчета, то, что видит человеческий глаз, — другая, а «хорошая фотография», которую представляет себе пользователь, — третья.
Чем больше фокусных расстояний и деталей захватывает система, тем полнее получаемая ею справочная информация и тем ближе она приближается к «истине» в сознании пользователя.
Find X7 Ultra дополнительно улучшает качество передачи света и тени, особенно в средних тонах.
На обычных фотографиях большая часть информации о свете и тенях сосредоточена в полутоновой области — переходной зоне между самыми светлыми и самыми темными участками. Если полутона грубые, фотография лишена реализма.
Именно в этом поколении систем обработки изображений компания OPPO официально представила «мастер-режим». По мнению Ло Цзюня, мастер-режим предназначен не только для фотографов, а возвращает пользователю возможность настраивать камеру — подобно рычагам и регуляторам на фотоаппарате.
Однако первый режим Master Mode обладал ограниченными возможностями обобщения и недостаточной совместимостью со сценариями, что привело к неоднозначным отзывам пользователей. Некоторым он очень понравился, а многие другие так и не смогли в нём разобраться.
Для Ло Цзюня технические проблемы всегда решаемы, но вот как отстаивать и доносить свои идеи — это огромная проблема.
Возможно, причина, по которой режим Master Mode сохранился, заключается в том, что мы не пошли на компромиссы.
Освещение и детализация на высоте, но последним недостатком является цвет.
В вычислительной фотографии статистические методы играют важную роль. В сложных условиях освещения неточная настройка баланса белого, смещение тона кожи и искажение цвета окружающей среды являются неотъемлемыми ограничениями статистических методов.
Смартфон Find X8 Ultra оснащен новой линзой — Danxia Original Color Lens — предназначенной для локального определения цветовой температуры. Она способна определять распределение цветовой температуры в различных областях изображения, различать естественные и искусственные источники света, а также независимо воспроизводить оттенки кожи и окружающие цвета.
Цветовое отображение, по сути, включает в себя два аспекта: баланс белого и цветовое отображение. Баланс белого — это статистический метод, и в некоторых случаях он по своей природе неточен. В случае с ландшафтами Данся, поскольку они содержат абсолютную информацию, существует возможность корректировать отклонения в сценах с мешающими цветами.
Роль Danxia заключается не в улучшении качества цветопередачи, а в предоставлении физической точки опоры для процесса расчета цвета — объективного эталонного показателя, не основанного на статистических предположениях.
Видите ли, это еще одна точка отсчета.
В Find X8 Ultra была завершена еще одна, часто упускаемая из виду, технологическая интеграция: алгоритмы обработки для основного режима и фоторежима в формате RAW были унифицированы.
RAW-изображения, полученные в обоих режимах, одинаковы; разница заключается только в обработке — в режиме «Фото» используется более яркое и приятное тональное отображение, в то время как в режиме «Мастер» применяется более сдержанный подход к освещению и резкости.
Это означает, что «мастер-режим» больше не является независимой функциональной ветвью; его базовые возможности стали ядром всей системы визуализации.
По мнению Ло Цзюня, с поколением Find X8 Ultra его первоначальное видение наконец-то воплотилось в жизнь — свет, тень, детали и цвет, три измерения впервые объединены в единую форму.
Таким образом, родился новый бренд фототехники OPPO "LUMO" .
Критерии оценки качества изображений, разработанные командой Ло Цзюня, постепенно формировались после трех поколений итераций продукта , причем одним из критериев является «непрерывность» фотографий .
На фотографиях, сделанных профессиональными камерами, тоже присутствует шум, но шум и зернистость непрерывны и выглядят приятно. Я бы предпочёл непрерывный шум, чем участки резкости и размытости на изображении.
Эти стандарты не возникли внезапно в процессе разработки конкретного поколения продуктов; они зародились из традиционных принципов обработки изображений, заложенных в костях Ло Цзюня — соотношение сигнал/шум, непрерывность и цветовое отображение — только в другом формате: от камер к мобильным телефонам, от традиционной оптики к вычислительной фотографии.
По мере постепенного формирования новых алгоритмов обработки изображений Ло Цзюнь сталкивается с новой ситуацией: программная часть сделала почти все, что могла. Незначительная выгода от итераций алгоритмов уменьшается.
Что дальше?
Find X9 Ultra: Отголоски десятилетия
Решение — повторить это снова.
Ло Цзюнь делит развитие технологий фотосъемки с помощью мобильных телефонов на три этапа:
Первый этап начался примерно в 2015 году, и его основной задачей стала миниатюризация устройств — размещение больших датчиков в мобильных телефонах, их размер варьируется от 1/3 дюйма до одного дюйма;
Второй этап начался примерно в 2021 году, когда улучшились алгоритмические возможности искусственного интеллекта и вычислительной фотографии, что позволило создавать фотографии достойного качества даже без большого 1-дюймового сенсора благодаря алгоритмической обработке.
Третий этап настал:
Нельзя полагаться только на отдельные компоненты или алгоритмы. Для достижения реальных результатов необходима комбинация аппаратного и программного обеспечения, комплексные инновации.
Смартфон Find X9 Ultra — результат третьего этапа модернизации, в ходе которого команда специалистов OPPO по обработке изображений заменила все семь объективов.
Основная камера была модернизирована с 50-мегапиксельного 1-дюймового сенсора до 200-мегапиксельного 1/1,2-дюймового сенсора, широкоугольный объектив — с 1/2,5-дюймового сенсора до 1/1,95-дюймового, первый телеобъектив был заменен на более крупный сенсор, а второй телеобъектив получил расширенный оптический зум с 6-кратного до 10-кратного. Была улучшена цветопередача объектива, фронтальная камера была модернизирована с 32 мегапикселей до 50 мегапикселей, и даже телеконвертер был модернизирован с 200 до 300.
Самой сложной задачей при проектировании, несомненно, оказался телеобъектив с 10-кратным оптическим зумом.
Ло Цзюнь продемонстрировал iFanr 10-кратный телеобъектив Find X9 Ultra — 1/2,8-дюймовый сенсор в паре с группой линз 230 мм, но весь модуль имеет длину всего 29 мм, а длина призмы составляет примерно половину мизинца.
Ещё более гениально то, что эта призма не является цельным куском; она состоит из трёх призм, соединённых вместе, с воздушным слоем, герметично запечатанным посередине для устранения рассеянного света. Этот процесс беспрецедентен в производственной цепочке — никто никогда не разрезал призму на три части и не склеивал их вместе, никто никогда не герметизировал воздушный слой посередине призмы, и, конечно же, никто никогда не создавал подобную производственную линию.
Поэтому всё пришлось начинать с нуля.
Ло Цзюнь позиционирует этот 10-кратный телеобъектив как «карманный телеконвертер» — телеконвертер на OPPO Find X9 Pro имеет длину более десяти сантиметров, в то время как «встроенный телеконвертер» на X9 Ultra — всего 29 миллиметров, но качество изображения при этом одинаковое.
Именно поэтому в OPPO Find X9 Ultra вы найдете все основные фокусные расстояния от 14 мм до 230 мм, что представляет собой классическую "святую троицу" камер.
В 2016 году Ло Цзюнь был впечатлен демонстрацией технологии 10-кратного перископического телеобъектива OPPO на MWC и решил присоединиться к компании. Десять лет спустя он и его команда встроили в мобильный телефон лучший на сегодняшний день 10-кратный оптический телеобъектив — для Ло Цзюня это эхо, охватывающее целое десятилетие.
Благодаря добавлению 10-кратного телеобъектива, творческие возможности в режиме Master Mode значительно расширились: видео можно снимать с 10-кратным или 20-кратным зумом, а в портретном режиме также появился 10-кратный диапазон увеличения — то, чего Ло Цзюнь не ожидал три года назад.
Я, наверное, никогда раньше не задумывался о съемке подобных вещей с 10-кратным зумом, но внезапно обнаружил, что объем материала значительно расширился, что довольно интересно.
Новое поколение режима Master Mode также проще в использовании и обмене данными.
Ло Цзюнь сказал, что его любимая функция — это функция «поделиться рецептом». Пользователи могут настраивать параметры съемки и делать фотографии в режиме «мастер», а рецепт будет встроен в водяной знак на фотографии.
Когда другие увидят эту фотографию, они смогут быстро импортировать тот же рецепт и создать новый, используя функцию создания заметок в ColorOS одним щелчком мыши — это очень удобно для пользователей Xiaohongshu, которые любят делиться своими фотографиями.
Для корректной работы этой функции необходимо, чтобы предыдущие три поколения обеспечили достаточную стабильность базового конвейера Master Mode. Если конвейер недостаточно зрелый, после совместного использования рецепт завершится с ошибкой в другом сценарии.
Качественная вычислительная фотография — это когда вы забываете о вычислительной фотографии.
В конце интервью мы затронули несколько абстрактный вопрос: что такое «реальность» вычислительной фотографии?
Ответ Ло Цзюня состоял всего из двух предложений:
Один из них называется «что видишь, то и получаешь», а другой — «что видишь, то и думаешь».
Что видишь, то и получаешь — именно это и отображается в кадре. Но он считает, что настоящий ключ к успеху кроется во второй половине: у пользователей есть ожидания относительно того, что представляет собой хорошая фотография, и задача системы обработки изображений — максимально приблизиться к этим ожиданиям.
Когда вы делаете фотографию, вы визуализируете эффект, который она производит. Неважно, видите ли вы это или представляете, это мозг обрабатывает изображение.
Прежде чем нажать на кнопку спуска затвора, у вас уже есть образ в голове. Этот образ — ваша точка отсчета.
Это напомнило мне мой опыт поездки в Сидней. Я специально поехал туда, чтобы сделать фотографии в известном месте, но был дождливый день и очень много людей. После того, как я сделал снимки, я остался ими не очень доволен.
Поэтому я подумала использовать Doubao для редактирования фотографии — добавила закат, убрала тени, и после редактирования почувствовала, что это именно то, чего я хотела, но считается ли это все еще фотографией?
Ло Цзюнь сказал мне:
Это, безусловно, фотография. Но какой процент того, что вы представляете в своем воображении, действительно запечатлевается, а какой процент создается? Этот процент варьируется в зависимости от инструментов и контекста. Ценность наших систем обработки изображений заключается в максимизации той части, которая действительно запечатлена. В противном случае мы могли бы просто полагаться на простые камеры.
Начиная с режима Master Mode и заканчивая реконструкцией изображений OPPO Imaging, а затем и Find X9 Ultra — по мнению Ло Цзюня, все это всегда шло к одной и той же цели:
Сведите к минимуму разрыв между образом, который вы представляете себе, и фотографией, сделанной вашим телефоном.
Подлинное воссоздание — это не только воссоздание самой реальности, но и воссоздание системы координат в нашем сознании.
Ло Цзюнь сказал, что в будущем взаимодействие с изображением должно быть простым для пользователей — пользователи смогут просто взять устройство и сделать снимок, не задумываясь, потому что система уже понимает, чего они хотят.
Думаю, к тому времени концепция реалистичного воспроизведения уже прочно вошла в состав всей системы OPPO Crystal Imaging.
Хорошая вычислительная фотография призвана заставить вас забыть о вычислительной фотографии.
#Добро пожаловать на официальный аккаунт iFanr в WeChat: iFanr (идентификатор WeChat: ifanr), где вы сможете в кратчайшие сроки увидеть еще больше интересного контента.