Выберите любой смартфон высшего уровня, например iPhone, Samsung Galaxy, Google Pixel, OnePlus или Xiaomi. Эти устройства могут похвастаться впечатляющей системой камер с несколькими объективами как сзади, так и спереди. С помощью этих расширенных настроек вы можете делать потрясающие сверхширокоугольные снимки, высококачественные портреты людей и домашних животных, сложные макросъемки крупным планом, увеличенные изображения, замечательные фотографии при слабом освещении и стабилизированные видеоролики с высоким разрешением.
Но смартфоны не всегда имели такие универсальные камеры.
На начальных этапах использования телефонов iPhone и Android для фото- и видеосъемки качество изображения и видео оставляло желать лучшего. Камеры на этих телефонах создавали изображения с низким разрешением, плохо работали в условиях слабого освещения, и, как правило, было более эффективно использовать мыльницу или зеркальную камеру для съемки видео более высокого качества, которое не напоминало зернистую картошку.
За короткий промежуток времени камера iPhone значительно превзошла другие смартфоны. Частично это произошло благодаря приложениям социальных сетей, которые побуждали людей делать больше фотографий, чем когда-либо прежде. К 2009 году, всего через два года после выпуска iPhone, его камера стала наиболее часто используемой на Flickr, оставив позади популярные зеркальные камеры Canon и Nikon. Закрытая система iPhone, которую Apple полностью контролировала, позволяла плавно переходить от одной модели к другой. Напротив, телефоны Android оснащены разнообразными камерами, которые кажутся второстепенными по сравнению с такими аспектами, как дисплеи, вычислительная мощность, время автономной работы и дизайн.
Начиная с 16 апреля 2014 года Google изменил ситуацию, выпустив приложение Google Camera в Play Store. Непреднамеренно они предоставили производителям Android схему создания исключительных камер для своих устройств с сенсорным экраном.
«Мы никогда не видели, чтобы Apple говорила о вычислительной фотографии до появления Google Cam».
По мнению Исаака Рейнольдса, менеджера группы продуктов Google по Pixel Camera, запуск приложения Google Camera десять лет назад оказал минимальное влияние на его текущую роль в разработке инновационных функций камеры для новых моделей Pixel. На самом деле он просто нажал несколько кнопок на компьютере, чтобы распространить приложение. Основа для создания первоклассной телефонной камеры, способной превзойти возможности зеркальных камер, выпущенных более чем 50 лет назад, благодаря методам вычислительной фотографии, уже была заложена Марком Левой несколькими годами ранее. Будучи заслуженным инженером Google, Левой возглавил множество усовершенствований программного обеспечения, которые изменили датчики и объективы камер на таких устройствах, как Google Glass и телефоны Nexus, предоставив возможности, ранее недостижимые только с помощью аппаратного обеспечения.
Во время интервью Inverse в штаб-квартире Google в Маунтин-Вью, штат Калифорния, в марте Рейнольдс рассказал, что Google Camera на Android не произвела на него большого шума. «Google Camera демонстрировала возможности компьютерной фотографии с помощью наших телефонов и программного обеспечения», — объяснил он. «Мы верим в важность компактных камер и ограниченного пространства. Используя программное обеспечение для улучшения изображений, мы можем компенсировать любые недостатки».
Рейнольдсу, который пользовался телефонами Android, приложение Google Camera могло показаться незначительным. Но для многих других, кто боролся с неэффективными камерами на своих устройствах, это приложение стало драгоценной находкой. Его установка означала не только улучшение визуальной привлекательности, но и значительно улучшение качества фотографий и видео по сравнению с предложениями по умолчанию на их телефонах.
Макс Вайнбах, технический аналитик Creative Strategies, делится своим опытом: «Впервые мы стали свидетелями того, как программное обеспечение ограничивает возможности датчиков камеры телефона. Одно приложение выделялось, значительно улучшая качество камеры телефона. Это изменило правила игры. Например, обработка камеры Samsung не впечатляла, но благодаря технологии Google Camera HDR+ телефон мог делать фотографии превосходного качества, чем ожидалось. Ни Apple, ни Samsung не упоминали о компьютерной фотографии до того, как Google представил ее. Техническое сообщество обратило на это внимание только после того, как Google это сделал. .»
Спустя десять лет после дебюта приложения Google Camera в Play Store его влияние на индустрию смартфонов остается значительным. Поначалу компьютерная фотография была революционной функцией, которая выделяла телефоны высшего уровня. Однако теперь это стандартно для всех устройств. Достигли ли мы предела совершенствования с помощью этой технологии? Или ИИ и переход от захвата изображений к их созданию снова подтолкнут телефонные камеры вперед?
Я глубоко углубился в тщательно охраняемую лабораторию дизайна Google Pixel, чтобы узнать, как корпорация продвинула фотографию смартфонов за пределы своих прежних возможностей, и намерена достичь этого еще раз.
Сила программного обеспечения
Выпуск приложения Google Camera десять лет назад, возможно, стал важным фактором, вдохновившим производителей телефонов Android на улучшение своих собственных приложений для камер. Оглядываясь назад, становится ясно, что приложение значительно расширило возможности фотосъемки на смартфоне. И только когда Google начал использовать свою собственную передовую технологию вычислительной фотографии в таких телефонах, как Nexus и Pixel, мы начали видеть значительный прогресс как в фото, так и в видео.
Рейнольдс, который начал работать в Google в 2014 году, а затем стал членом команды Pixel Camera в 2015 году, питает огромную страсть к телефонам, фотоаппаратам и фотографии. Во время нашей встречи он без особых усилий углубился в жаргон энтузиастов фотоаппаратов – терминологию, в которой я хорошо разбираюсь. «Я никогда не предполагал, что мой путь в сфере технологий приведет меня к работе с телефонами, не говоря уже о камерах», – поделился Рейнольдс. Он сыграл значительную роль в формировании дизайна камеры Pixel еще до запуска первого телефона Pixel и в настоящее время руководит командой управления продуктами, отвечающей за создание примерно 14–15 камер для всего спектра устройств Pixel (смартфонов, планшетов, и Chromebook).
«Сейчас мы могли бы [покупать] умные камеры, к которым подключены телефоны».
«В какой-то момент мы приобрели смартфоны со встроенными камерами», — объяснил Рейнольдс. «Однако сегодня я больше не уверен, что это так. Вместо этого мы, возможно, теперь будем покупать устройства, которые в основном представляют собой камеры с возможностями телефона».
Когда вы смотрите презентацию или читаете пресс-релиз о новой модели смартфона, характеристики камеры часто освещаются очень подробно. Производители делают упор на более высокое разрешение (мегапиксели), более крупные сенсоры для лучшего захвата света, несколько объективов, включая сверхширокоугольные и телеобъективы, усовершенствованные системы оптической стабилизации изображения и так далее. Однако у Рейнольдса и его команды в Google разные планы на будущее камер смартфонов. Они верят в объединение инноваций в аппаратном и программном обеспечении для преодоления физических ограничений — философию, которую Рейнольдс перенял у другой команды Google Pixel.
Рейнольдс объясняет, что в отличие от других телефонных камер, которые в значительной степени полагаются на аппаратное обеспечение для фото и видео, они не стремятся создать симуляцию. Вместо этого они желают чего-то особенного и свободного от ограничений таких симуляций. Для этого они решили объединить аппаратное и программное обеспечение, а не ограничиваться простой симуляцией или ее физическими ограничениями.
Рейнольдс объясняет, что телефоны Google Pixel не стремятся воспроизвести эффект боке традиционных объективов фотоаппаратов в портретном режиме, как это делает Apple. Вместо этого эффект размытия, наблюдаемый на пиксельных фотографиях, ближе к размытию по Гауссу, обычно используемому в программах для редактирования изображений, таких как Photoshop. По словам Рейнольдса, это намеренный дизайнерский выбор Google, обеспечивающий большую гибкость без ограничений физического объектива.
«Мы не пытаемся построить симуляцию».
Он подчеркивает, что выход за рамки физических ограничений означает наличие расширенных возможностей без странных аномалий, обычно связанных с аппаратным обеспечением камеры. Вспоминая пример функции Google Pixel Action Pan, которая одним нажатием фиксирует эффекты размытия движущихся объектов, таких как автомобили, он добавляет: «Если вы сосредоточитесь исключительно на проблемах, которые можно было решить с помощью оборудования 50 лет назад, вы не создадите следующая революционная инновация. Наша команда увлечена исследованиями, технологиями и удовлетворением потребностей клиентов. Мы стремимся создавать продукты, которые функционируют так, как задумано, и обеспечивают желаемые результаты, а не останавливаются на том, что пользователи привыкли воспринимать в камерах».
Влияние Google на мобильную фотографию неоспоримо. Они существенно повлияли на развитие телефонных камер и на то, как мы записываем свои воспоминания. Несколько примечательных нововведений, которые сейчас стали обычным явлением для большинства телефонов, включают в себя:
Рейнольдс делится: «Ночное зрение было поистине новаторским, и другим потребовалось несколько лет, чтобы попытаться превзойти его достижения. Я не верю, что кому-то удалось воспроизвести его драматический контраст между ночью и днем, а также его насыщенные цвета. Мало кто готов это сделать. интенсивно насыщать их оттенки, делая это только в том случае, если они уверены в точности своих цветов. Ненасыщенное изображение при слабом освещении — это осознанное решение, поскольку производитель может быть не уверен в правильности своего цветового представления. Мы ценим яркость, потому что она демонстрирует яркость. возможности программного обеспечения».
Хотя компания Google известна тем, что сделала ночные режимы модными в смартфонах, на самом деле именно компания Huawei первой применила эту функцию в модели P20 Pro (до того, как на несколько лет на нее повлияли санкции США).
По словам Мириам Джойр, бывшего технологического блоггера Engadget, Night Sight был разработан на основе разработок Huawei. Изначально у Huawei не было первых вычислительных возможностей, которые были у Google. Однако, увидев, чего Google добился с помощью Night Sight, компания Huawei быстро последовала этому примеру и начала работать над аналогичной технологией.
iPhone больше полагался на программное обеспечение для улучшения своих возможностей фотографии из-за ограничений физических линз и датчиков. Например, портретный режим, который изначально был доступен только на iPhone 7 Plus с двойной задней камерой, теперь можно найти на более поздних моделях, таких как iPhone XR и iPhone SE, хотя у них только один объектив.
Использование программного обеспечения для выполнения определенных аппаратных задач дает дополнительное преимущество: программное обеспечение помогает Google экономить затраты, по словам Вайнбаха, который тщательно изучает различные смартфоны: от экономичных до моделей среднего класса и высокого класса, чтобы оценить их ценность.
Рейнольдс объясняет: «Нашей целью было создать смартфон с исключительной камерой, но мы знали, что можем сделать это дешевле. Используя передовое программное обеспечение, мы смогли предоставить функции, которые обычно можно найти только в более дорогих телефонах стоимостью около 800 или 900 долларов. . Это было значительное достижение благодаря нашему сочетанию аппаратного обеспечения, программного обеспечения и технологий искусственного интеллекта. Мы смогли предложить такую большую ценность по более низкой цене».
Решение реальных проблем с камерой и фотографией
Если программное обеспечение служит средством компенсации компромиссов в производительности камеры телефона, какие конкретные проблемы с камерой стремятся решить потребители? Когда фотографии и видео достигают удовлетворительного качества для публикации в социальных сетях и просмотра в полном разрешении, достигла ли область компьютерной фотографии своего пика? Неужели больше нет возможностей для прогресса, кроме повышения четкости изображения, расширения динамического диапазона и улучшения возможностей работы в условиях низкой освещенности? Поскольку возможности искусственного интеллекта в смартфонах продолжают распространяться, какие новые возможности ждут телефонные камеры, помимо совершенствования этих стандартных функций? Google, по своей природе ориентированный на данные, внимательно следит за потребительскими тенденциями.
«Рейнольдс заявляет, что мы доверяем предпочтениям наших клиентов. Путем обширных исследований и многочисленных исследований мы усердно работаем над выявлением их желаний в отношении камеры», — так можно перефразировать это утверждение в более естественной и легкой для чтения форме. .
Команда Pixel разработала такие функции, как Magic Eraser, который использует технологию искусственного интеллекта для удаления фотобомберов или нежелательных элементов фона, в ответ на распространенную проблему, когда люди отправляют свои фотографии другим для редактирования с помощью передового программного обеспечения, такого как Photoshop. Вместо того, чтобы тратить ресурсы на приобретение этих инструментов или освоение методов редактирования фотографий с помощью учебных пособий, Google сделал эти функции легкодоступными и удобными для пользователей на своих смартфонах.
«Рейнольдс объясняет, что, как и масштабирование, слабое освещение, динамический диапазон и резкость, размытие — это распространенная проблема, с которой люди сталкиваются в фотографии. Чтобы эффективно решить эту проблему, его команда разработала функцию Photo Unblur для Pixel 7. Этот инновационный инструмент может Улучшайте размытые фотографии, вызванные дрожью рук или движущимися объектами (например, детьми или животными), делая их более резкими. Рейнольдс подчеркивает важность не ограничиваться небольшими улучшениями и предпринимать смелые шаги для создания революционных технологий».
Решение проблем с камерой, возникающих у клиентов, не означает выхода за пределы физических ограничений, а, скорее, соблюдение инновационных принципов, отличных от принципов работы обычной однообъективной зеркальной камеры (SLR). Рейнольдс и его команда сосредоточены на этом альтернативном подходе.
Если вы создаете только однообъективную зеркальную камеру (SLR), вы не сможете создать лучший дубль. Это досадно, поскольку это представляет собой значительную возможность для улучшения, ссылаясь на последнюю функцию Google Pixel, которая объединяет несколько улыбающихся лиц в одна безупречная фотография. Тот, кто упорно ограничивает свою точку зрения, не станет производить лучший смартфон. На самом деле мы не конкурируем с SLR; вместо этого мы имеем дело с целым производственным процессом.
ИИ и переход от съемки с камеры к творчеству
С моей стороны не совсем правдиво утверждать, что меня нисколько не беспокоят инновационные подходы таких компаний, как Google, к сути того, что представляет собой фотография. Является ли фотография, по сути, достоверным представлением момента времени, запечатленного датчиком камеры, когда затвор открывается и пропускает свет? Или оно предназначено для того, чтобы показать, как мы помним этот конкретный случай?
Например, рассмотрим «Выборный выстрел». Это последнее изображение идеально выровненных улыбающихся лиц каждого – без закрытых глаз или отведенных взглядов в камеру – часто является тем, как мы вспоминаем эту сцену в своей голове. Однако оно может не совсем точно отражать реальность. Не формируем ли мы непреднамеренно ложные воспоминания, когда используем передовые инструменты искусственного интеллекта, такие как Best Take и Magic Editor, которые превосходят простое стирание с помощью Magic Eraser? Сложные функции редактирования Google, по сути, позволяют нам значительно манипулировать изображениями, изменяя такие элементы, как небо, добавляя объекты, перемещая объекты или увеличивая захваченную сцену.
Выбор покупки конкретной модели телефона иногда является философской дилеммой, учитывая уникальный способ обработки изображений и видео камерой каждой марки. Например, телефоны Pixel известны своим «драматичным внешним видом» с темными и контрастными тенями, что выделяет их среди конкурентов, таких как iPhone и Samsung Galaxy. Однако эта эстетика может меняться в зависимости от культурных тенденций, и Google попытался смягчить драматический эффект, увеличив количество ярких моментов. Тем не менее, это не полностью повторяет реальность.
«Ваши воспоминания это ваша реальность. Что может быть более реальным, чем ваши воспоминания об этом? Если бы я показал вам фотографию, которая не совпала с вашими воспоминаниями, вы бы сказали, что она ненастоящая».
По его словам, начиная с Pixel 6 произошел переход от улучшения изображений к их созданию. Вместо того, чтобы сосредотачиваться на уменьшении шума изображения и повышении резкости, мы теперь стремимся воссоздать ваши уникальные воспоминания. Ведь воспоминания у каждого отличаются от реальности, и это совершенно нормально. Мы должны проектировать с учетом человеческого опыта.
По словам Рейнольдса, различие между записью действительности и вызовом воспоминаний существенно. Он выступает за изобретение камер, а не за их использование для документации. «Ваши воспоминания составляют ваш опыт. Разве это не более достоверно, чем воспоминания, которые могут от него отличаться? Если бы я представил вам фотографию, которая не совпадает с вашими воспоминаниями, вы бы возразили, что это не так. это неправда».
Рейнольдс, возможно, и не прав, но это зависит от вашей точки зрения – захват или создание. Его аргумент о том, что ИИ позволяет большему количеству людей заниматься редактированием благодаря своим генеративным способностям, весьма убедителен.
По словам Рейнольдса, в прошлом люди полагались на редактирование, чтобы замаскировать недостатки фотографий, сделанных камерами низкого качества. Сегодня даже обычные телефонные камеры в большинстве условий дают приличные изображения. Редактирование превратилось из необходимости в творческий инструмент, позволяющий людям привносить в свою работу свой уникальный штрих и личное самовыражение. В результате мы наблюдаем рост спроса на программное обеспечение для редактирования, предоставляющее пользователям больше контроля над конечным продуктом – не потому, что они недовольны исходным изображением, а потому, что они хотят наполнить его своими эмоциями и индивидуальностью.
Вместо того, чтобы просто тестировать различные камеры смартфонов, Вайнбах, который следит за развитием моделей искусственного интеллекта и использованием их потребительских товаров, выражает скептицизм по поводу непреходящей популярности редактирования и создания фотографий с использованием искусственного интеллекта для мобильных устройств. «Я считаю, что «рисование» фотографий, созданное искусственным интеллектом, не окажет существенного влияния. Это будет похоже на наличие другого приложения для редактирования на вашем телефоне; оно просто немного упрощает процесс редактирования».
«Вычислительная фотография не умерла».
Несмотря на маркетинговую шумиху вокруг новых функций камеры с искусственным интеллектом в телефонах, Рейнольдс выражает скептицизм, когда его спрашивают, достигли ли мы вершины фотографии смартфонов и компьютерных изображений.
«Вычислительная фотография жива и процветает», — уверяет он нас, указывая на будущие функции, такие как Zoom Enhance и Video Boost для Pixel 8 Pro. Zoom Enhance использует технологию искусственного интеллекта для улучшения детализации фотографий при увеличении, как при расследовании мест преступлений в эпизодах CSI. Между тем, Video Boost применяет искусственный интеллект и облачную обработку, чтобы сделать видео ярче после записи. «Мы стремимся держать вас в курсе последних достижений в области технологий», — заключает он.
Основываясь на моем анализе различных моделей телефонных камер высокого класса за более чем десятилетний период, Жуар разделяет оптимизм Рейнольдса по поводу продолжающейся эволюции компьютерной фотографии. Увлечение этой технологией продолжает привлекать нас, особенно к портретному режиму. Благодаря достижениям в области машинного обучения и возможностей искусственного интеллекта мы теперь можем идентифицировать и различать объекты, такие как автомобили, на заднем плане, что позволяет компьютеру безупречно определять края вокруг людей. Кроме того, мы можем стать свидетелями появления новых телефонов, оснащенных увеличенным количеством объективов камер, напоминающих Light L16 с его 16 камерами и датчиками. Хотя этот проект не увенчался успехом в 2017 году из-за недостаточной производительности чипа, другая компания могла бы попытаться возродить эту концепцию, используя вычислительную фотографию для объединения нескольких изображений в одну превосходную фотографию с регулируемыми точками фокусировки после съемки.
«Помимо компьютерной фотографии, существует множество возможностей для получения высококачественных изображений с помощью камер телефонов. Например, функция Real Tone на Pixel 6 улучшает передачу тона кожи, особенно для людей с более темной кожей. Однако Рейнольдс подчеркивает, что мы все еще можем стремиться для более достоверного изображения самих себя с помощью передовых технологий камеры».
«На нас лежит ответственность быть лучшим зеркалом».
«Фотографии, сделанные на камеру, существенно влияют на то, как человек воспринимает себя. В современном мире люди оценивают свою внешность не только по зеркалам, но и по фотографиям в социальных сетях, которыми они могут поделиться. Как создатели этих изображений, мы обладаем огромной властью над формированием личности людей. Очень важно способствовать аутентичности, точному представлению и построению сообщества с помощью этого влияния. Будущие разработки могут предложить более здоровые взгляды на самооценку, но на данный момент мы сосредоточены на обеспечении аутентичного взгляда [через Real Tone]. «
Я решительно выступаю за расширение возможностей телефонных камер, чтобы сделать их более инклюзивными, но стоит отметить иронию: команда Google Pixel Camera концентрируется на улучшении точного представления оттенков кожи для аутентичного изображения, но одновременно продвигает расширенные функции искусственного интеллекта, которые позволяют пользователям манипулировать реальность и изменять изображения в соответствии со своими предпочтениями.
Подводя итоги нашего разговора, Рейнольдс подчеркнул, что ИИ служит инструментом, а не целью для его команды Pixel Camera. В настоящее время они используют ИИ для решения фундаментальных проблем, связанных с фотографией на смартфонах, в первую очередь предлагая удобные функции редактирования. Тем не менее, конечная цель Рейнольдса — решить проблемы «времени» с помощью ИИ, даже если это благородное стремление к технологии в будущем.
Он объясняет, что сложно, если не невозможно, найти или создать конкретный момент времени, который идеально соответствует тому, что кто-то имел в виду при построении симуляции. Вместо этого мы стремимся точно и достоверно воспроизвести желаемый момент, каким он запомнился и пережился в реальности.
В настоящее время приложение Google Camera, ранее известное как Pixel Camera, можно загрузить и использовать только на устройствах Google Pixel. Это ограничение связано с тем, что приложение специально разработано для работы со специальными чипами Tensor от Google, которые используются исключительно в телефонах Pixel. В результате он несовместим с Qualcomm Snapdragon, MediaTek или другими чипсетами, используемыми в различных устройствах Android.
Непреднамеренно высококачественная камера в версии Google подтолкнула производителей телефонов Android вкладывать больше ресурсов в разработку отличных камер – и с успешными результатами.
Смотрите также
- Дом Дракона 2 сезон: Является ли Рейнира Таргариен бисексуалкой и что привело к поцелую между ней и Мисарией?
- Руководство Джета Кордо по наследию «Звездных войн вне закона»: расположение хранилищ на Тошаре и Киджими
- Бен Аффлек не смог оторваться от Дженнифер Лопес во время бранча на выходных? Пикантные подробности ЗДЕСЬ
- Поцелуй Рейниры и Мисарии в «Доме Дракона» не был написан по сценарию
- Джеймс МакЭвой говорит, что он «всегда готов» вернуться во вселенную Людей Икс, когда «есть хороший материал»
- Как выманить Фредди из зоны безопасности в FNAF: Into The Pit
- «Чувствую, что развивается язва»: выпускница SNL Ларейн Ньюман называет номинантов «Медведя» в категориях комедий
- 20 лет назад Джуд Лоу снял недооцененный научно-фантастический фильм, опередивший свое время
- Тестовый проект
- Почему звезда «Убить Билла» Майкл Мэдсен подал на развод с женой ДеАнной после 28 лет совместной жизни? Вот все, что мы знаем
2024-04-17 20:19