Гений из 90-х: почему камера вашего смартфона видит мир лучше, чем вы

Мало кто об этом задумывается. Но каждый раз, когда вы фотографируете на свой телефон и объект в тени не превращается в черный силуэт на фоне яркого неба, или когда удается запечатлеть закат, на котором не пересвечены облака, вы пользуетесь плодами революционного открытия. И произошло оно в лаборатории Колумбийского университета еще в конце 1990-х годов.

Человек, который стоит за этой революцией, — профессор Шри Наяр. Именно его изобретение — технология High Dynamic Range (HDR) для одного снимка — сегодня используется более чем в миллиарде камер смартфонов по всему миру.

Для фотографов и видеографов проблема, которую решил Наяр, знакома до боли. С самого зарождения фотографии съемка сцен с яркими и темными участками одновременно означала, что нужно было выбирать, какую часть кадра принести в жертву. Если выставить экспозицию по светлым участкам, тени превратятся в непроглядную черноту. Если же выставить ее по теням, то яркие области станут сплошным белым пятном. Наши глаза справляются с этой задачей без усилий, а вот камеры пасовали… до тех пор, пока Наяр не совершил свой прорыв.

Видео от DGL.RU

Как сообщается на сайте Колумбийского университета, Наяр совместно с исследователем из Sony разработал элегантное решение: сенсор изображения, который использует «ассортипиксели» (assorted pixels).

Как это работает

В отличие от традиционных сенсоров, где все соседние пиксели получают свет одинаково, в разработке Наяра экспозиция для соседних пикселей разная. Когда какой-либо пиксель оказывается пересвечен или, наоборот, недоэкспонирован, алгоритм анализирует его «соседей», чтобы определить истинный цвет и яркость этой точки в кадре. В результате получается одно-единственное изображение с богатой детализацией по всему тональному диапазону.

Гениальность изобретения заключается в том, что все происходит в «один снимок». Ранние HDR-технологии требовали съемки нескольких кадров с разной экспозицией, которые затем склеивались в один. Но между этими кадрами проходило время: птица успевала пролететь, человек — моргнуть, а машина — проехать. Из-за этого появлялись артефакты-призраки и двоение в кадре, с которыми сталкивался любой, кто пробовал снимать с брекетингом по экспозиции. Технология Наяра захватывает всю информацию о свете и тенях одновременно, полностью исключая эти проблемы.

Компания Sony быстро распознала потенциал технологии и коммерциализировала ее, встроив в свои сенсоры. Сегодня эти сенсоры стоят в вашем iPhone, Google Pixel и бесчисленном множестве других устройств. Они используются в камерах видеонаблюдения и планшетах. Технология стала настолько вездесущей, что большинство из нас даже не осознает, что пользуется плодами вычислительной фотографии. Мы просто ожидаем, что наши телефоны «просто будут работать» в сложных условиях освещения.

Философия фотографии

Для Наяра, пионера в области вычислительной фотографии, это не просто технология, а целая философия. Вместо того чтобы просто фиксировать свет, который попадает на сенсор, вычислительные камеры оптически «кодируют» изображение, а затем алгоритмически «декодируют» его. В результате получается более богатое и детализированное изображение, чем то, что могли бы дать традиционные оптические системы. Его лаборатория расширила этот подход до создания 360-градусных камер и 3D-сенсоров глубины — технологий, которые сегодня необходимы в робототехнике, автоматизации производства, спецэффектах и приложениях дополненной реальности.

Концепция «ассортипикселей» продолжает развиваться. Команда Наяра обобщила этот подход для создания сенсоров, которые могут захватывать более богатую информацию о цвете и даже определять свойства материалов — например, является ли поверхность пластиковой, металлической или тканевой. Он ожидает, что эти достижения доберутся до потребительских продуктов в ближайшие годы и еще больше расширят возможности наших камер.

Так что в следующий раз, когда вы без малейших усилий сделаете снимок объекта в контровом свете или запечатлеете высококонтрастную сцену на свой смартфон, вспомните: вы держите в руках результат фундаментального исследования, которое заново научило камеры видеть. Профессор Шри Наяр не просто улучшил камеры в телефонах — он превратил их в инструменты, которые в некотором смысле видят мир лучше, чем мы сами.

В Google Фото только что вышло обновление, которое меняет способ редактирования HDR-фотографий