Фотосъемка с Mavic Air. Технология суперразрешения

Оригинал статьи в Живом Журнале

В начале 2018 года компания DJI выпустила необычайно привлекательную модель квадрокоптера DJI Mavic Air: очень компактный аппарат с камерой на гиростабилизированном трехосевом подвесе, способной снимать 4K-видео и 12Мп-фото. В последнее время, благодаря Youtube, видео стало очень популярно. И дрон в большой степени заточен именно на видео. По первым впечатлениям кино получается шикарное. Но меня видеосъемка не привлекает, да и навыков соответствующих нет. А вот фото…

Окрестности Кириллова. Кириллов на горизонте слева

Фото мне гораздо интересней. Но чудес, увы, не бывает. Камера Mavic Air имеет матрицу размером 1/2,3 дюйма. Это маленькая матрица, она в 5,3 раза меньше по размеру стандартного пленочного кадра, а по площади - в 28 раз. Поэтому даже при минимальной чувствительности на снимках виден цифровой шум.

DJI Mavic Air. Кто в теме, может заметить, что красная крышка не родная. С самого начала хотел купить красный дрон, чтобы его было проще искать в случае чего. Но красного у продавца не было. Купил черный и заменил крышку на фирменную, но купленную отдельно.

Использование DNG

Первое, что можно сделать для улучшения качества снимков - использовать формат DNG, а не JPG. В DNG сохраняется максимум информации с матрицы, есть возможность коррекции экспозиции, восстановления деталей в светах и тенях. Можно также настраивать баланс белого, не беспокоясь о его настройках при съемке. Но, кстати, цвет, который получается по умолчанию на Mavic Air, и так хорош. По крайней мере в тех условиях, в которых успел поснимать.

Для демонстрации технологии обработки я взял часть (кроп) заглавного кадра размером 900х900. Важно, чтобы при сравнении просмотр происходил без масштабирования, поскольку алгоритмы масштабирования, которые использует браузер (это, к тому же, не самые лучшие алгоритмы), будут искажать картину.

Увы, увы… Здешний движок масштабирует по-своему. Это плохо. Чтобы увидеть неискаженную картину, можно смотреть Оригинал статьи в Живом Журнале. Но на десктопе, потому что мобильные браузеры тоже масштабируют как им в голову взбредет.

Здесь смотреть в масштабе 1:1 можно (и нужно), кликнув по картинке.

Кроп jpg-файла, записанного камерой дрона

Кроп картинки, полученной конвертацией DNG. Конвертация выполнена программой Adobe Camera Raw (ACR) с настройками по умолчанию и при коррекции Auto.


На исходном jpeg шум незаметен. Это результат работы встроенного шумодава. Из-за шумоподавления потеряны детали. Это хорошо видно, например, по листве кустов слева на переднем плане - там просто зеленые пятна. Из-за шумодава картинка становится “пластмассовой”. Кроме того, велик контраст, детали в тенях потеряны. На картинке, полученной из DNG, шум заметен, хотя в ACR по умолчанию тоже включено подавление цветного шума. Зато с детализацией все намного лучше: в первую очередь это видно по листве. И нет пластмассовости. Автокоррекцией в ACR я почти никогда не пользуюсь, поскольку ее результат обычно не устраивает. Но здесь все получилось хорошо. Теневая сторона ёлок теперь не сплошное темное пятно.

Однако хочется большего. Можно настраивать шумодав в ACR. Но этого делать не хочу, не люблю и не буду. Попиксельной резкости нет. Если шарпить, шум еще усилится. Поэтому используем…

Суперразрешение

Технология суперразрешения основана на том, что из нескольких кадров низкого разрешения одной сцены можно сделать кадр высокого разрешения. Исходные кадры должны быть сделаны со сдвигом друг относительно друга. В идеале на полпикселя. Тогда, поскольку пиксель имеет конечный размер, он будет захватывать близкие части сцены. А потом, объединяя такие кадры, можно рассчитывать на восстановление деталей субпиксельного размера.

В Mavic Air есть возможность снимать серией до 7 кадров. Дрон делает эти 7 кадров примерно за 2 секунды (при выдержке 1/1000 в режиме RAW+jpeg). Потом еще некоторое время их обрабатывает и записывает. Камера на стабилизированном подвесе. Последовательные кадры должны, тем не менее, друг от друга немного отличаться. И они отличаются. Вот разница между первым и последним кадрами серии из 7 снимков.

Разумеется, рассчитывать на сдвиг точно в полпикселя не приходится. Но и вероятность сдвига на целое число пикселей тоже мала. Поэтому после выравнивания отдельных кадров можно надеяться на достижение эффекта.

Итак, последовательность действий будет такая:

1. Снимаем 7 кадров.
2. Увеличиваем все кадры в 2 раза.
3. Выравниваем их по содержимому.
4. Усредняем выровненные кадры.
5. Получается картинка удвоенного разрешения (по количеству мегапикселей - учетверенного)

Увы, снова приходится заметить, что чудес не бывает. Наивно рассчитывать, что путем нехитрых в общем манипуляций мы получим из 12-мегапиксельных фотографий чистую и резкую 48-мегапиксельную картинку с массой новых деталей.

А получим мы вот что. Здесь снова сделан кроп, чтобы смотреть без масштабирования.

Появились ли новые детали? На белом заборе в правой части кадра чуть выше центра теперь отчеливо видны горизонтальные перекладины между столбами забора. Еще у белого домика с зеленой крышей в центре на чердачном окне видны горизонтальные части переплета. Чего-то другого, что не было бы видно на исходных кадрах, найти не могу. Практически исчез шум. В самом деле, шум - штука случайная и в результате усреднения он нивелируется. Но в целом картинка выглядит размытой. Можно попробовать добавить резкости.

Получаем:

Стало резче, но снова усилился шум. И замыленность осталась. А фотошоповская Smart sharpness, которая кривовата, почти съела горизонтальный переплет. Видимо, на учетверение мегапикселей рассчитывать все-таки не следует.

А на удвоение? Уменьшим картинку в корень из двух раз по линейным размерам, что будет соответствовать уменьшению ее площади вдвое. А поскольку перед совмещением и усреднением мы линейные размеры удваивали, то получится в два раза больше пикселей, чем на исходной картинке. При уменьшении также применяется усиление резкости. Разумеется, я делаю ресайз вместе с шарпом с помощью программы C3C Image Size. Она именно для такого и предназначена.

Вот кроп результата. При клике можно увидеть картинку целиком.

Неплохо. Возможно, для печати такой вариант будет подходящим. Шума нет. Но и попиксельной резкости тоже нет. А мы ее любим. Поэтому сделаем решительный шаг и вернем размер картинки к исходному. Конечно, не от предыдущего промежуточного размера, а от максимального, полученного после усреднения. Конечно с помощью программы C3C Image Size с автоматическим усилением резкости. Для этого в C3C Image Size выберем масштаб 50% и Авторезкость.

Получаем чистую и резкую картинку. Вуаля! И горизонтальные перекладины на белом заборе видны!

Actions

Для автоматизации такой обработки изготовлен Action. Даже 3 варианта, объединенные в набор (Set) C3C Actions. Загружать здесь. Кроме перечисленных шагов обработки в конце выполнения каждого Action добавлен вызов программы C3C Color Wizard, которая позволяет сделать финальную доводку полученного кадра. Я в первую очередь использую Автоэкспозицию и Автонасыщенность (волшебная палочка). Можно поправить цветовой баланс, светлоту, резкость…

Три варианта Actions таковы:

1. Super Res 1:1 - выполняет описанную здесь обработку, дает картинку исходного разрешения (F10).
2. Super Res 1:1 Fast - быстрый вариант (Shift F10). Не выполняет увеличения картинок, выравнивает и усредняет исходный вариант. Соответственно, в конце не происходит уменьшения. Уступает по качеству результата предыдущему, но не сильно.
3. Super Res MPх2 - формирует итоговую картинку с вдвое большим чем у исходной числом мегапикселей (Ctrl F10).

Основной вариант Action работает на моем компе 5 минут. Intel Core i5 (4 ядра), 24Гб памяти, твердотельный накопитель, на котором кэш Фотошопа.

Это результат быстрой обработки

Порядок установки и использования Action

Установка:

1. Скачайте C3C Actions.
2. Кликните по файлу atn или используйте Load Actions… на панели Actions Фотошопа.
3. Установите C3C Image Size и C3C Color Wizard.

Использование:

1. Выполните предварительную строго одинаковую обработку серии файлов. Предпочтительно использовать DNG, тогда обрабатывать можно в ACR, предварительно выделив все файлы (Select All…). Можно сделать кадрирование, экспокоррекцию и цветокоррекцию, исправление перспективных искажений. Дальше можно открыть все файлы в Фотошопе или, если обработка была в ACR, использовать кнопку Done.
2. Запустите Actions. В появившемся диалоге выберите файлы для обработки (Browse…) или используйте Add Open Files, если все файлы (и никакие другие) открыты в Фотошопе. Нажмите OK.
3. Ждите. При появлении окна C3C Color Wizard можно выполнить финальную коррекцию или нажать Отмена.
4. Наслаждайтесь результатом.

Полный набор материалов, использованных в этой статье (DNG+JPG+ATN, 99МБ)

При подготовке статьи использованы материалы Tony Northrup и Ian Norman