Стереоскопическое ( 3D ) FPV

Deverex

Насчет задержек написал потому, что знакомство с коптерами начал с покупки AR.Drone 2.0. Этот аппарат гонит видео в HD 720 по WiFi прямо на смартфон. Задержка передачи видео такая, что им толком рулить не удается, т.к. крайне трудно понять по картинке - отреагировал он на команду или нет. Радиус действия - 50 м.
Получив это впечатление я серьезно задумался по этому поводу, поизучал имеющиеся технологии, стандарты, разные очки и маски и поэтому сейчас (пока как теоретик) скептически отношусь к передаче видео в цифре.
Т.к. нормальный коптер я только сейчас собираю, то получить собственные впечатления от FPV еще не успел.
Прочитал у Вас про “стереоскоп”. Оказывается такое можно купить, а я собираю из зеркальных призм двух старых списанных биноклей 😃))
Закупил себе несколько линз разной силы для экспериментов с минимизацией расстояний в шлеме. Делал примерные расчеты и моделирование в проге расчета оптики TraceRays. Пока считаю, что возможно подобрать выходные линзы такой кривизны, чтобы FOV позволяло шарить зрачком по картинке - это одна из основных целей пока у меня.

Решил точно выяснить разрешение своего оборудования (далее и вообще от меня - никакой рекламы):
камеры 2.1mm 150 Degree Wide Angle 960H SONY Effio-P 700TVL CCD
Выбрал по критериям: тип матрицы - ПЗС(CCD), наличие широкого динамического диапазона (WDR), ну и огромного теоретического TVL
радиоканал 900MHz 800mW 4 channels wireless AV Transmitter and Receiver

Тестировал TVL такой табличкой.

Важный вывод: радиоканал снижает ТВЛ с любых камер (проверено на 620 и 700 ТВЛ) до скромных 480 ТВЛ со снижением динамического разрешения по цвету.
Вывод стал важным потому, что теперь для моего бюджетного стерео есть константа - больше 480 ТВЛ не заморачиваться (отсюда идут размеры панелей в шлем и качество камер).

По цифровому варианту нашел такую железку ссылка на pdf. Это аппаратный кодер в .h264 - очень бодрый, практически реал-тайм. Цена была на десятки тыс.у.е. - железка идет для дорогой мед.техники вроде.

UPD: Я как раз замахиваюсь на полет Скайвокера. Купил коробку пропеллеров и делаю внешний каркас коптеру 😃

Dreadnought
Deverex:

радиоканал снижает ТВЛ с любых камер (проверено на 620 и 700 ТВЛ) до скромных 480 ТВЛ

При его внятной цене, да и пусть. У меня видео на 5.8ГГц, сравниваю его с записями, что народ делает при FPV, так отлично смотрится. Ни снега, ни цветовых пятен невнятных, но да, за угол не залетишь. Вы планируете летать или летать+снимать? Писать видео, я полагаю, правильно на борту, а не пропустив через эфир. И вполне хорошо получается, и fullhd и стерео 😃. Кстати, Ваш видеоканал как себя чувствует , когда два канала на одном аппарате? Не мешают друг другу? Вообще, я думаю, что когда проблема передачи видео в лучшем качестве будет решена устройством до 100 баксов ценой, тогда и можно будет переходить. А пока- да и так хорошо. Объёмная картинка резко добавляет качества изображения. ведь пиксель становится вокселем 😃)
Если планируете по кустам пилотаж летать - не ставьте “глаза” слишком далеко друг от друга. Я вот сейчас имею базу на коптере порядка 55см, и изза большой базы всё кажется игрушечным, и ближе, чем есть на самом деле. Лечу , смотрю - макушка сосны, по ощущениям- вот уже она сейчас влуплюсь, а на деле - до неё ещё метров пяток. С другой стороны, бОльшая база позволяет видеть красивую объёмную картинку при большей высоте.

Deverex

Основная цель - именно летать и смотреть. Писать - это второстепенно и, если говорить о HD качестве - только на борту записывать.
Мои радиоканал на Frequencies:910MHz 980MHz 1010MHz 1040MHz, комплектов - два одинаковых. Проверял на совместную работу. Стенд примерно такой (за качество фото прошу прощения, фотик барахлить начал, но узнал я об этом очень поздно):


В бетонной квартире (6 перекрытий между точками) - без проблем. Каналы друг другу не мешали (“теней” не было) почти в любой комбинации. Были индустриальные помехи, но они - не в счет. Передатчики очень заметно греются, а тесты я делал короткие - остается риск ухода частот от температуры, но это излечимо. Вообще недавно проверял радио-видео в старом 5-этажном здании (без ЖБИ) - до 50 м по прямой, но тот же комплект дал 150 метров вдоль улицы на высоте 2 м от земли. В общем, с дальностью буду разбираться после общего запуска. Аппа - на 433 МГц. Высокие частоты оборудования пока для себя не рассматриваю.

Стереобазу для начала беру человеческую - 70мм. Замыслов для экспериментов несколько. Апофиозом может стать оптическая система с управлением по стереобазе, сведению, зуму 😃
Т.к. сам новичок в авиамоделизме - ко всем техническим изыскам мне еще летать надо научиться 😃

Для уменьшения влияния передатчиков на мозги коптера и приемник РУ делаю H-образную раму длинную, чтобы раскидать компоненты на б о льшем удалении друг от друга.

HEXITER
Deverex:

Тестировал TVL такой табличкой.

Сергей, а где бы такую табличку раздобыть?

Deverex
HEXITER:

Сергей, а где бы такую табличку раздобыть?

В google по контексту ISO_12233-reschart.pdf первая ссылка. Есть еще EIA1956.pdf. Печатал на А2 на плоттере. Соблюдение масштаба на этом этапе не играет роли, нужно сохранить соотношение сторон (можно и на А4, но для широкоугольной камеры - вообще не подходит).
Методика по определению разрешения проста - расположить камеру с максимальным заполнением экрана и визуально определить метку, где перестают различаться отдельные линии.
Если источник видео качественный - нужно использовать монитор соответственный. В идеале - видеотестер (используют мастера систем видеонаблюдения). Очень хорош кинескоп старый или новые телевизоры.
Я смотрел на компе с устройства видеозахвата, предварительно убедившись, что она дает реальные 720х576. Мои измерения не идеальные, но для примерной оценки подходят. Озадачился вопросом, когда заметил отличия между идеальной картинкой с камеры и “так себе” после радиотракта.

Dreadnought
Deverex:

отличия между идеальной картинкой с камеры и “так себе” после радиотракта.

Может я выступлю и не по теме чуток, но есть у Вас возможность сравнить видеотракт на 900МГц с видеотрактом на 5.8ГГц? Может у кого из друзей есть FPV? В Краснодаре, я уверен, должны быть пилоты. Просто я не заметил существенных ухудшений картинки на 5.8ГГц по сравнению с прямым включением камеры в монитор. Но не заметил - на глаз, без тестов.

И ещё, касаемо навыка полётов: я ровно так же далёк от авиамоделизма как спорта. Коптеры, fpv, и уж тем паче, стерео-fpv весьма далеко отстоят от этого. Я полгода гонял симулятор на компьютере, и это, да, полезно, но опыт полётов с видом из камеры - это другое. Вообще, если у Вас есть опыт, скажем, компьютерных игр, где требуется пространственная ориентация, к примеру Quake или CS, то с маневрированием на коптере проблем не будет. Я тут читал рассказы, когда пилоты, привыкшие к управлению от третьего лица, попадали в ступор, увидев себя в монитор fpv. Или, что летая с видом от первого лица- заблудились. У меня такого не было в принципе. Наоборот, в fpv счастье просто, что левая сторона аппарата и моя - всегда совпадают. Тут на форуме, кстати, кто-то очень хорошую фразу сказал: “FPV самолёт - даёт пилоту ощущение, что он - птица, а коптер - что рыба”. Именно так. Я поперву, как начал летать, летал именно по самолётному- газу и вперёд, подруливая вправо-влево, а ведь коптер может гораздо больше. Можно сдать задом, можно “перепрыгнуть” препятствие, если запас “по дури” достаточен, можно летать вокруг объектов итд.

Deverex
Dreadnought:

Просто я не заметил существенных ухудшений картинки на 5.8ГГц по сравнению с прямым включением камеры в монитор.

У Вас так и должно быть. Качество передаче на 5.8 намного лучше по причине самой технологии кодирования PAL и передачи его по радио. Тут и сравнивать нечего.
Собственно почему я ковырнул тему разрешения:
Стерео-FPV по своему принципу довольно просто, но когда доходит дело до списка деталей - вот тут начинаются муки выбора. Мы все стремимся к идеальному решению, если быть точнее - к сбалансированному.
Ход моих рассуждений и изысканий (может сумбурно немного, но зато правда):
Видеокамера - аналоговая с цифровой обработкой сигнала WDR /широкий динамический диапазон/ для универсальности (нормально видно и объективом в солнце, и в тени, и при чередовании ярких просветов и темных зон), но вносит небольшую задержку. Можно без обработки, но с качественной оптикой и матрицей - будет вообще без задержек.
Радиоканал передачи видео - аналоговый (т.к. цель - резкое пилотирование по камере, то задержки передачи цифрового видео неприемлемы), кодирование PAL (NTSC - меньше строк в принципе, да по другим нюансам проигрывает). Частота наименьшая (900МГц), т.к. требуется возможность огибания мелких препятствий и работе на отражениях этого сигнала. В результате на выходе имею разрешение (как выяснил опытами позже) 480 ТВЛ.
Видеошлем.
Т.к. хотел сразу максимального качества, то и дисплеи присматривал разрешения более 720х576, когда установил общее разрешение видео по радиоканалу - умерил аппетиты.
Размер матриц. Т.к. простейшая конструкция - это два дисплея по оптическим осям глаз с приближающими линзами, соответственно ширина максимум 68мм(точнее, 64мм) или <= 3,1 дюйма. Все доступные (по деньгам и сложности применения) матрицы такой диагонали - максимум 320х240 или 400х240. Следующее разрешение и размер матрицы - 5" 800х480. Тут же вспоминаю про задержку конвертации PAL в цифровой интерфейс панели дисплея и отметаю некоторые варианты.
Т.е. видны два пути: либо простая конструкция шлема и маленькое разрешение, либо дисплеи побольше и городить оптику и зеркала. Я остановился пока на больших дисплеях и зеркалах как на более универсальном решении (хочу попробовать объединить поля двух мониторов в один широкий экран и подать как моно).
Такими рассуждениями я собственно и пришел к техническому решению, которое собираю.
Собственно, зачем я так много букв написал.
На форумах постоянно обсуждается что лучше, что хуже по каждому из компонентов по отдельности, но:

  1. говоря о системе, очень важно понимать, что узкое место одного компонента - это узкое место всей системы (знаю, что все знают);
  2. выбирая тот или иной компонент нужно сразу увязывать его применение с другими компонентами, а комплексного анализа выбора всех компонентов я что-то нигде не встретил.
Dreadnought:

Вообще, если у Вас есть опыт, скажем, компьютерных игр, где требуется пространственная ориентация, к примеру Quake или CS, то с маневрированием на коптере проблем не будет.

Descent подарил мне мечту, которую я сейчас ваяю 😃

Dreadnought
Deverex:

Я остановился пока на больших дисплеях и зеркалах

Меня поначалу китайцы обманули с 3.5 дюймовыми мониторами, так что я сравнил 320*240 в стерео с 800*480 в том же стерео - разница очень велика.
Будете делать на стереоскопе покупном или самостоятельно изготавливать? Там зеркала нужны с передней отражающей поверхностью, что может быть проблемой.
Мне понравилась идея с Н рамой под эту задачу. Камеры планируете крепить прямо к раме без подвеса? Под передней перекладиной?

Deverex:

Descent

И мне он знаком %)

Deverex
Dreadnought:

Меня поначалу китайцы обманули с 3.5 дюймовыми мониторами

Полагаю, мы брали телики заднего вида у одного продавца, т.к. у меня та же песня. В глубине души были сомнения, но решил одновременно с покупкой проверить систему реакции на претензии aliexpress. Что куплено - то куплено.

Стереоскопию собираю сам. Располагаю парой списанных биноклей с целыми стеклянными внутренностями - там есть чудные прямоугольные призмы, гипотенуза которых зеркалит без радуги и задвоения.
Мониторы - по бокам, затем линзы собирающая и рассеивающая для уменьшения масштаба картинки где-то до 2 см по диагонали, затем поворот на 90* через призму к глазам, потом увеличивающая линза и фокусирующий окуляр. Сферические искажения камеры отлично компенсируются обратными искажениями в окуляре. Буду пробовать разные линзы для окуляра, хочу достичь FOV до 90*.

Dreadnought:

Мне понравилась идея с Н рамой под эту задачу. Камеры планируете крепить прямо к раме без подвеса? Под передней перекладиной?


Как-то так в масштабе. Оптическую ось камер располагаю на уровне крепления пропеллеров (чего-то мне подумалось, что так будет лучше, чем снизу).
Крепление жесткое, но предусматриваю каскад демпферов:

  1. между мотор-маунтом и лучем;
  2. точки крепления алюминиевой рамы к стеклопластиковому корпусу (на схемке не нарисовано - между лучами по краям корпуса будут ал.уголки для повышения жесткости рамы)
  3. узел крепление блока камер к стеклопластиковому каркасу
    Кроме прочего, побалансирую моторы и винты.
    Дополнительные меры - по факту тестирования. Активную стабилизацию (подвес) на этом этапе использовать не буду. Активку буду делать для трекера головы (наполеоновские планы на ближайшую пятилетку 😃.
    Длина центрального каркаса - 540мм. По опытам знаю, что моя аппа 433 МГц дает наводки на цепи внутренней синхронизации камер (см.стандарт PAL). Телеметрию внедрять буду обязательно и вот помех с нее мне и не хотелось бы. Передатчики видео - в голове, около камер. Самим камерам не мешают, а для минимизации влияния на приемник РУ разношу их насколько возможно. Штатные антенны заменю на диполь как в ЭТОЙ статье (одно плечо вверх, одно-вниз - заодно и ножки у аппарата образуются 😃
Deverex

Очень интересная реализация. Спасибо!
Француз в качестве окуляров использовал линзы Френеля. Вот только не могу точно понять, как он повернул оптические оси от дисплеев.
Мне приходила в голову такая мысль и я рассчитывал призму для такой конфигурации. Во-первых она очень большая, во-вторых дает элементы радуги. Альтернатива - некая специфическая линза френеля, либо быстрое становление косоглазия у оператора.
Почитаю, посмотрю.
Этот товарищ вынес контроллеры дисплея на спину и соорудил неслабый хобот с проводами 😃 Но это приемлемая жертва при хорошем эффекте.
Мм… 380 г. скорее всего - призма, градусов в 30 и еще одна собирающая линза френеля между дисплеем и призмой. Не могу найти свой расчет.

malenkiy
Dreadnought:

Да, желе есть. Я думаю дело в ветре и морозе. С этим ещё предстоит побороться. Я тут подвесом озаботился.

Дмитрий,мой вариант подвеса фиговенек.щас танцую с бубном вокруг него.Дело в следующем-каков вес всего добра,которое вам надо подвесить???(я имею в виду камеры,то,на чём они разнесены-закреплены,возможно,линки,если не выведены на ооочень мягких и длинных проводах).
То,на что я Вам ссылку давал и себе привёз,рассчитано под 400 гр и желе вряд ли уберёт.дотанцую-скажу-покажу.
Ролики Ваши последние офигительные-просмотрел в анаглифе-нужно привыкать.в видеооочках всё канешно здорово

Dreadnought

Приветствую!

malenkiy:

Дело в следующем-каков вес всего добра,которое вам надо подвесить

Я рассчитываю так: 2 грузика по 200гр на общей палочке 0.8м. Это с некоторым запасом под гопро. Сейчас подвеса как такового нет, рейка с камерами на петлях мебельных и сервой по питчу прикреплена через поролоновые демпферы к коптеру. А я задумал бесколлекторный подвес, чтобы горизонт был ровненько вне зависимости от дёргания коптера. Кстати поролон очень рекомендую как виброгаситель.

malenkiy:

в видеооочках всё канешно здорово

А что, получилось с ютуба подцепить видеосигнал в очки?

malenkiy
Dreadnought:

А что, получилось с ютуба подцепить видеосигнал в очки?

конечно. с этого и начал.И даже Ваше UP-Down видеооочки прочли не особо заморачиваясь.BT 100 вообще на андроиде,по вайфаю выходят на ютуб и оттуда без помощи компьютера сами стереофайлы воспроизводят)))))

Dreadnought:

Я рассчитываю так: 2 грузика по 200гр на общей палочке 0.8м. Это с некоторым запасом под гопро. Сейчас подвеса как такового нет, рейка с камерами на петлях мебельных и сервой по питчу прикреплена через поролоновые демпферы к коптеру. А я задумал бесколлекторный подвес, чтобы горизонт был ровненько вне зависимости от дёргания коптера. Кстати поролон очень рекомендую как виброгаситель.

к сожалению такой подвес придётся конструировать самому.А с таким плечом и движка понадобится помощнее моей,у меня-то 35я,вся железка сама грамм 300 весит если не поболе.И это без камер.
я бы грузики-то подубрал бы…А то коптер придётся делать помощнее.А это уже бюджетец,и нехилый.

Dreadnought
malenkiy:

меня-то 35я,вся железка сама грамм 300 весит если не поболе

Да, я сориентировался на 5208 двигатель. Посчитал моменты инерции - там огого получается. Но, пока не попробую не узнаю, хватит ли его или нет.

malenkiy:

я бы грузики-то подубрал бы…А то коптер придётся делать помощнее.А это уже бюджетец,и нехилый.

У меня IY6, там запас “по дури” очень большой. Фактически, коптер летает недогруженным. Так что, должен войти.

Dreadnought

Здравствуйте уважаемые!
Во-первых, вот , посмотрите, я из моноскопических видео с воздуха нарезал стереопар. Это к вопросу о том, какими могли бы быть эти видео-ролики.
stereo-ru.livejournal.com/417922.html

Во-вторых. Пара видеороликов про принципы построения стерео-смотрелок. Думаю, в данной теме это будет очень к месту.

youtu.be/rmbjO5fd-Ow

И по результатам просмотра этих видео и экспериментов я пришёл вот к какому выводу:
Нужен прибор, на входе в него телесигнал в формате, например PAL или NTSC, а на выходе - он же, но зеркально отражённый. И желательно без задержек. Этакое электронное зеркало.

Камерки мои, как выяснилось, зеркалить не умеют. Номинально пункт в меню есть, но он не работает. 😃

Deverex
Dreadnought:

Нужен прибор, на входе в него телесигнал в формате, например PAL или NTSC, а на выходе - он же, но зеркально отражённый. И желательно без задержек. Этакое электронное зеркало.

Если речь идет о том, чтобы зеркалить сигнал PAL по пути следования от камеры к дисплею - это крайне не эффективно, т.к. обязательно должно состоять из этапов:

  1. Оцифровка кадра в буфер в памяти;
  2. Формирование PAL-сигнала по картинке из буфера с пересчетом на зеркалирование.
    Минимальная теоретическая задержка - 1 кадр, но такой реализации сложно достичь, кроме того, нужен буфер для следующего кадра и еще разные мелочи.
    Совершенно точно, нужно использовать либо камеры с функцией зеркалирования, либо контроллер дисплея с такой фичей (большинство из тех, что я смотрел на али и на которых есть AV-вход - могут). Там и там зеркалирование выполняется над имеющимся буфером кадра. Вот только сейчас подумал - лучше зеркалировать на дисплее, т.к. некоторые простые камерки (без OSD и цифровой обработки) - кодируют изображение “на лету”, т.е. без задержки вообще. Пока затрудняюсь сказать, как выявить этот признак при покупке, просто у меня есть образцы разных камер (списанные 😃 - на них и проверял.

Спасибо за ролики. Все здорово, жаль на череп не нацепишь 😃 Вот по принципу первого ролика я и готовлю свою маску.

Dreadnought
Deverex:

Вот по принципу первого ролика я и готовлю свою маску.

А я вчера экспериментировал над прототипом из второго ролика. Поляроиды, зеркало и всё такое. Всё равно, без зеркалирования изображения не обойтись. А так, если взять 2 5 дюймовых монитора, то конструкцию с зеркалом можно очень легко на череп нацепить 😃 Компактнее будет, чем у меня сейчас.

Deverex

Кстати, есть у меня одно важное наблюдение:
Есть у меня автомобильный регистратор с возможностью подключения камеры заднего вида с разрешением 400х240 точек - его соотношение сторон далеко не 3:4 и вот на нем мои камеры показывают на всю ширину своей картинки без отрезания изображения. С этих же камер вывод на 3:4 обрезается по левому и правому полям (проверял включением в меню камеры опции “показать название” и выводимые буквы “L.CAM” были видны только на широком монике, на автомониторчиках и на комнатном телике - только краюшек “M”, на ТВ-тюнере ПК - могло отображаться, если вручную поменять aspect ratio).
Я видел на али дисплеи, которые к arduino люди подключают - на них разрешение 800х480 при 5" диагонали (соотношение 16:9) - после эксперимента с автотеликами буду их заказывать. На такой дисплей есть вариант наложить ОСД прямо на земле.
Кстати, ОСД тоже может снижать качество PAL-сигнала (особенно - недорогие), т.к. производят свои манипуляции с перекодированием сигнала, поэтому хочу телеметрию гнать на землю в цифре и накладывать на дисплеи прямо в шлеме.
Лишних пикселей в нашем деле - нет 😃

Bah

У меня есть монитор 7" с bevrc - он умеет зеркалить сам.

Deverex

Странно. На работе мне YouTube показал красно-синее представление. Дома - горизонтальную стереопару. Надо разобраться.

Dreadnought
Deverex:

красно-синее представление.

ютуб помнит настройки плеера для каждого конкретного компьютера ( куки небось какие нибудь). Можно зайти в “настройки 3Д” и там выставить нужный вид показа.