Blender и мобильный планетарий

Раздел для проектов
Ответить
Аватара пользователя
sungreen
Сеньор
Сообщения: 419
Зарегистрирован: 27 июн 2024 08:33
Откуда: Kostroma mon amour

Blender и мобильный планетарий

Сообщение sungreen »

Это интервью впервые было опубликовано 5 апреля 2024 года на форуме blender-3d.ru/forum, на котором обсуждались в том числе и вопросы подготовки контента для мобильных планетариев с использованием Blender. Эта тема до сих пор актуальна и требует продолжения, поэтому хочу её запустить здесь именно этим интервью Пола Бурка – человека, который является авторитетным специалистом в этой области.
Изображение
https://paulbourke.net/

В октябре 2003 года на в сети Интернет появилась статья Пола Бурка (Paul Bourke) «S p h e m i r Dome projection on a budget, also known as MirrorDome».
В статье рассказывалось о методе проецирования на купол без необходимости использования дорогостоящей по тем временам линзы типа Fisheye.
Вместо этого предлагалось использовать сферическое зеркало для отражения изображений от проектора на большую часть поверхности купола.
С момента появления этой статьи прошло более 20 лет, но тема остаётся актуальной. Многие люди, занимающиеся мобильными планетариями, пользуются этой информацией как крепким фундаментом своей практики.
Вчера я обратился к Полу с предложением ответить на вопросы мини интервью. Он согласился и уже сегодня Вашему вниманию предоставлен перевод этого материала на русский язык. Не судите строго моё творчество.

Я: В связи с 20-летием публикации этой статьи я хочу предложить вам рассказать о Вас в форме ответов на простые вопросы, которые могут быть полезны людям. Я постараюсь перевести ваши ответы на русский язык и опубликовать их на сайте русскоязычного блендер-сообщества (blender-3d.ru/forum).

Paul Bourke: Приветствую вас из Мельбурна. Я был в Санкт-Петербурге, работал в музее Кунсткамера, прекрасное место. Хорошо, но я могу не отвечать на все вопросы, если мне нечего сказать по теме. Пожалуйста, пришлите мне ссылку, когда все будет готово.

Я: предлагаю следующие вопросы.
1. Какова была ваша первоначальная мотивация для изучения купольной проекции 20 лет назад?


Paul Bourke: В то время я работал на кафедре астрофизики Университета Суинберна, оказывая помощь в наглядной презентации результатов научных исследований для учёных и взаимодействуя с широкой аудиторией. Основными дисплеями были крупномасштабные стереоскопические стены, то, что сейчас более известно как "3D", например
https://paulbourke.net/stereographics/s ... l/ngl2.jpg
Будучи астрономическим центром, естественным было представить данные на полусферических куполах для работы с общественностью и в образовательных целях. Как и сегодня, решения на основе линз Fisheye были относительно дорогими, что заставило меня задаться вопросом, какими другими способами можно охватить светом углы требуемой ширины. Сферическое зеркало казалось очевидным решением.

2. Можете ли вы описать самую значительную проблему, с которой вам пришлось столкнуться за время своей карьеры в купольной проекции?


Paul Bourke: Прежде всего, я хотел бы отметить, что купольная проекция — это лишь очень маленькая часть того, чем я занимаюсь, поэтому я бы не сказал, что у меня была только карьера в купольной проекции.
Для сферической зеркальной проекции первоначально самой большой проблемой был поиск подходящих зеркал, в частности, зеркал для передней поверхности с высокой отражающей способностью (first surface mirrors, FSM). Такие зеркала очень хрупкие, поскольку зеркальная поверхность находится наружной (подверженной воздействию элементов) поверхности плексигласа – органического стекла. Задача проекции сферического зеркала заключалась в том, чтобы предварительно искажать изображение Fisheye так, чтобы при отражении от зеркала на куполе результат выглядел правильно. Это также был вызов и для других технологий купольной проекции, такие как одиночная проекция, где объектив находится не в центре купола или для нескольких проекторов системы.

3. Как развивалась купольная проекция за последние 20 лет?


Paul Bourke: На самом деле базовая технология не претерпела особых изменений, разве что проекторы теперь намного лучше. Изменились программные решения будь то конвертации в реальном времени для сферического зеркала или ряд коммерческих программных решений для систем с несколькими проекторами.

4. Как сосуществуют купольные проекции и технологии VR?


Paul Bourke: Одна из областей, в которой я работаю — это крупномасштабные цилиндрические дисплеи. Они могут быть очень высокого разрешения и стереоскопическими.



Они позволяют нескольким людям наблюдать одну виртуальную среду, естественно оглядываясь вокруг, в отличие от большинства плоских стереоскопических дисплеев, эти дисплеи позволяют нескольким людям смотреть в разных направлениях, отслеживание головы не требуется.
Основное различие заключается в том, что крупномасштабные купола или цилиндры предлагают совместное, более общительное пространство. Они не полностью удаляют человека от реального мира. Поэтому они предоставляют возможности для музеев и галерей, для которых очень проблематично использовать дисплеи с креплением на голову (сейчас их обычно называют VR-дисплеи). Это правда, что дисплеи, установленные на голове, обеспечивают иной восприятие, чем проекционные дисплеи. Даже если купол или цилиндр стереоскопический, впечатления от гарнитуры как правило, более захватывающие.

5. Можете ли Вы назвать самый важный прорыв, который вы совершили в купольной проекции за последние 20 лет?

Paul Bourke: Моё участие в создании куполов, ориентированных на планетарий, сейчас минимально. Около 15 лет назад я начал работать с клиентами в так называемом iDome, персональном куполе с фронтальной ориентацией, который больше подходит для пространств виртуальной реальности. Пример 3-метрового купола с использованием сферического зеркала, см. основание цоколя:
https://paulbourke.net/dome/domeinstall/FGS6.jpg
В последнее время я работаю над проекторами очень высокого разрешения и системами с линзами Fisheye, это 4-метровый купол iDome.
https://paulbourke.net/dome/domeinstall/Baptist1.jpg

6. В исходном коде Blender довольно много ссылок на вас. Не могли бы вы рассказать о своём отношении и участии в этом проекте?


Paul Bourke: Главное - не аппаратура и проекция, а ощущения, которые человек создаёт. Поэтому я всегда смотрел на то, как можно использовать игровые движки. На раннем этапе я разработал решения для создания Fisheye и деформации в игровом движке Unity.
https://paulbourke.net/papers/cgat09b/
Примерно в 2009 году я познакомился с Далаем Фелинто ( https://code.blender.org/author/dalai/ ), который реализовал искривление Fisheye в движке Blender, используя те же методы.
https://paulbourke.net/papers/blender10 ... rpaper.pdf
Я не совсем уверен, какие ещё ссылки в исходном коде Blender вы имеете в виду, возможно, некоторые из моих опубликованных в Интернете решений различные геометрические задачи.

7. Как вы сохранили мотивацию для изучения этой сложной темы в течение столь долгого времени?


Paul Bourke: У меня есть несколько долгосрочных клиентов, которые работают в иммерсивных
пространствах для музеев, галерей, симуляторов и тренингов. Постоянно поступает поток проектов, в основном для iDomes и цилиндров. Большая часть моей работы сейчас — это захват контента для этих пространств. В частности, фотограмметрия для цифровых активов ( https://habr.com/ru/articles/561164/ ) и панорамные изображения высокого разрешения или видео.

8. Есть ли новые направления, которые вы планируете исследовать в купольной проекции в ближайшие годы?


Paul Bourke: В целом купольная проекция стала гораздо более популярной, чем 20 лет назад. Технологии в бюджетном сегменте начинаются со сферического зеркала, в среднем диапазоне - решения типа Fisheye и одиночный проектор, далее - двойные проекторы с частичными объективами Fisheye, и, наконец, несколько (обычно 4, 5, 6) проекторов.
Моя текущая работа сосредоточена на одном проекторе с объективом Fisheye.
Моя последняя инсталляция в Аделаиде представлена здесь:
https://paulbourke.net/dome/domeinstall/mawson2.jpg
Но в целом я вижу себя в съёмке объектов реального мира.

9. Можете ли вы поделиться некоторыми наиболее интересными случаями, с которыми вы сталкивались в своей карьере?


Paul Bourke: Недавно (в конце 2023 года) я сделал снимок, который, как считается, является самым большим цифровое изображение панорамного произведения искусства. Его размеры составляют 400 000 пикселей в высоту и 4 000 000 миллионов пикселей в ширину, а оригинальная картина - 10 м в высоту и 100 м в длину. Вот этот проект
https://www.epfl.ch/labs/emplus/projects/diagram/
Это станет основой для интерактивного взаимодействия пользователей в цифровом цилиндре. Сообщество Blender может рассмотреть возможность использования Blender для этих целей. Blender может справиться с этим. :-)

10. Если бы вы могли дать совет начинающим исследователям в области купольной проекции, что бы вы посоветовали?

Paul Bourke: Хотя большая часть моей работы в этой области была сосредоточена на аппаратном обеспечении, это сейчас это в основном просто решение о покупке с учётом имеющегося бюджета. Существует множество коммерческих поставщиков. Я думаю, что сегодня речь идёт о создании контента, то есть о создании убедительных впечатлений. Инструменты сегодня намного лучше, чем тогда, когда я начинал.
Большинство пакетов рендеринга сегодня могут поддерживать Fisheye или Equirectangular проекцию напрямую. Есть доступные 360 градусные видеокамеры. Появились возможности делать контент в реальном времени из-за возросшей производительности графических процессоров, и существуют камеры с высоким разрешением Fisheye.

Я: На этом мои вопросы к Полу закончились. Большое спасибо ему за его исследования и желание делиться своими исследованиями. Пожелаем ему успехов и по русской традиции – крепкого здоровья. Нам же настойчивости в достижении поставленных целей. Да, и мы всё ещё гнём видео под сферическое зеркало. Всем удачи!


That was the end of my questions to Paul Bourke. Thank him very much for his research and willingness to share his research. We wish him success and, according to the Russian tradition, good health. We need perseverance in achieving our goals. Yes, and we're still bending the video under a spherical mirror. Good luck to everyone!
Аватара пользователя
sungreen
Сеньор
Сообщения: 419
Зарегистрирован: 27 июн 2024 08:33
Откуда: Kostroma mon amour

Re: Blender и мобильный планетарий

Сообщение sungreen »

И вот продолжение этой темы.
Что можно сейчас делать в blender/domik для мобильных планетариев? В первую очередь - это конвертация видео под сферическое зеркало во встроенном видео редакторе VSE Blender.

Для примера приведу наиболее востребованные виды конвертации (используется "Demo split mode" для разделения экрана).
Fisheye в Spherical mirror:
Изображение

Equirectangular в Spherical mirror:
Изображение

Equirectangular в Fisheye:
Изображение

Cubemap в Equirectangular:
Изображение

Cubemap в Spherical mirror:
Изображение

В моём понимании демонстрация "плоского" видео относится к апокрифичным трансформациям в купольной философии. Тем не менее можно использовать режим Cinerama для построения виртуального зала с плоским экраном, на котором и будет отображаться "плоское" видео. Скины для виртуального зала можно моделировать в самом Blender.

Вот пример такой модели https://disk.yandex.ru/d/EXiRYZokxEGqCw
Изображение

Далее пример конвертации "плоского" видео под сферическое зеркало.
Cinerama в Spherical mirror:
Изображение

Cinerama в Equirectangular:
Изображение
Аватара пользователя
sungreen
Сеньор
Сообщения: 419
Зарегистрирован: 27 июн 2024 08:33
Откуда: Kostroma mon amour

«Вы всё ещё гнёте видео под сферическое зеркало?! Тогда мы идём к вам…»

Сообщение sungreen »

«Вы всё ещё гнёте видео под сферическое зеркало?! Тогда мы идём к вам…»

Наверное, все, кто работает под куполом мобильного планетария, хоть раз задавались вопросом качества изображения. В большинстве случаев мы пользуемся проекционной системой, в которой изображение попадает на купол через сферическое зеркало. Такая технология уже проверена временем, ей несколько десятков лет — и вроде бы всё уже заточено под неё. Но есть люди, которые готовы перестроить работу своего купола на другой принцип.
Один из них — Андрей, наш давний знакомый. Он не побоялся отказаться от зеркала, перенёс проектор в центр купола, освоил метод прямой проекции с линзой «рыбий глаз» (фишай) и потратил год на тестирования и локальные неудачи. Зачем? Ради лучшей картинки, чистого светового тракта и никакой пыли на зеркалах, которые всё равно живут полгода.
Мы поговорили с Андреем о плюсах и минусах мобильных планетариев, о детской радости и выгорании, а главное — о том, почему он рискнул сломать привычную схему и что из этого вышло.

Андрей, мы с тобой знакомы уже много лет. А как давно ты занимаешься мобильными планетариями?

— Не так давно: осенью исполнится четыре года.

Что больше всего тебе нравится в этом деле?

— Здесь много плюсов. Во‑первых, это творческая работа: ты сам собираешь программу для детей, делаешь познавательные фильмы, полностью полагаясь на своё творческое чутьё.
Отсюда вытекает второй важный фактор: ты чувствуешь себя преподавателем, когда простыми словами и с помощью визуализации рассказываешь детям о сложных вещах.
Достоевскому приписывают такое выражение: «Душа исцеляется рядом с детьми». И это правда: искренняя радость детей от твоей программы очень вдохновляет. Дети — классные.
Немаловажный плюс — финансовая составляющая: ты работаешь на себя, без начальников, и твой доход зависит только от твоей креативности, энергичности и трудолюбия.
Есть и минусы. Многие люди, занятые в этой профессии, жалуются на шумных детей и равнодушную администрацию школ, что способствует быстрому выгоранию. Но я думаю: раз дети невнимательно смотрят твою программу, значит, ты плохо над ней поработал — нужно что-то менять.


Андрей, зная, как ты увлечён этой работой и постоянно хочешь всё улучшать, расскажи о своих новых достижениях.

— У меня уже достаточно давно (порядка десяти лет) дома есть стационарный проектор с экраном в качестве домашнего кинотеатра. Поэтому, увидев качество изображения в мобильном планетарии, я был неприятно удивлён. Если на заре появления мобильных планетариев это ещё можно было показывать живым людям, то в наше время, при развитии телефонов и VR-шлемов, такое плохое качество уже не может быть конкурентоспособным.
Поэтому с самого начала я задумался над улучшением картинки.
Изначально я подумал, что причина в некачественном затёртом зеркале, которое мне досталось от продавца.
Я углубился в этот вопрос, узнал о внутреннем и внешнем напылении, о зеркалах первой и второй категории качества. Но значимого влияния на качество картинки это не принесло.
Новое зеркало моментально покрывается пылью, которой очень много в куполе. Так как слой напыления зеркальной краски очень тонкий, его нельзя протирать — можно лишь очень осторожно смахивать пыль кисточкой.
Детей очень привлекает яркое зеркало, они стараются потрогать его руками, что из‑за деградации зеркального напыления моментально приводит к тёмным пятнам.
Поэтому срок службы зеркала — примерно полгода, да и то если повезёт. Стоимость нового — порядка 10 000 рублей.
В связи с этим я решил, что нужно менять подход к зеркалам.
Я даже обращался в автосервис, чтобы методом гальваники покрыть сферу тонким слоем металла, который играл бы роль зеркала, но был более устойчив к царапинам. К счастью, мастера не взялись за такую сложную работу.
Совершенно случайно мой товарищ Nikolay sungreen показал мне интервью Paul Bourke, известного в узких кругах. Посмотрев фотографии его инсталляций, я увидел, что он использует метод прямой проекции через линзу «рыбий глаз» (фишай), устанавливая проектор в центре купола.
И я загорелся идеей сделать такую же. Собственно, это и было реализовано примерно через год тестирований и локальных неудач.
Сразу скажу: качество стало лучше, но не на порядок. Мы полностью исключили пыльный пластик — в световом тракте у нас только металл и стекло.
Но тут вступают в игру другие факторы, ограничивающие качество.
Во‑первых, мощность проектора. Для такого огромного экрана необходим очень мощный проектор, иначе изображение будет бледным. Мне повезло: я купил мощный проектор (470 Вт), тогда как в мобильных планетариях обычно используют проекторы мощностью до 300 Вт. Но даже моего проектора недостаточно. Более мощные проекторы становятся немобильными и очень сильно греются.
Во‑вторых, разрешение проектора. У меня 1920×1080 (Full HD), этого явно недостаточно — видны пиксели на экране. Возможно, 4K будет лучше, но цена такого проектора улетает в небеса.
Но я очень доволен тем, что получилось. Установка проектора в центре купола соответствует философии планетария. Геометрия изображения улучшилась и близка к эталонной.
Но в таком случае проектор оказывается в центре купола — не создаёт ли это помехи зрителям? У нас же в основном дети.


Как обстоят дела с безопасностью?

— Оборудование стоит в центре купола, в отверстии ковра, который мы специально изготовили. Дети очень комфортно располагаются вокруг; место для детей существенно расширилось за счёт отсутствия зеркала и изменения метода проекции.
Проекционное оборудование компактно стоит в одной точке: проектор в компьютерном корпусе, акустика и ИБП. Никаких проводов на виду. Полная безопасность.


Насколько возрастёт стоимость эксплуатации планетария с проектором, у которого фишай-линза?

— Стоимость эксплуатации, наверное, даже снижается, потому что отпадает необходимость покупать новые зеркала. Ты просто протираешь стеклянную линзу и забываешь о пыли.
Могу ли я рекомендовать всем переходить на фишай-формат? — Наверное, нет. В моём случае потребовалось очень много времени на доработку. Не думаю, что кто-то будет этим заниматься.
Даже изготовив такое оборудование, встаёт вопрос: где брать контент под такой формат? Большинство фильмов для планетария заточено под зеркало, то есть нужно ещё заниматься конвертированием фильмов или поиском нужного формата.

Андрей, какие у тебя планы на будущее? Над чем сейчас работаешь?

— Я думаю, что достиг некоторого потолка в качестве для мобильного планетария. Для стационарного планетария ещё можно было бы доработать проектор или оптическую систему, но для показа в детских учреждениях качество уже приемлемое.
Я решил сконцентрироваться на создании 3D-контента для планетариев и очков виртуальной реальности. Школам требуются новые качественные фильмы. Этим и занимаюсь в последнее время.


Андрей, спасибо тебе за этот откровенный разговор. Ты честно рассказал и о творческой радости, и о пыльных зеркалах за 10 тысяч рублей, и о том, что фишай-формат — не панацея, а результат годовых мучений и любви к делу.
Получается, что прямой проекцией в центре купола можно добиться лучшей картинки, избавиться от вечной грязи и даже сэкономить на зеркалах. Но это путь энтузиаста: с контентом пока напряжённо, а мощный 4K-проектор стоит космических денег.
И всё же, глядя на твой опыт, хочется спросить каждого, кто сейчас настраивает сферическое зеркало в мобильном планетарии: «Вы всё ещё гнёте видео под сферическое зеркало?» — но уже не с пустыми руками, а с реальной историей человека, который рискнул и не пожалел.
Андрей, желаем тебе успехов в создании 3D-контента для планетариев и VR. Пусть школы получают новые качественные фильмы, а дети по‑прежнему искренне радуются — именно ради этого всё и затевалось.
Спасибо, что поделился своими шишками и победами. Будем следить за твоими следующими шагами!
Вложения
foto1.jpg
foto1.jpg (167.98 КБ) 1360 просмотров
foto2.jpg
foto2.jpg (239.78 КБ) 1360 просмотров
foto3.jpg
foto3.jpg (154.64 КБ) 1360 просмотров
foto4.jpg
foto4.jpg (113.06 КБ) 1360 просмотров
Ответить