Это интервью впервые было опубликовано 5 апреля 2024 года на форуме blender-3d.ru/forum, на котором обсуждались в том числе и вопросы подготовки контента для мобильных планетариев с использованием Blender. Эта тема до сих пор актуальна и требует продолжения, поэтому хочу её запустить здесь именно этим интервью Пола Бурка – человека, который является авторитетным специалистом в этой области.
https://paulbourke.net/
В октябре 2003 года на в сети Интернет появилась статья Пола Бурка (Paul Bourke) «S p h e m i r Dome projection on a budget, also known as MirrorDome».
В статье рассказывалось о методе проецирования на купол без необходимости использования дорогостоящей по тем временам линзы типа Fisheye.
Вместо этого предлагалось использовать сферическое зеркало для отражения изображений от проектора на большую часть поверхности купола.
С момента появления этой статьи прошло более 20 лет, но тема остаётся актуальной. Многие люди, занимающиеся мобильными планетариями, пользуются этой информацией как крепким фундаментом своей практики.
Вчера я обратился к Полу с предложением ответить на вопросы мини интервью. Он согласился и уже сегодня Вашему вниманию предоставлен перевод этого материала на русский язык. Не судите строго моё творчество.
Я: В связи с 20-летием публикации этой статьи я хочу предложить вам рассказать о Вас в форме ответов на простые вопросы, которые могут быть полезны людям. Я постараюсь перевести ваши ответы на русский язык и опубликовать их на сайте русскоязычного блендер-сообщества (blender-3d.ru/forum).
Paul Bourke: Приветствую вас из Мельбурна. Я был в Санкт-Петербурге, работал в музее Кунсткамера, прекрасное место. Хорошо, но я могу не отвечать на все вопросы, если мне нечего сказать по теме. Пожалуйста, пришлите мне ссылку, когда все будет готово.
Я: предлагаю следующие вопросы.
1. Какова была ваша первоначальная мотивация для изучения купольной проекции 20 лет назад?
Paul Bourke: В то время я работал на кафедре астрофизики Университета Суинберна, оказывая помощь в наглядной презентации результатов научных исследований для учёных и взаимодействуя с широкой аудиторией. Основными дисплеями были крупномасштабные стереоскопические стены, то, что сейчас более известно как "3D", например
https://paulbourke.net/stereographics/s ... l/ngl2.jpg
Будучи астрономическим центром, естественным было представить данные на полусферических куполах для работы с общественностью и в образовательных целях. Как и сегодня, решения на основе линз Fisheye были относительно дорогими, что заставило меня задаться вопросом, какими другими способами можно охватить светом углы требуемой ширины. Сферическое зеркало казалось очевидным решением.
2. Можете ли вы описать самую значительную проблему, с которой вам пришлось столкнуться за время своей карьеры в купольной проекции?
Paul Bourke: Прежде всего, я хотел бы отметить, что купольная проекция — это лишь очень маленькая часть того, чем я занимаюсь, поэтому я бы не сказал, что у меня была только карьера в купольной проекции.
Для сферической зеркальной проекции первоначально самой большой проблемой был поиск подходящих зеркал, в частности, зеркал для передней поверхности с высокой отражающей способностью (first surface mirrors, FSM). Такие зеркала очень хрупкие, поскольку зеркальная поверхность находится наружной (подверженной воздействию элементов) поверхности плексигласа – органического стекла. Задача проекции сферического зеркала заключалась в том, чтобы предварительно искажать изображение Fisheye так, чтобы при отражении от зеркала на куполе результат выглядел правильно. Это также был вызов и для других технологий купольной проекции, такие как одиночная проекция, где объектив находится не в центре купола или для нескольких проекторов системы.
3. Как развивалась купольная проекция за последние 20 лет?
Paul Bourke: На самом деле базовая технология не претерпела особых изменений, разве что проекторы теперь намного лучше. Изменились программные решения будь то конвертации в реальном времени для сферического зеркала или ряд коммерческих программных решений для систем с несколькими проекторами.
4. Как сосуществуют купольные проекции и технологии VR?
Paul Bourke: Одна из областей, в которой я работаю — это крупномасштабные цилиндрические дисплеи. Они могут быть очень высокого разрешения и стереоскопическими.
Они позволяют нескольким людям наблюдать одну виртуальную среду, естественно оглядываясь вокруг, в отличие от большинства плоских стереоскопических дисплеев, эти дисплеи позволяют нескольким людям смотреть в разных направлениях, отслеживание головы не требуется.
Основное различие заключается в том, что крупномасштабные купола или цилиндры предлагают совместное, более общительное пространство. Они не полностью удаляют человека от реального мира. Поэтому они предоставляют возможности для музеев и галерей, для которых очень проблематично использовать дисплеи с креплением на голову (сейчас их обычно называют VR-дисплеи). Это правда, что дисплеи, установленные на голове, обеспечивают иной восприятие, чем проекционные дисплеи. Даже если купол или цилиндр стереоскопический, впечатления от гарнитуры как правило, более захватывающие.
5. Можете ли Вы назвать самый важный прорыв, который вы совершили в купольной проекции за последние 20 лет?
Paul Bourke: Моё участие в создании куполов, ориентированных на планетарий, сейчас минимально. Около 15 лет назад я начал работать с клиентами в так называемом iDome, персональном куполе с фронтальной ориентацией, который больше подходит для пространств виртуальной реальности. Пример 3-метрового купола с использованием сферического зеркала, см. основание цоколя:
https://paulbourke.net/dome/domeinstall/FGS6.jpg
В последнее время я работаю над проекторами очень высокого разрешения и системами с линзами Fisheye, это 4-метровый купол iDome.
https://paulbourke.net/dome/domeinstall/Baptist1.jpg
6. В исходном коде Blender довольно много ссылок на вас. Не могли бы вы рассказать о своём отношении и участии в этом проекте?
Paul Bourke: Главное - не аппаратура и проекция, а ощущения, которые человек создаёт. Поэтому я всегда смотрел на то, как можно использовать игровые движки. На раннем этапе я разработал решения для создания Fisheye и деформации в игровом движке Unity.
https://paulbourke.net/papers/cgat09b/
Примерно в 2009 году я познакомился с Далаем Фелинто ( https://code.blender.org/author/dalai/ ), который реализовал искривление Fisheye в движке Blender, используя те же методы.
https://paulbourke.net/papers/blender10 ... rpaper.pdf
Я не совсем уверен, какие ещё ссылки в исходном коде Blender вы имеете в виду, возможно, некоторые из моих опубликованных в Интернете решений различные геометрические задачи.
7. Как вы сохранили мотивацию для изучения этой сложной темы в течение столь долгого времени?
Paul Bourke: У меня есть несколько долгосрочных клиентов, которые работают в иммерсивных
пространствах для музеев, галерей, симуляторов и тренингов. Постоянно поступает поток проектов, в основном для iDomes и цилиндров. Большая часть моей работы сейчас — это захват контента для этих пространств. В частности, фотограмметрия для цифровых активов ( https://habr.com/ru/articles/561164/ ) и панорамные изображения высокого разрешения или видео.
8. Есть ли новые направления, которые вы планируете исследовать в купольной проекции в ближайшие годы?
Paul Bourke: В целом купольная проекция стала гораздо более популярной, чем 20 лет назад. Технологии в бюджетном сегменте начинаются со сферического зеркала, в среднем диапазоне - решения типа Fisheye и одиночный проектор, далее - двойные проекторы с частичными объективами Fisheye, и, наконец, несколько (обычно 4, 5, 6) проекторов.
Моя текущая работа сосредоточена на одном проекторе с объективом Fisheye.
Моя последняя инсталляция в Аделаиде представлена здесь:
https://paulbourke.net/dome/domeinstall/mawson2.jpg
Но в целом я вижу себя в съёмке объектов реального мира.
9. Можете ли вы поделиться некоторыми наиболее интересными случаями, с которыми вы сталкивались в своей карьере?
Paul Bourke: Недавно (в конце 2023 года) я сделал снимок, который, как считается, является самым большим цифровое изображение панорамного произведения искусства. Его размеры составляют 400 000 пикселей в высоту и 4 000 000 миллионов пикселей в ширину, а оригинальная картина - 10 м в высоту и 100 м в длину. Вот этот проект
https://www.epfl.ch/labs/emplus/projects/diagram/
Это станет основой для интерактивного взаимодействия пользователей в цифровом цилиндре. Сообщество Blender может рассмотреть возможность использования Blender для этих целей. Blender может справиться с этим.
10. Если бы вы могли дать совет начинающим исследователям в области купольной проекции, что бы вы посоветовали?
Paul Bourke: Хотя большая часть моей работы в этой области была сосредоточена на аппаратном обеспечении, это сейчас это в основном просто решение о покупке с учётом имеющегося бюджета. Существует множество коммерческих поставщиков. Я думаю, что сегодня речь идёт о создании контента, то есть о создании убедительных впечатлений. Инструменты сегодня намного лучше, чем тогда, когда я начинал.
Большинство пакетов рендеринга сегодня могут поддерживать Fisheye или Equirectangular проекцию напрямую. Есть доступные 360 градусные видеокамеры. Появились возможности делать контент в реальном времени из-за возросшей производительности графических процессоров, и существуют камеры с высоким разрешением Fisheye.
Я: На этом мои вопросы к Полу закончились. Большое спасибо ему за его исследования и желание делиться своими исследованиями. Пожелаем ему успехов и по русской традиции – крепкого здоровья. Нам же настойчивости в достижении поставленных целей. Да, и мы всё ещё гнём видео под сферическое зеркало. Всем удачи!
That was the end of my questions to Paul Bourke. Thank him very much for his research and willingness to share his research. We wish him success and, according to the Russian tradition, good health. We need perseverance in achieving our goals. Yes, and we're still bending the video under a spherical mirror. Good luck to everyone!
Blender и мобильный планетарий
Re: Blender и мобильный планетарий
И вот продолжение этой темы.
Что можно сейчас делать в blender/domik для мобильных планетариев? В первую очередь - это конвертация видео под сферическое зеркало во встроенном видео редакторе VSE Blender.
Для примера приведу наиболее востребованные виды конвертации (используется "Demo split mode" для разделения экрана).
Fisheye в Spherical mirror:
Equirectangular в Spherical mirror:
Equirectangular в Fisheye:
Cubemap в Equirectangular:
Cubemap в Spherical mirror:
В моём понимании демонстрация "плоского" видео относится к апокрифичным трансформациям в купольной философии. Тем не менее можно использовать режим Cinerama для построения виртуального зала с плоским экраном, на котором и будет отображаться "плоское" видео. Скины для виртуального зала можно моделировать в самом Blender.
Вот пример такой модели https://disk.yandex.ru/d/EXiRYZokxEGqCw
Далее пример конвертации "плоского" видео под сферическое зеркало.
Cinerama в Spherical mirror:
Cinerama в Equirectangular:
Что можно сейчас делать в blender/domik для мобильных планетариев? В первую очередь - это конвертация видео под сферическое зеркало во встроенном видео редакторе VSE Blender.
Для примера приведу наиболее востребованные виды конвертации (используется "Demo split mode" для разделения экрана).
Fisheye в Spherical mirror:
Equirectangular в Spherical mirror:
Equirectangular в Fisheye:
Cubemap в Equirectangular:
Cubemap в Spherical mirror:
В моём понимании демонстрация "плоского" видео относится к апокрифичным трансформациям в купольной философии. Тем не менее можно использовать режим Cinerama для построения виртуального зала с плоским экраном, на котором и будет отображаться "плоское" видео. Скины для виртуального зала можно моделировать в самом Blender.
Вот пример такой модели https://disk.yandex.ru/d/EXiRYZokxEGqCw
Далее пример конвертации "плоского" видео под сферическое зеркало.
Cinerama в Spherical mirror:
Cinerama в Equirectangular: