Volygon дебютує зі справді фотореалістичними знаками Гауса

Можливо, ви чули термін «splat» або «splat Gaussian», який нещодавно використовувався в просторі XR. Gaussian splatting — це техніка візуалізації, яка існує протягом тривалого часу, але знайшла нове застосування в XR у поєднанні з нейронними полями випромінювання, які зазвичай називають NeRF. Ця техніка поєднує багато нерухомих зображень з різних ракурсів за допомогою нейронних мереж і прискорення штучного інтелекту з підтримкою GPU для швидкого створення 3-D моделі або 3-D сцени. Іноді їх можна навіть створити в реальному часі.

Ці методи допомагають прискорити створення тривимірних активів, незалежно від того, чи це об’єкти реального світу, які потрібно перенести на цифрові носії, чи повне сканування всієї фабрики з метою створення цифрового двійника. Вони значно менші за часом і використовують менш дороге обладнання порівняно зі старим способом використання рішень на основі лідарів, які є дорогими у використанні та обробці. Незважаючи на те, що лідарні рішення є високоточними та фіксують мільйони точок даних для корпоративних додатків, вони можуть бути дуже обмеженими для тих, хто не має часу та ресурсів для їх використання. Хоча Гауссове нанесення за допомогою нейронного випромінювання все ще є формою фотограмметрії, воно розроблено, щоб забезпечити дешевший і швидший спосіб створення 3-D ресурсів. Це стосується ключових факторів, що перешкоджають розвитку індустрії просторових обчислень, і є критично важливою технологією для успіху XR.

Було опубліковано чимало статей про гауссове нанесення, яке є формою растеризації за допомогою штучного інтелекту — досить швидкого та поширеного способу візуалізації графіки. Останнє покоління знаків Гауса може працювати на смартфонах, які використовують гібрид локальних і хмарних обчислень, але багато з цих рішень все ще борються з артефактами та проблемами якості. (Такі артефакти, як нерівні краї навколо об’єкта, є звичайними для відео або зображень із низькою роздільною здатністю або сильно стиснутими.) Рішення Volygon Gaussian Splat, як і його рішення для об’ємного відео, про яке я писав раніше, вирішує деякі з цих проблем для комерційних цілей і створює бездоганний 3-D сцени для фільмів. Volygon — це нова назва компанії для HypeVR, яка, на мою думку, краще відповідає технологіям компанії, особливо тому, що ця технологія зараз застосовна далеко за межами VR.

Держава Splats

Існує два переважних способи створення гауссівського знака за допомогою NeRF. Один – через смартфон, зазвичай із камерою глибини; це зазвичай досягається на iPhone, починаючи з iPhone 11 Pro. Проте з часом ця технологія вдосконалилася, і для створення досить точних 3-D ресурсів необов’язково потрібні дані про глибину. Інший спосіб полягає в тому, щоб знімати зображення за допомогою камери з високою роздільною здатністю та передавати ці зображення в такі інструменти, як Nvidia InstantSplat і NeRF studio. Nvidia також має власні моделі NeRF, які вона створила, щоб полегшити роботу розробників, зокрема Nvidia Instant-NeRF і NeRF-XL.

Деякі з найпопулярніших смартфонів і веб-додатків для цього, як-от Scaniverse, Luma AI і Polycam, дозволяють людям легко створювати 3-D ресурси швидше та дешевше, ніж будь-коли раніше. Однак з мого досвіду багато з них мають обмеження якості, що є компромісом для того, щоб бути швидкими та дешевими. Це нагадує мені стару приказку: кожен хотів би мати швидкий, дешевий і якісний продукт, але зазвичай можна мати лише два з трьох. Хоча я вірю, що з часом ці програми покращаться, вони все одно створюють значну кількість артефактів. Це не дозволило використовувати їх у кіно та інших галузях, де речі мають виглядати ідеально. Навпаки, технологія Volygon із підтримкою глибини за Гауссом може служити кіноіндустрії та будь-якій галузі, яка потребує надвисокоякісного 3-D сканування, виробництво якого не є дорогим.

Гауссове нанесення з підтримкою глибини Волигона

Волигон спеціалізується на фотореалістичних 3-D технологіях реального часу. Основним продуктом компанії є рішення для захоплення тривимірного об’ємного відео із запатентованим кодеком, який забезпечує надзвичайно високу якість об’ємного відео в реальному часі. За допомогою постобробки він може досягти ще вищої якості об’ємних знімків, які є одними з найкращих, які я бачив на сьогоднішній день. Зважаючи на це, я був радий, коли генеральний директор компанії запросив мене побачити останні речі, над якими Volygon працює з однією з найбільших голлівудських студій Amazon.

Amazon співпрацює з Volygon для прискорення та підвищення ефективності віртуального виробництва. Віртуальне виробництво — це досить нова концепція, яка була представлена ​​в останні кілька років і використовує переваги багатьох найновіших технологій, доступних для графічної індустрії, щоб зробити виробництво дешевшим і швидшим для студій. Використання світлодіодних відеостін стало одним із головних факторів цієї технології в поєднанні з можливістю відтворювати на цих стінах сцени, які точно відповідають навколишньому середовищу, яке намагається створити режисер. (Мандалорець протягом останніх кількох років заклав нову основу у цьому використанні технологій.)

Кеннет Накада, керівник відділу віртуального виробництва в Amazon MGM Studios, сказав: «Працюючи з [CEO] Тоначі [Tran] і його команда у Волигоні отримали винятковий досвід. Їхнє прагнення забезпечувати надзвичайно високоякісні фотореалістичні результати сканування в поєднанні з професійною командою, яка використовує найсучасніше обладнання, підняло наші проекти віртуального виробництва на нову висоту. Їхній досвід і відданість зробили їх надійним партнером Amazon Studios».

Volygon може створити скан інтер’єру чи екстер’єру декорацій для шоу Amazon Studios, а потім створити повну фотореалістичну тривимірну репродукцію декорацій під кутами, під якими камери вже зняли кадри. Це дає змогу режисеру та студії легко повернутися до будь-якої сцени за допомогою цієї сцени та перезняти її, оскільки фон є фотореалістичним і виглядає таким же, як якщо б він фізично все ще був там. Це забезпечує значну ефективність для Amazon, оскільки зменшує витрати на перезйомки, які досить поширені в галузі. Це також означає, що Amazon може ефективніше використовувати той самий фізичний простір, оскільки йому не потрібно зберігати певний набір довше, ніж потрібно, і не потрібно перебудовувати цей набір, якщо потрібні перезйомки.

Коли я пішов перевірити це, я побачив сканований Volygon комплект Amazon Studios, і це був найбільш бездоганний фотореалістичний знак Гауса, який я коли-небудь бачив. Це пов’язано з досвідом Volygon у об’ємному захопленні та стереопарному захопленні, посиленому власним алгоритмом оцінки глибини на основі штучного інтелекту, який забезпечує субміліметрову точність. Зазвичай гауссові знаки мають деякі артефакти або сліпі плями, які камера не бачить ідеально, але рішення Volygon здається бездоганним і займає менше години, щоб зняти повний набір, що все одно досить швидко — і набагато простіше, ніж використовувати лідар. сканування.

Вихід за рамки кіновиробництва

Хоча я вважаю, що рішення Gaussian Splat від Volygon стане величезним прогресом для віртуального виробничого простору, я також вважаю, що цифрові близнюки можуть отримати від нього значну користь. Простір цифрових подвійників стає все більш критичним для передових додатків, які забезпечують автономність автомобілів, автоматизованих фабрик, роботів із штучним інтелектом і багато іншого. Я міг навіть побачити таке рішення, яке забезпечить робота у вашому домі надточними й актуальними 3-D картами простору.

Я також вважаю, що цей рівень якості тривимірного зображення має сприяти більш захоплюючому навчанню та спільному використанню гарнітур AR, VR і MR, таких як Apple Vision Pro і Meta Quest. Навіть Snap's Spectacles може отримати вигоду від високоточного сканування, як це — не великий стрибок, враховуючи, що Snap уже співпрацює зі Scaniverse для 3-D Гаусових зображень менших об’єктів.

Незважаючи на це, знаки Гауса продовжують набирати обертів у галузі. Нещодавно я навіть випробував їх у Google, використовуючи нову операційну систему Android XR на окулярах Samsung Project Moohan MR; Просторова версія Google Maps використовувала знаки Гауса для створення 3-D сканування ресторану, який я щойно відвідав, використовуючи лише загальнодоступні фотографії з Google Maps. Тепер, коли ця технологія стає все більш вдосконаленою завдяки зусиллям Volygon та інших, я сподіваюся побачити її розгортання для багатьох інших випадків використання.