Google навчилася реалістично переносити людину в віртуальне оточення

Інженери з Google навчилися створювати реалістичну модель рухомої людини і вбудовувати її у віртуальний простір, змінюючи освітлення моделі відповідним чином. Вони створили стенд з декількома десятками камер і сотнями керованих джерел освітлення, всередині якого знаходиться людина. Система швидко змінює освітлення і знімає людину з різних сторін, а потім об’єднує ці дані і створює модель, яка з високою точністю описує як форму тіла і одягу, так і їх оптичні властивості. Розробка буде представлена на конференції SIGGRAPH Asia 2019, стаття про неї опублікована на сайті авторів.

Технології захоплення руху і створення віртуальних аватарів вже не перший рік використовуються в різних сферах. Деякі з них (наприклад, ті, які застосовують при зйомках фільмів) засновані на захопленні саме рухів обличчя та інших частин тіла, записи чого потім використовуються для анімації іншого персонажа. У тих випадках, коли важливо зберігати зовнішній вигляд людини, використовуються системи з безлічі камер.

Деяким розробникам в цій сфері вдалося досягти досить якісних результатів. Наприклад, Intel використовує на деяких спортивних стадіонах систему , що дозволяє відтворювати повтори з будь-якого ракурсу. Однак такі системи не вміють збирати дані про оптичні властивості предметів і одержувану з їх допомогою модель не можна реалістично перенести в оточення з іншим освітленням.

Група інженерів Google під керівництвом Пола Дебевека (Paul Debevec) і Шахрама Ізаді (Shahram Izadi) створила знімальний стенд і програмне забезпечення, що дозволяють створювати модель, реалістично відображає як форму, так і оптичні властивості людини в русі, а також переносити цю модель в інше оточення і підлаштовувати освітлення під нього.

Стенд має практично сферичну конструкцію з отвором, через який входить людина. На стійках, з яких складається сфера, встановлений 331 блок освітлення, кожен з яких складається з окремих світлодіодів певного кольору, 42 кольорові камери, а також 16 блоків захоплення глибини, кожен з яких складається з однієї кольорової і двох інфрачервоних камер, і інфрачервоного лазерного проектора . Оскільки система створює величезний обсяг даних, їх обробка відбувається на хмарних серверах

Під час роботи лазер проектує на людину інфрачервоний візерунок, що складається з тонких ліній. Завдяки цьому система може з високою точністю відновлювати форму людини, порівнюючи одержувані інфрачервоними дані з вихідним візерунком. Світлодіоди проектують на людину світло з потрібним просторовим розподілом, причому вони швидко (60 раз в секунду) чергують два колірних градієнта, зворотних один одному. Це дозволяє створювати не тільки карту розподілу кольору на тілі та одязі, а й карту відображення, яка дозволяє в подальшому програмним чином змінювати освітлення людини, реалістично вбудовувавши його в нове оточення.

Автори порівняли свою розробку з попередніми схожими системами. Нова система дозволяє отримувати модель з більш високою роздільною здатністю, а також меншою кількістю артефактів. Крім того, вона набагато краще працює з швидко рухомими в кадрі об’єктами, наприклад, підкинутих м’ячем. Розробники також створили демонстраційний додаток для смартфона, який працює в режимі доповненої реальності і реалістично вбудовує модель людини в світ перед смартфоном. Воно працює на основі попередньої розробки , яка визначає характеристики освітлення і відображення об’єктів за даними з камери.

Раніше в цьому році група Пола Девебека представила іншу програмно-апаратну розробку, яка дозволяє домагатися незвичайних візуальних ефектів. Вони зібрали прототип светопольной камери з 16 камер GoPro, і використовували алгоритми, що дозволяють розбивати сцену, що знімається на окремі площини, впорядковані у міру віддалення від камери. Це дозволяє в подальшому вже після зйомки міняти її ракурс або глибину різкості, а також стабілізувати ролик і видаляти з нього об’єкти.