Google використовував відео з YouTube на виклик манекена, щоб навчати його

Зміст:

Що вам потрібно знати
Отримайте більше Pixel 3a
Google Pixel 3a

Що вам потрібно знати

Google тренує свій ІС для створення карт глибини, що ізолюють людські предмети на сцені, використовуючи лише одну камеру.
В якості вихідної точки Google використовував 2000 відео YouTube з Mannequin Challenge, щоб навчати ІІ.
Результати призведуть до можливості додавати ефекти до відео, таких як портретний режим, і використовуватись для розширеної реальності.

У недавньому дописі в блозі Google детально розповів, як працює над глибинним сприйняттям у відео, де рухаються і камера, і предмет. Для початку дослідження потребувало доступу до величезної кількості даних для тренування ШІ, а першим логічним кроком було його навчання для виявлення людей у сцені, де рухалася камера, але люди були статичними.

Як виявляється, Google мав ідеальний ресурс для цих даних у вигляді відео YouTube, яке було знято для Mannequin Challenge. У цьому виклику людина чи група людей стоять повністю нерухомо, як камера, що панує навколо своєї позиції. Google використав 2000 відеозаписів, щоб допомогти навчити його AI виявляти людські фігури в самих різних сценах.

Що ще робить це дослідження ще більш цікавим, це той факт, що Google навчає свій AI створювати карти глибини, використовуючи кадри, зняті за допомогою однієї камери. У більшості випадків потрібно використовувати кілька камер, щоб зрозуміти інформацію про глибину в сцені.

Google вже використовує щось подібне для нерухомих зображень для створення ефекту портретного режиму для телефонів Pixel. Однак це стосується лише нерухомих зображень. Новий метод, який Google розробляє, - це навчити його AI створювати карту глибини, де і камера, і предмет рухаються в межах сцени.

Розгалужуючи відео, це відкриє в майбутньому функції створення боке у відео сценах, подібних до портретного режиму на вашому телефоні. Ще одна користь від цього дослідження - це покращення результатів для розширеної реальності, наприклад, Playmojis від Google Playground.

Іншою можливістю буде створення 3D-зображень із 2D сцен. Хоча обладнання для фотоапаратів завжди було важливим для фотографії та відеозйомки, те, що Google робила протягом багатьох років за допомогою програмного забезпечення, показує, що в майбутньому алгоритми будуть настільки ж важливими і допоможуть забезпечити новий досвід.