Веб -сайт Meta's Support тепер описує дозвіл на гарнітури “гарнітури” на гарнітури Quest, що дозволяє припустити, що незабаром запускається Passhrough API.
Що таке доступний доступ до камери?
Хоча гарнітури, такі як Quest 3 та Apple Vision Pro, використовують камери, щоб дозволити вам побачити реальний світ, сьогодні лише системне програмне забезпечення отримує сирий доступ до цих камер. Сторонні розробники можуть використовувати прохід як фон, але вони насправді не отримують доступу до нього. Натомість вони отримують дані вищого рівня, отримані системою, такі як координати скелета руки та тіла, 3D-сітка вашого середовища з обмежувальними ящиками для меблів та обмеженими можливостями відстеження об'єктів. Це означає, що вони не можуть запустити власні моделі комп'ютерного зору, що сильно обмежує можливості збільшення цих гарнітур.
Виняток полягає в тому, що на VisionoS 2 Apple є Зараз надає компаніям підприємств Сирий доступ до прохідних камер Vision Pro для непублічних внутрішніх додатків, але для цього потрібна спеціальна ліцензія від Apple і обмежена “лише в ділових умовах”.
META оголосив проникний API на Connect 2024 ще у вересні, заявивши, що він “дозволить усі види передового досвіду”.
Тепер, трохи більше п’яти місяців, сторінка мета-підтримки щойно вийшла наживо, описуючи новий дозвіл на “гарнітуру”, який “дозволяє програмі отримати доступ до подачі камери в режимі реального часу з передньої частини гарнітури”.
Сторінку вперше помітили ентузіаст VR Luna, і наводить три приклади того, як Quest Apps могли використовувати перехід на прохід:
• Розпізнавання об'єктів. Розробники можуть створювати додатки, які розпізнають та використовують конкретні об'єкти у вашому реальному середовищі. Наприклад, цифрова настільна гра, яка включає фізичні ігри або дошки.
• Розпізнавання розташування. Розробники можуть створювати досвід, який реагує по -різному, залежно від того, де показує канал камери, ви знаходитесь. Наприклад, у приміщенні або на відкритому повітрі, на знаменитій орієнтирі або в конкретному типі кімнати.
• Інші функціональні можливості машинного навчання. Розробники можуть запускати спеціальні моделі машинного навчання проти даних із каналу камери в режимі реального часу. Це може бути використане для ретекстрибування/затінення, ігор, пов’язаних із учасниками, які не носять гарнітури, виявлення людини/тварин, або будь-яку кількість спеціальних промислових/навчальних випадків.
Android XR дозволить додаткам отримати доступ до перегляду камери, що переживає, Google підтверджує
Android XR дозволить додаткам отримати доступ до перегляду камери Passhrough, наприклад, запустити спеціальні моделі комп'ютерного зору, підтвердив Google.
Тим часом Google підтвердив минулого місяця, що Android XR, його майбутня ОС, яка дебютує в автономному гарнітурі Samsung, дозволить додаткам отримати доступ до перегляду камери на запуску.