Технология Intel RealSense объединяет массив 3D-камеры и микрофона с SDK, который позволяет осуществлять отслеживание жестов, 3D-сканирование, анализ выражений лица, распознавание голоса и многое другое. В этой статье я расскажу, что это значит для игр, и объясню, как можно начать использовать его в качестве разработчика игр.
Что такое Intel RealSense?
RealSense разработан на основе трех различных периферийных устройств, каждое из которых содержит 3D-камеру. Два предназначены для использования в планшетах и других мобильных устройствах; третий — лицевой интерфейс F200 — предназначен для использования в ноутбуках и настольных ПК. Я сосредоточусь на последнем в этой статье.
F200 уже включен в ряд различных ноутбуков , а также в пару других устройств и скоро будет доступен в качестве автономного USB-устройства. (Вы уже можете заказать или заказать версию комплекта разработчика примерно за 100 долларов США.)
Это состоит из:
- Обычная цветная камера (1080p, 30 кадров в секунду)
- Инфракрасный лазерный проектор и камера (640×480, 60 кадров в секунду)
- Массив микрофонов (с возможностью определения местоположения источников звука в пространстве и подавления фоновых шумов)
Инфракрасный проектор и камера могут извлекать информацию о глубине для создания внутренней трехмерной модели того, на что направлена камера; информация о цвете от обычной камеры может затем использоваться, чтобы окрасить эту модель в.
SDK упрощает использование возможностей камеры в играх и других проектах. Включает библиотеки для:
- Отслеживание рук, пальцев, головы и лица
- Выражение лица и анализ жестов
- Распознавание голоса и синтез речи
- Дополненная реальность
- 3D-сканирование объекта и головы
- Автоматическое удаление фона
Обратите внимание, что, помимо того, что позволяет отслеживать, скажем, положение чьего-либо носа или кончика правого указательного пальца в трехмерном пространстве, RealSense также может обнаруживать несколько встроенных жестов и выражений, например:
Что RealSense приносит в игры
Вот несколько примеров того, как RealSense может (и используется) использоваться в играх:
Nevermind , психологическая игра ужасов, использует RealSense для биологической обратной связи: она измеряет частоту сердечных сокращений игрока с помощью 3D-камеры, а затем реагирует на уровень страха игрока. Если вы потеряли круто, игра становится сложнее!
MineScan от voidALPHA является проверкой концепции, которая позволяет сканировать объекты реального мира (например, чучела животных) в Minecraft. Любая 3D-игра для ПК с упором на моды и персонализацию может использовать возможности сканирования камеры RealSense, чтобы позволить игрокам вставлять свои собственные объекты (или даже самих себя!) В игру.
Faceshift использует RealSense для детальной съемки лиц. Эту технологию можно использовать в режиме реального времени, в игре, всякий раз, когда игроки разговаривают друг с другом, или во время производства для записи выражений актера, а также их голоса для более реалистичных персонажей.
«Came a Echo» — это тактическая RTS, которая использует возможности распознавания голоса RealSense, чтобы позволить игроку командовать своим отрядом. Легко увидеть, как это может быть адаптировано, например, для командного FPS.
Несколько лет назад Джонни Ли объяснил, как (неправильно) использовать контроллер Wii и сенсорную панель для отслеживания положения головы игрока и соответствующей настройки игрового обзора. Немногие игры, если таковые вообще имеются, действительно использовали это (без сомнения, из-за неортодоксальной настройки, которую это требовало), но возможности RealSense отслеживания головы и лица делают это возможным, и намного проще.
Есть также несколько игр, которые уже используют RealSense для управления своими жестами:
Laserlife , научно-исследовательская игра от студии BIT.TRIP.
«Голова ордена» , файтинговая игра в стиле турнира, которая разворачивается в фэнтезийном мире, где игроки используют жесты рук, чтобы накладывать заклинания друг на друга.
Space Between , в котором вы используете плавательные движения рук, чтобы вести черепах, рыб и других морских существ через ряд заданий в подводной обстановке.
Мадагаскар Переместить это! , детская игра, похожая на серию Let’s Dance.
Средства управления жестами не совсем новы в играх, но ранее они были почти эксклюзивными для Kinect. Теперь их можно использовать в компьютерных играх — это означает Steam и даже веб-платформу.
Как использовать RealSense в качестве разработчика игр
Первый шаг: скачать SDK . (Ну, ладно, первый шаг, вероятно, это получить устройство с камерой RealSense или зарезервировать комплект разработчика .)
SDK содержит:
- Библиотеки и интерфейсы для Java, обработки, C ++, C # и JavaScript
- Набор инструментов Unity со скриптами и префабами
- Примеры кода и демонстрации
- Документация
Далее посмотрите на учебный сайт Intel RealSense SDK . Здесь вы найдете руководства по началу работы, учебные пособия по использованию определенных функций (включая набор инструментов Unity) и видео предыдущих вебинаров. В течение следующих нескольких недель мы также будем публиковать учебные пособия по RealSense для Tuts +.
На канале Intel на YouTube есть отличный плейлист с видео о разработке для RealSense . Они имеют гораздо больший фокус на UX и UI, чем учебники выше; посмотрите это видео для примера:
Эти UX Guidelines (PDF) являются отличным дополнением к вышеупомянутым видео.
После того, как вы получите хороший обзор того, что может делать SDK и как работают различные библиотеки, подробно изучите документацию .
Наконец, проверьте официальные форумы, чтобы пообщаться с другими разработчиками, посмотреть, над чем они работают, и получить совет.
Вывод
Мы рассмотрели, что такое RealSense, для чего его используют разработчики игр и как вы можете начать использовать его в своих собственных играх. Следите за разделом Tuts + Game Development в течение следующих нескольких недель, где вы найдете несколько уроков по сканированию головы, печатанию без клавиатуры и распознаванию выражений.
Программа Intel® Software Innovator поддерживает инновационных независимых разработчиков, которые демонстрируют способность создавать и демонстрировать перспективные проекты. Инноваторы используют возможности выступлений и демонстрации на отраслевых мероприятиях и встречах разработчиков.
Intel® Developer Zone предлагает инструменты и практическую информацию для межплатформенной разработки приложений, информацию о платформах и технологиях, примеры кода и экспертные знания, чтобы помочь разработчикам внедрять инновации и добиваться успеха. Присоединяйтесь к нашим сообществам в Интернете вещей , Android * , технологии Intel RealSense , Modern Code , Game Dev и Windows *, чтобы загружать инструменты, получать доступ к наборам для разработчиков, делиться идеями с единомышленниками, участвовать в хакатонах, конкурсах, роуд-шоу и местные события.