Вы когда-нибудь использовали Snapchat Lens или играли в Pokémon GO? Если да, то вы уже работали с приложением дополненной реальности (AR) и, вероятно, в ближайшем будущем испытаете еще больше.
AR описывает технологию, предназначенную для улучшения или дополнения восприятия реальности пользователем. Эта быстро развивающаяся технология имеет бесчисленное количество потенциальных применений, и сейчас самое подходящее время, чтобы погрузиться в нее.
В этой статье объясняется, что такое AR и как его использовать. Мы также познакомим с некоторыми ключевыми технологиями и инструментами, которые необходимо знать начинающим разработчикам дополненной реальности.
Что такое АР?
«Augment» — значит сделать его лучше, добавив к нему что-то, и это именно то, что делают приложения AR. Они улучшают часть физической реальности пользователя с помощью компьютерных сенсорных данных. Наиболее распространенными модальностями для этого ввода являются визуальные, слуховые и тактильные (относящиеся к прикосновению или проприоцепции), но возможны и другие модальности.
AR является частью более широкой области, известной как расширенная реальность (XR). XR относится ко всем технологиям, которые объединяют реальный и цифровой миры для создания нового опыта. Это общий термин, включающий AR, смешанную реальность (MR) и виртуальную реальность (VR).
Границы между этими подполями XR не всегда ясны, но в целом, вот как они разбиваются:
- Дополненная реальность : цифровые элементы появляются поверх представлений реального мира с ограниченной интерактивностью между ними. AR часто происходит через смартфон. Пример: в игре для смартфонов Pokémon GO игроки охотятся за персонажами, которые появляются на их экранах, наложенными на изображения реального мира.
- Смешанная реальность : цифровые элементы привязаны к представлениям реального мира, чтобы создать возможности для интерактивности. Пример. Гарнитура Microsoft HoloLens позволяет пользователям взаимодействовать с трехмерными голографическими изображениями так, как будто они являются частью реальной среды.
- Виртуальная реальность: пользователь погружается в полностью цифровую, полностью интерактивную среду. Пример: гарнитура Sony PlayStation VR погружает пользователей в игры виртуальной реальности.
Как используется дополненная реальность?
В последние годы технологические достижения привели к взрывному росту в области дополненной реальности. Дополненная реальность вскоре может коснуться почти всех секторов экономики и стать частью повседневной жизни многих из нас.
Вот лишь некоторые из текущих и потенциальных вариантов использования AR:
- Развлечения: Сделайте видеочаты более увлекательными с помощью наклеек, линз и игр.
- Покупки: виртуально примерьте одежду или визуализируйте мебель в своем доме перед покупкой.
- Спорт: нарисуйте линии на спортивных площадках, чтобы проиллюстрировать и проанализировать игру.
- Навигация: используйте наложение GPS поверх реальной среды, чтобы указать направление.
- Медицина: создание проекций мозга для помощи в нейрохирургии.
- Военные: проецируйте высоту, скорость и другие данные на козырьки шлемов пилотов-истребителей, чтобы улучшить фокусировку.
- Логистика: доставляйте информацию о грузовых контейнерах членам экипажа, чтобы ускорить время погрузки.
- Музеи: оживите экспонаты, предоставив повествование, изображение художника или другую дополнительную информацию.
- Археология: проецируйте изображения древних цивилизаций на сегодняшние руины, чтобы помочь в исследованиях.
Как работает дополненная реальность?
AR опирается на несколько передовых технологий, включая специализированное аппаратное и программное обеспечение. То, как именно работает приложение AR, зависит от сенсорной модальности, используемой для генерируемого компьютером ввода.
Визуальный ввод — наиболее распространенная модальность дополненной реальности, поэтому вот основные принципы ее работы:
- Датчики собирают данные об окружающей среде. В смартфонах эти данные поступают с камеры, акселерометра и гироскопа. Некоторые очки AR также имеют встроенные датчики глубины во время полета для улучшения 3D-изображения.
- Программный алгоритм создает виртуальную карту окружающей среды. Это программное обеспечение в значительной степени опирается на области компьютерного зрения и машинного обучения.
- Алгоритм находит устройство на виртуальной карте. Этот процесс известен как отслеживание (также называемое локализацией ). Отслеживание происходит много раз в секунду, поэтому приложение всегда знает, где находится пользователь относительно среды.
- Цифровой контент размещается на виртуальной карте. Поскольку виртуальная карта невидима, содержимое выглядит так, как будто оно является частью физического мира. На этом этапе датчики устройства могут собирать тонкую информацию о физической среде (например, интенсивность света и цветовая температура). Затем приложение может спроецировать эти качества на цифровой контент, чтобы он выглядел более реалистично.
Чему я должен научиться, чтобы стать разработчиком дополненной реальности?
Это захватывающее время, чтобы войти в область AR. Технологические усовершенствования постоянно улучшают качество дополненной реальности, и новые отрасли начинают искать решения дополненной реальности.
Итак, чему вы должны научиться, чтобы стать разработчиком AR-приложений? Конкретный ответ зависит от того, над какими проектами вы хотели бы работать. При этом, вот некоторые основные навыки, которые пригодятся любому разработчику дополненной реальности.
Языки программирования
Разработчикам дополненной реальности требуются сильные навыки программирования. Независимо от того, начинаете ли вы с нуля или переходите из другой области, имеет смысл сосредоточиться на языках, обычно используемых в разработке дополненной реальности.
Наиболее распространенные языки зависят от платформы и включают в себя:
- Apple (iOS): C/C++, C#, или Swift
- Google (Android): Java
JavaScript — еще один полезный язык, особенно если вы планируете создавать веб-приложения.
SDK дополненной реальности
Как разработчик приложений AR, вам не обязательно знать все тонкости алгоритмов компьютерного зрения (если только вы не планируете участвовать в исследованиях и разработках). Комплект для разработки программного обеспечения для дополненной реальности (SDK) может справиться с этой и многими другими задачами — не нужно изобретать велосипед.
AR SDK — это полнофункциональные наборы инструментов для создания дополненной реальности. Задача AR SDK — объединить цифровой контент с реальным миром. С этой целью SDK AR содержат библиотеки, которые решают сложные задачи, такие как отслеживание, распознавание объектов, оценка освещенности, рендеринг контента и т. д.
И Apple (iOS), и Google (Android) предлагают SDK дополненной реальности для своих мобильных платформ. SDK от Apple называется ARKit, а от Google — ARCore. Другие известные SDK дополненной реальности включают Wikitude и Vuforia.
3D-моделирование и игровые движки
В какой-то момент вам нужно будет создать реальный цифровой контент, который вы будете размещать в своих приложениях дополненной реальности (например, покемонов!). Для этого необходимы навыки 3D-моделирования.
3D-моделирование само по себе является обширной областью, и существует множество инструментов на выбор. Большинство профессиональных разработчиков дополненной реальности работают с популярными игровыми движками, такими как Unity (использующий язык программирования C#) и Unreal Engine (использующий C++).
UI/UX-навыки
Приложения AR успешны или терпят неудачу в зависимости от их способности привлекать пользователей и доставлять им удовольствие. Вы должны быть в состоянии поставить себя на место пользователя, чтобы ваше приложение имело ожидаемый эффект. Таким образом, опыт проектирования UX или UI является ценным активом для любого разработчика дополненной реальности.
