Что такое ARCore? Всё, что вам нужно знать
Дополненная реальность (англ. Augmented Reality, AR)) прошла долгий путь от концепции научной фантастики до чего-то более реалистичного. В последнее время стоимость AR-разработки резко снизилась, и сегодня она доступна даже на обычном смартфоне.
И Apple, и Google вкладывают внушительные средства в развитие дополненной реальности, о чём свидетельствует разработка ARkit (от Apple) и ARCore (от Google). Эти новаторские технологии позволили работать с AR обычным разработчикам, что было совершенно немыслимо несколько лет назад.
Согласно этой статье на HackerNoon, к 2025 году объём дополненной и виртуальной реальности в индустрии здравоохранения составит около 5 миллиардов долларов. Кроме того, мощный скачок в использовании AR-технологий произойдёт в индустрии туризма, поскольку 84 % пользователей во всем мире будут заинтересованы в использовании AR во время путешествий.
Что это значит для вас как разработчика?
Когда AR обещает превратить мир вокруг нас в научно-фантастический фильм, для нас, разработчиков, это означает рост новой технической сферы с новыми возможностями трудоустройства и солидными зарплатами. Итак, сегодня мы погрузимся в мир хайпа дополненной реальности и выясним, что там происходит на самом деле и как можно начать AR-разработку.
Мы сосредоточимся на ARCore, платформе от Google для создания приложений дополненной реальности без необходимости углубленных знаний OpenGL, рендеринга и т.д.
Что такое ARCore?
Согласно Википедии, ARCore — это инструмент для разработки программного обеспечения, разработанный Google, который позволяет создавать приложения дополненной реальности.
ARCore использует три ключевые технологии для «внедрения» виртуального контента в реальную среду:
Как работает ARCore?
Вы когда-нибудь задумывались, почему большинству приложений дополненной реальности требуется, чтобы вы поперемещали камеру по комнате для обнаружения поверхностей в ней? Это необходимо для того, чтобы приложение построило свой собственный виртуальный мир на основе физического. ARCore в этом плане ничем не отличается.
Когда вы перемещаете свой телефон, ARCore запоминает окружение и строит собственный мир, в котором он может размещать виртуальные объекты. Он также использует технологию отслеживания движения для определения того, как некоторые объекты движутся, учитывая движения вашей камеры.
Вот почему, когда вы размещаете виртуальный объект в своей комнате, выходите и возвращаетесь, объект всё ещё там. ARCore построил свой виртуальный мир, в котором он помнит, где находится каждая деталь.
Когда вы размещаете в этом пространстве объект, ARCore вычисляет его положение по отношению к другим объектам, а когда вы возвращаетесь в то же место, объект отображается снова.
Кто может использовать ARCore?
Прямо сейчас ARCore SDK доступен для:
Этот список довольно исчерпывающий и покрывает нужды большинства разработчиков. У Google есть краткое руководство по началу работы с каждым из них.
ARCore для Android
Google позаботился обо всех Android-разработчиках, и не важно, используете вы Android SDK, Android NDK или Unity для разработки под Android. ARCore поддерживает их все.
В этом кратком руководстве показано, как настроить среду разработки, включить ARCore и запустить простое приложение. ARCore использует Sceneform SDK, который представляет собой 3D-фреймворк, который позволяет Java-разработчикам легко создавать приложения ARCore без OpenGL.
Первый взгляд на ARCore от Google: что это такое и как это работает?
Новый набор для разработчиков программного обеспечения ARCore от Google, который компания анонсировала на днях, значительно расширяет возможности устройств под управлением ОС Android.
Дополненная реальность (AR) на сегодняшний день выглядит куда более перспективно, чем виртуальная реальность (VR), ведь в первом случае вы остаетесь в мире, где вам все знакомо, понятно и доступно для осязания, а новые объекты лишь подмешиваются в него. В тоже время, виртуальная реальность полностью выключает вас из внешнего мира и переносит туда, где вы на самом деле не находитесь.
До недавних пор за AR в Google отвечал проект Tango, который, к слову, работал только на двух устройствах: Lenovo Phab 2 Pro и Asus ZenFone AR, так как для работы этого алгоритма требуется сразу три камеры. Новая технология ARCore, как и ARKit от Apple, позволяет создавать дополненную реальность с помощью всего одной камеры.
Как задумано, в самом начале ARCore будет доступен для смартфонов Google Pixel и Samsung Galaxy S8, однако очень скоро разработчики обещают портировать его и на смартфоны других моделей и марок.
Впрочем, до официального выхода ARCore пока что довольно далеко,- предварительный SDK, который вышел неделю назад, предназначен исключительно для разработчиков программного обеспечения, и только для того, чтобы они могли иметь представление о своих будущих AR-проектах.
Если постараться, SDK можно скачать с сайта для разработчиков Google и установить на свой совместимый смартфон, что мы и сделали, чтобы посмотреть, как хорошо работает новая технология.
Мы загрузили его на наш Pixel XL и использовали инструменты Google для создания самого базового демонстрационного приложения, поэтому мы смогли получить ясное представление о том, насколько хорошо ARCore работает при отображении альтернативных объектов и поверхностей.
Для начала, нужно нацелить телефон на освещенную область пола, чтобы он мог четко отобразиться на экране. Как только программа настроится, появится сетка, показывающая область, на которой можно размещать объекты.
Microsoft HoloLens, Google Tango, а также новые трехкамерные модули Spectra от Qualcomm полагаются на инфракрасные камеры для отображения вертикальных поверхностей, мебели и даже рук людей в пространстве.
С помощью одной только камеры и при достаточном освещении ARCore пока что способна распознавать лишь ровные горизонтальные поверхности. Предположительно, при использовании смартфонов с двумя камерами, система сможет или со временем «научится» распознавать еще и объемные пространства.
Теперь выбираем любую точку на отображаемой сетке, на ней появится маленький робот-андроид. И таким вот, примерно, образом разработчики могут, проявляя свои творческие идеи, расставлять свои собственные игровые (или не игровые) объекты по всей отображаемой области.
Так как ARCore использует камеру телефона, акселерометр и гироскоп, чтобы контролировать ваши движения в пространстве, робот все равно остается на той самой точке, куда вы его поместили, даже если вы будете уходить от него, подходить ближе, или начнете водить вокруг хоровод. Обратите внимание: робот на фото все время остается неподвижным на зеленой плитке пола в одной точке.
Если хотите, можете потыкать пальцем по полю еще сколько угодно раз. Тем самым вы посадите на пол вашего помещения еще много одинаковых роботов. Судя по всему, ARCore имеет примерно такой же сценарий размещения виртуальных объектов, как и ARKit от Apple.
Кстати, компания Google также работает над веб-браузерами для Android и iOS, которые включают в себя ARCore, поэтому веб-разработчики смогут размещать приложения с расширенной реальностью прямо на веб-страницах.
Как установить ARCore на любой Андроид
Уверен, что вам не раз доводилось слышать или даже пользоваться дополненной реальностью. Те самые животные в 3D от Google, о которых мы много писали, работают именно на базе этой технологии. Но дело в том, что запустить дополненную реальность на Android-смартфоне просто так не получится. Нужно, чтобы на устройстве был установлено системное приложение ARCore, которое является частью сервисов Google Play и, соответственно, может быть доступно далеко не всем пользователям. Объясняем, как обойти это ограничение.
ARCore можно установить на любой Android-смартфон
Начать предлагаю с более подробного объяснения, что такое ARCore. Если придерживаться терминологии, которую использует Google, то это SDK, или набор инструментов разработки, обеспечивающих возможность работы дополненной реальности на устройстве под управлением Android. Именно он позволяет разработчикам создавать приложения с поддержкой AR (artificial reality), задействуя камеру смартфона и заставляя её совмещать реальность дополненную с реальностью повседневной. На выходе получается виртуальный объект, которые размещается в реальных «текстурах».
Как скачать ARCore
Чтобы заставить ARCore работать на Android-смартфоне, который его не поддерживает в принципе, можно задействовать обходной путь. Он не требует даже получения рут-прав, а потому подойдёт всем, у кого наблюдаются проблемы с воспроизведением дополненной реальности.
Без этих двух приложений чуда не получится
Поскольку оба приложения призваны исполнять пассивную роль, ждать от них какого-то откровения не нужно. То есть их основная задача – это пассивное обеспечение работоспособности дополненной реальности на вашем устройстве. Поэтому после установки TangoCore и HelloAR можете попробовать запустить что-нибудь AR-совместимое. Для этого отлично подойдут 3D-животные от Google, среди которых вы наверняка найдёте зверя, который нравится именно вам или вашим домашним. Попробуйте, это интересно.
Как пользоваться ARCore
Дополненная реальность может заработать даже без официального ARCore
Важно понимать, что TangoCore и HelloAR – это решение, предназначенное для тех смартфонов, которые по умолчанию ARCore не поддерживают. Поэтому не вижу смысла даже пытаться установить эти приложения на аппарат, у которого проблем с дополненной реальностью нет и так и который поддерживает сервисы Google Play. Ничего нового для себя вы всё равно не откроете. Более того, ни TangoCore, ни HelloAR на вашем устройстве могут вообще не запуститься, вступив в конфликт с уже установленным ARCore. Поэтому лучше не рискуйте.
Несмотря на то что разработчики данного метода активации ARCore обещают самую широкую совместимость с разными устройствами на базе Android, несколько требований они всё равно предъявляют. Во-первых, необходимо, чтобы смартфон имел как минимум 1 ГБ оперативной памяти и как минимум 1 ГБ свободного пространства на диске. Во-вторых, процессор, который обеспечивает работоспособность вашего аппарата, должен иметь 64-, а не 32-битную разрядность. Но, если ваше устройство соответствует этим критериям и не поддерживает ARCore, тогда вперёд.
Новости, статьи и анонсы публикаций
Свободное общение и обсуждение материалов
Складные телефоны сделать не так просто, как обычные. Типовые запчасти продаются на каждом углу, и, по сути, любой человек с определенными знаниями может их купить и собрать себе смартфон. Складные смартфоны намного сложнее и для их сборки нельзя просто купить детали. Скорее всего, даже если у вас есть деньги, вам просто не продадут их, как частнику и мелкому производителю. Поэтому для развития этого направления надо иметь технологии, которые пока есть в основном только у Samsung. То, что показывала Huawei, в силу определенных обстоятельств так и не стало массовым. Поэтому мы и имеем только одного лидера, который в этом году упрочил свои позиции благодаря новым Galaxy Z Flip 3 и Galaxy Z Fold 3 и их широкой доступности. Теперь у нас есть еще три компании, которые готовятся к запуску складных устройств. При этом две из них могут представить свои продукты до конца года.
Как работает технология ARCore от Google
Своё название технология ARCore получила на основании того, что разрабатывалась как ядро (Core), основа для приложений дополненной реальности (AR). Презентованная в середине 2017 года ARCore от Google стала одним из главных технических прорывов, тем более что вышла с разницей лишь в пару месяцев по сравнению с аналогичной технологией от Apple.
ARCore — что это и для чего используется
Будучи создателем, разработчиком и координатором мобильной операционной системы Android, компания Google создала эту технологию как основу для приложений дополненной реальности. ARCore на «Андроид», как и ARKit на iOS, ставит своей целью избавить разработчиков приложений от лишних хлопот, затрат времени и сил.
Хотя в 2017 году возможности этой технологии оставались исключительно демонстрационными, в первые месяцы дополненная реальность Google успела себя показать. Миллионы устройств оказались в состоянии полностью поддерживать предъявленные требования и запускать разработанные приложения, а пользователи смогли оценить созданный эффект.
Среди уже запущенных и разрабатываемых проектов — обучающие и развлекательные симуляторы, измерительные и справочные приложения, навигаторы, игры на основе урбанистического или фантастического реализма — от «виртуальных спиннеров» до полноценных RPG в мире дополненной реальности.
Как работает ARCore, где применяется
Основу работы инструментария составляют камеры и внешние датчики, поскольку дополненная реальность базируется на горизонтальных поверхностях и других оцифрованных объектах реального мира. Использующий ARCore Unity, как и другие движки, прежде всего задействует следующие возможности:
Хотя изначально возможности 3D ARCore были основаны на платформе Tango, также разработанной Google, новинка обладает главным отличием от Tango: работает она на любых устройствах с Android, а не только на смартфонах и планшетах, специально выпущенных под определённую технологию.
Чтобы воодушевить разработчиков, ещё в 2017 году компания Google презентовала не только примеры приложений, но и специальные версии браузеров для разработчиков. Популяризация платформы позволила привлечь к ней достаточно внимания, чтобы много фирм и отдельных пользователей пробовали свои силы в создании коммерческих программ, обучающих приложений, игр на основе ARCore.
Как создать приложение дополненной реальности с помощью ARCore
В этом гайде вы узнаете, как добавить 3D-модели в реальный мир. Библиотека ARCore от Google позволяет добавлять на 2D-изображение (картинка или видео) полноценные 3D-модели.
Вам необходимо предоставить системе некое опорное изображение, которое ARCore будет искать в реальном мире, чтобы на его основе добавить на изображение 3D-модель. Дополненная реальность уже широко используются, например, в книгах, газетах, журналах и т.д.
Прежде чем погрузиться в этот туториал, вам стоит ознакомиться с предыдущими двумя статьями на эту тему, которые познакомят вас с основными AR-терминами:
Что такое изображения дополненной реальности?
Согласно документации для разработчиков, изображения дополненной реальности в ARCore позволяют создавать приложения дополненной реальности, которые могут «оживлять» 2D-изображения, например, плакаты или упаковки продуктов.
Вы загружаете в ARCore какие-то опорные изображения, а он вам затем сообщает об их обнаружении во время AR-сессии, например во время съёмки видео. И эта информация используется для расположения 3D-модели на 2D-изображении.
Ограничения использования изображений дополненной реальности
Вот некоторые ограничения, с которыми вы можете столкнуться при использовании изображений дополненной реальности:
Выбор подходящего опорного изображения
Вот несколько советов для выбора хорошего опорного изображения для ARCore:
Как использовать инструмент arcoreimg:
Замените dog.png на полный путь к вашему изображению.
Начало работы с приложением дополненной реальности
Теперь, когда вы ознакомились с ARCore и выбрали хорошее изображение с оценкой 75+, пришло время приступить к написанию кода приложения.
Создание фрагмента
Прежде всего, мы отключаем обнаружение плоскости. Делая это, мы убираем с экрана значок руки, который появляется сразу после инициализации фрагмента и говорит пользователю о необходимости перемещения своего смартфона для поиска плоскости. Нам это больше не нужно, поскольку мы обнаруживаем не случайные плоскости, а конкретное изображение.
Настройка базы данных изображений
Добавьте выбранное опорное изображение (которое вы хотите обнаружить в физическом мире) в папку assets (создайте её, если её ещё нет). Теперь мы можем добавлять изображения в нашу базу данных.
Мы создадим эту базу данных, как только будет создан фрагмент. В логи мы выведем результат этой операции:
Вот как будет выглядеть CustomArFragment :
Добавление изображения в базу данных
Сейчас мы настроим нашу базу данных изображений, обнаружим опорное изображение в реальном мире и добавим 3D-модель на изображение.
Давайте начнём с настройки нашей базы данных. Создайте публичный метод setupAugmentedImagesDb в классе MainActivity :
Обнаружение опорных изображений в реальном мире
Теперь мы начнем обнаруживать наши опорные изображения в реальном мире. Для этого мы создадим слушателя, который будет вызываться каждый раз при обновлении видеокадра, и этот кадр будет проанализирован на предмет наличия там опорного изображения.
Добавьте эту строку в метод onCreate() в MainActivity :
Теперь добавьте метод onUpdateFrame в MainActivity :
В первой строке мы получаем сам кадр. Кадр можно представить, как обычный скриншот из видео. Если вы знакомы с тем, как работает видео, вы знаете, что это просто набор изображений, которые очень быстро сменяют друг друга, создавая впечатление чего-то движущегося. Мы просто берём одну из этих картинок.
Если совпадение найдено, то мы просто берём и размещаем 3D-модель поверх обнаруженного изображения.
Примечание. Флаг shouldAddModel используется для того, чтобы мы добавляли 3D-модель только один раз.
Размещение 3D-модели над опорным изображением
Теперь, когда мы нашли наше опорное изображение в реальном мире, мы можем добавлять 3D-модель поверх него. Добавим методы placeObject и addNodeToScene :
Вот так теперь выглядит MainActivity :
Теперь запустите ваше приложение. Вы должны увидеть экран, как показано ниже. Подвигайте телефон немного над опорным объектом. И как только ARCore обнаружит опорное изображение в реальном мире, добавит на него вашу 3D-модель.