Пять прорывов в области дополненной и виртуальной реальности, которые мы ждем

Стать частью VR – просто!

VR можно использовать не только с очками VR. Его также можно использовать в браузере, на ПК или со смартфоном. Каждый из этих способов использования виртуальной реальности имеет свои преимущества.

VR-гарнитуры, конечно, являются самым интенсивным способом передачи эмоций и настроений особым образом. Здесь вы можете полностью погрузиться в новый мир и на короткое время забыть о реальности.

Однако распространение VR с использованием смартфонов и браузеров также имеет свои преимущества. Поскольку пользователи не нуждаются в специальных устройствах для использования виртуальной реальности, барьеры входа намного ниже. Вот почему этот вариант особенно популярен, если вы не уверены, есть ли у пользователей соответствующее оборудование. Особенно это актуально для новичков, такие приложения могут быть отличным способом для них начать работу с виртуальной реальностью.

Сторителлинг в VR или как заинтересовать студентов политикой

День клонится к вечеру, школьники потихоньку устают, но вынуждены заниматься темой европейской политики, ведь того требует урок. Если вы оглянетесь на свои школьные годы, вы вспомните, что любая тема могла бы быть интересной, если бы у вас был блестящий учитель. Однако если вам не повезло, вам приходилось часами мучиться, изучая тему, которая вызывала у вас желание заснуть.

В Нижней Саксонии ученики вполне не против провести еще пару часов в классе, поскольку у них есть возможность отправиться в увлекательное путешествие в тур по истории разработки законодательства об экологичном избавлении от пластиковых отходов благодаря «EU beam me up». Приложение VR доставит их прямо в Европейский парламент в Брюсселе, что означает, что они могут внимательно следить за тем, как развивается законодательство. Их сопровождают сверстники, они беседуют с членами Европейского парламента и узнают, как работает ЕС.

Ученики вдохновляются и запоминают не только абстрактные модели, но и картины людей, вовлеченных в процесс, места, где принимаются решения, и опыт в целом.

Встроенное отслеживание движений глаз и выражений лица

Такие компании, как Pupil Labs и Tobii предоставляют дополнения к оборудованию и программное обеспечения для отслеживания движений глаз к гарнитурам VR/AR. Эта технология позволяет осуществлять рендеринг только в области поля зрения, обеспечивая высокое разрешение отдельной сцены только в видимой области и сохраняя низкое разрешение в области периферии. Это позволяет сохранить вычислительную мощность.

Как показал HoloLens 2, отслеживание глаз также можно использовать для идентификации пользователей и настройки ширины объектива для обеспечения удобного, индивидуального восприятия для каждого человека.

По словам Роуздейла, «фундаментальная возможность для VR и AR заключается в том, чтобы улучшить человеческое общение». Он отмечает, что современные гарнитуры VR/AR упускают множество тонких, но важных аспектов коммуникации. Движения глаз и микровыражения дают ценную информацию об эмоциях и желаниях пользователя.

В сочетании с программным обеспечением для обнаружения эмоций, таким как Affectiva, устройства VR/AR могли бы вскоре начать передавать гораздо более богато текстурированные и выразительные взаимодействия между двумя людьми, преодолевая физические границы и даже языковые барьеры.

Когда эти многообещающие тенденции начнут трансформировать рынок, VR/AR несомненно произведут революцию в нашей жизни. Возможно, до такой степени, что наши виртуальные миры станут такими же важными и обогащающими, как и наш физический мир.

VR/AR — это благо для образования следующего поколения. Они расширят возможности обучения, включив социальные, эмоциональные и творческие компоненты, позволят рассказывать истории и моделировать на лету. Путешествие в другие время, манипулирование внутренностями клетки или даже проектирование нового города станут ежедневными явлениями завтрашних классных комнат.

Покупатели смогут выбирать квартиры после виртуальных туров по ним. Корпоративные офисы превратятся в пространства, существующие только в «зеркальных мирах». В сфере здравоохранения вырастет точность удаленной диагностики, а хирурги получат доступ к цифровым средам во время проведения жизненно важных процедур.

Уже через десять лет VR и AR — виртуальная и дополненная реальности — откроют безграничные применения для новых и конвергирующих отраслей. А поскольку виртуальные миры сливаются с ИИ, 3D-печатью, компьютерными достижениями и прочим, наш опыт общения с этим всем вырастет в глубине и масштабе. Готовьтесь!

Какая часть будущего воодушевляет вас больше всего? Расскажите в нашем чате в Телеграме.

Широкоугольные дисплеи дополненной реальности

Microsoft HoloLens 2 — лидирующая гарнитура в сфере дополненной реальности, как по комфорту, так и по качеству дисплея. Самой большой проблемой предыдущей версии было ограниченное прямоугольное поле зрения (FOV).

Однако, благодаря применению лазерных технологий для создания дисплея на микроэлектромеханических системах (MEMS) — почитайте подробнее, это очень интересно — HoloLens 2 может позиционировать волноводы перед глазами пользователя, направляя их зеркалами. Последующее увеличение изображений может быть достигнуто путем смещения углов этих зеркал. В сочетании с разрешением 47 пикселей на градус, HoloLens 2 удваивает FOV по сравнению с предыдущей версией. Microsoft ожидает выпустить свою гарнитуру до конца этого года с ценником 3500 долларов, сперва ориентируясь на бизнес, и уж потом — на потребителей.

VR можно использовать не только для игр

Magic Leap обеспечивает похожее FOV, но с более низким разрешением, чем HoloLens 2. Meta 2 может похвастать еще более широким 90-градусным FOV, но требует подключения по кабелю. Гонка за достижение естественного 120-градусного горизонтального FOV продолжается.

«Технология расширения поля зрения сделает эти устройства более удобными в использовании и предоставит вам больше, чем просто небольшую коробочку, сквозь которую можно смотреть», объясняет Роуздейл.

Стресс в помощь

Обучение людей проводится в три этапа, описанных в эксперименте: зачитывание последовательности фраз, их частичное и, наконец, полное восстановление по памяти. Конечно, сначала ученые создают методологию, включающую правильную последовательность действий в той или иной ситуации, затем моделируют обстановку для ее проработки в виртуальной реальности.

— Когда мы находимся в незнакомом окружении, срабатывает так называемый ориентировочный рефлекс, — пояснил руководитель отдела исследований Cerevrum Олег Радченко. — Психика мотивирует мозг ориентироваться в новых обстоятельствах, и благодаря этому человек гораздо лучше запоминает всё происходящее. А виртуальная реальность как раз обеспечивает максимальное погружение в совершенно другой мир, при этом хорошо прорисованный. Кроме того, человека не отвлекает от обучения происходящее в реальном мире.

Обучение идет в незнакомой виртуальной комнате, интерьер которой схож с обычным офисным. В виртуальной реальности человека ждет один или несколько персонажей, с которыми будет строиться диалог. Персонажи могут говорить и двигаться, у них есть мимика и жестикуляция. Человек получает для чтения некую теорию, описывающую ситуацию и постановку задачи. После чего на виртуальном листке он видит фразу, которую ему рекомендуется произнести. Система распознает эту фразу и запускает реакцию персонажа, который может как согласиться с собеседником, так и начать вести себя агрессивно или обидеться. Так обучаемый двигается по сценарию, пользуясь подсказками системы.

vr

Фото: Depositphotos

Впрочем, есть и нелинейные схемы. У пользователя может быть несколько вариантов действий, каждый из которых приведет к той или иной ветке сценария — то есть будут провоцироваться разные реакции персонажа.

— Применение виртуальной реальности для обучения, несомненно, положительная тенденция, — отметил директор по развитию лаборатории Digital Media Lab Казанского федерального университета Виталий Абрамов. — Это позволяет совмещать бизнес и науку — изучение особенностей поведения людей в виртуальном мире. Ранее неигровое применение виртуальной реальности ограничивалось прикладной областью — например, обучение работе с оборудованием. Использование этой технологии для получения коммуникативных навыков — более сложная задача, но решать ее очень интересно.

По мнению профессора кафедры корпоративного управления Высшей школы корпоративного управления РАНХиГС Елены Яхонтовой, использование виртуальной реальности в обучении людей определенным навыкам — технология, которая имеет неоспоримые преимущества перед традиционными. Благодаря ей человек максимально погружается в ситуацию, практически все функции его сознания сосредоточены на выполнении поставленной задачи. Единственный недостаток применения такой технологии — ее высокая цена.

— Далеко не всем организациям будет доступно заказать профессионалам разработку конкретных ситуаций, максимально приближенных к реальным. А типовые кейсы тоже не дешевы и менее эффективны, — добавила эксперт. — Таким образом, полагаю, заказчиками будут становиться в основном крупные компании.

Разработчики стоимость своего продукта не раскрывают. Но утверждают, что сборка симуляций происходит бесплатно. Пользователь платит только за количество распознаваемых фраз в момент внедрения это в программы.

В планах ученых — проведение дополнительных испытаний реакций людей на различные условия происходящего внутри виртуального мира.

Существующие проблемы

1. Сейчас для погружения в виртуальную реальность стимулируется всего лишь 2 чувства из 5 — это зрение и слух.
2. Еще бОльшая проблема, чем предыдущая — это наличие проводов в PC и консольных шлемах. Через шлем виртуальной реальности проходит большой объем данных, а для этого нужны провода. Для того, чтобы почувствовать себя полностью свободным в виртуальной реальности, нужно их убрать.
3. Проблема взаимодействия с виртуальным миром. Как правило, для того, чтобы полноценно с ним взаимодействовать, нужны контроллеры. Сейчас в роли контроллеров у разных производителей выступают обычные контроллеры Vive, Oculus Touch и др. Но для того, чтобы полноценно взаимодействовать с объектами, иметь возможность дотронуться до них, повернуть, взять, почувствовать его текстуру, вес, нужны перчатки виртуальной реальности. Что в них должно входить: как минимум это система захвата движения для того, чтобы можно было отслеживать положение руки в пространстве, то, как двигаются пальцы, сжимаются ли они, как рука поворачивается относительно всего тела. Должна отслеживаться мелкая моторика. При прикосновении к виртуальному объекту должна быть обратная связь. К примеру, текстуру можно сделать с помощью электростимуляции. Если это какой-то большой объект, к примеру, человек натыкается на стену руками, то, естественно это можно сымитировать вибротактильным фидбеком.
4. Из-за того, что на данном моменте на рынке присутствуют решения, которые в основном используют вибрацию либо силовой фидбек, это уменьшает качество взаимодействия в виртуальной среде, потому что они не позволяют максимально точно передать все ощущения.
5. Еще один момент: в виртуальной реальности при полном погружении нужно имитировать ходьбу. Как это можно сделать? Первый способ — это телепортация. К примеру, это реализовано в HTC Vive, там с помощью контроллера можно телепортироваться в разные места в виртуальной среде. Второй — это непосредственно физическая ходьба по помещению. Но для того, чтобы полностью погрузиться, в зависимости от объема виртуального мира, в который вы погружаетесь, нужно маленькое либо большое помещение. Но для полноценного перемещения в максимально больших открытых мирах невозможно использовать только небольшое помещение. Поскольку нужно ходить во все стороны, это не очень удобно. Третий более-менее решающий эту проблему гаджет, это Tread Meal (сейчас есть несколько предложений на рынке), который позволяет прямо в нем двигаться, он поддерживает тело человека и не дает человеку уставать.

Июнь 2020

11 июня. Sony провела презентацию PlayStation 5, на которой ни слова про PS VR 2. Зато новая «Сонька» будет совместима со старой PS VR, ну и теперь там есть HD-камера, которая как-то может улучшить отслеживание шлема. Но это не точно.

16 июня. Онлайн-ресурс Upload VR провел большую презентацию грядущих VR игр. Версию с русским переводом можно посмотреть на канале у ТиТ, или в ролике далее — там полтора часа:

23 июня. Oculus прощается с Oculus Go и объявляет о новом пути распространения приложений для Oculus Quest (что бы это ни значило). Последние приложения для Oculus Go будут опубликованы в декабре этого года, далее ничего нового на платформе не появится. Но, уже выпущенные приложения будут работать. Очевидно, что в ближайшее время шлем Oculus Go пропадет из магазина Oculus и компания полностью сосредоточится на развитии «Квеста».

25 июня. На Steam стартовала ежегодная летняя распродажа, самое время пополнить свою коллекцию лучшими VR играми! Ну и не забываем посмотреть мои подборки VR игр для ПК.

Collective experience

However, one space in which virtual reality is thriving is group entertainment.

By its nature VR offers a gateway to a shared world, and in a group setting everyone gets change from £20 rather than shelling out hundreds for a headset.

East London VR arcade Otherworld launched last year. It already sees 1,000 visitors a week through its doors, 60% of whom are female and half aged 25-34.

• A chatbot pulled me out of a ‘really dark place’
• Tech trends 2020: New spacecraft and bendy screens
• Are charity apps making us more generous?
• The secrets of ‘food porn’ viral videos
• Bug busters: The tech behind new vaccines

«Millennials are spending their income more and more on shared experience over consumption,» says co-founder Chris Adams.

«Otherworld’s immersion rooms provide the space and technology for a hyper-real, undisturbed journey into virtual reality which cannot be achieved at home.»

Simon Windsor, who runs immersive media firm Hammerhead VR, has also largely kept away from the personal entertainment market.

«A few years ago there was an awful lot of hype around VR and some of that has not been fulfilled in terms of consumer adoption of the technology,» Simon admits. «But the way you can interact with this world now is much more natural and intuitive.»

Image caption

Madonna and her holographic double at the 2019 Billboard Music Awards

Hammerhead uses VR to create a spectacle for big audiences in the worlds of entertainment, sport and business, alongside company training.

Simon helped create Madonna’s hologram performance at the 2019 Billboard Music Awards and captured Anthony Joshua’s boxing moves for Sky viewers, alongside providing training for companies like Pearson.

«Whether it’s home game play, retail, virtual entertainment, a lot of the technology barriers have been removed,» he says.

Image caption

Otherworld customers enter pods for a VR experience

Переход от ПК к отдельным мобильным устройствам виртуальной реальности (VR)

Исторически сложилось так, что устройства виртуальной реальности полагались на соединения с ПК, обычно с использованием проводов и неуклюжего оборудования, ограничивающего поле движения пользователя. Однако, поскольку VR вступает в стадию дематериализации, мы скором станем свидетелями быстрого роста автономной и высоко подвижной экономики опыта виртуальной реальности.

Oculus Go, ведущее автономное мобильное устройство VR на рынке, нуждается только в мобильном приложении для настройки и может быть перенесено в любое месте с Wi-Fi. Гарнитура недорогая: устройство на 32 Гб обойдется в 200 долларов и использует совместную экосистему приложений с Samsung Gear VR. Хотя Google Daydream также представляет отдельное устройство VR, оно требует мобильного телефона в доке, в отличие от встроенного экрана Oculus Go.

В области дополненной реальности отдельное устройство Microsoft и Lenovo – HoloLens 2 — стало лидером в предоставлении опыта «без привязи».

Освобождение гарнитур от ограничений тяжелого оборудования сделает VR/AR интерактивной и транспортируемой средой, которую всегда и везде можно подключить. Через несколько лет, возможно, все мы будем носить легкие VR-очки, дабы уходить в виртуальную реальность, когда выпадает такая возможность.

Примеры систем, которые идут к тому, чтобы полностью погрузить человека в VR.

CAVEThe VOIDAlloSphereTeslasuit

• Система передачи ощущений, то есть, система обратной тактильной связи Haptic Feedback System. Она позволяет маскимально точно передавать ощущения VR. Можно почувствовать, как к тебе кто-то прикасается, даже если он находится за 1000 км от тебя.
• Система захвата движений. Позволяет пользователю отслеживать его положение в пространстве и перемещения по нему. На данный момент это инерционный трекинг, но сейчас разрабатывается гибридный мокап, в котором будет использоваться и оптический трекинг.
• Климат контроль. Позволяет чувствовать холод, тепло, снижение или увеличение температуры.
• Костюм полностью беспроводной.
• Для того, чтобы позволить сторонним разработчикам использовать костюм, был разработан собственный SDK.
• Перчатка с хаптиком.
• 5G и облако для процессинга (в планах). Сегодня все девайсы требуют мощного железа для того, чтобы полноценно запускать контент и не было никаких лагов. Костюм позволит весь процессинг перевести в облако. Это избавит пользователей от железа, уберет всю лишнюю периферию. Поскольку периферия очень сильно снижает мобильность в VR, облако должно быть довольно мощным, распределенным и еще много всяких нюансов. Поэтому его создание займет не менее 3-5 лет.

Как виртуальная реальность меняет мир

Как именно VR меняет наш мир? С VR у нас появилась технология, которая используется в наших отелях и бизнесе. Она полностью меняет то, как мы воспринимаем и обрабатываем контент.

Мы внезапно оказываемся в центре действия и уже не просто зрители, а реальная часть истории. Это означает, что наши эмоции, в частности, играют гораздо большую роль, нежели мы привыкли думать. Когда VR удается обратиться к эмоциям пользователя благодаря высоким уровням погружения, формируется эмоциональная связь, которая не только делает опыт более интенсивным, но и позволяет дольше оставаться у него в памяти.

Мы покажем вам примеры того, как долгожданные VR-приложения завтрашнего дня уже используются сегодня.

Май 2020

10 мая. Уже пару недель ходят слухи про разработку Oculus Quest 2. У него будет более высокая герцовка экрана, лучшее железо, и новые контроллеры. Так же, у шлема уменьшен вес и переработано крепление на голову. Но, пока толком ничего не известно. Подробнее можно посмотреть, например, тут.

15 мая. Вроде бы мелкая новость, но думаю, со временем она даст нам интересные последствия. Valve, как и обещали, открыли мастерскую для ХалфЛайф: Аликс.

То есть, теперь любой желающий может как модифицировать уже имеющиеся уровни игры, так и создавать новые: карты, режимы и так далее. Инструменты для разработчиков можно найти здесь, а примеры работ — тут. Там уже есть рубка комбайнов световыми джедайскими мечами, режим орды или уровень из второго пОртала.

Безусловно, со временем дичи станет больше, но кто знает, что придумает сообщество. Я думаю, нас ждем множество действительно интересных модификаций.

28 мая. HP представили Reverb G2 — вторую версию своего WMR шлема. Промо-видос:

Если кратко:

• Разрешение экранов: 2160*2160 LCD на глаз, частота 90 Гц;
• Наушники как у ;
• Физическая регулировка межзрачкового расстояния;
• Четыре камеры для отслеживания шлема в пространстве;
• Платформа — всё так же, .
• Ценник при заказе: 600 баксов.

Первые поставки намечены на осень 2020-го. Подробный обзор на английском почитать можно здесь.

Обучение на работе оказывается может быть веселым

Людям легче учиться, когда они переживают ситуации, а не просто слушают рассказ или читают о них. Это касается и детей, и подростков, и взрослых.

До сих пор некоторые компании не использовали такой метод обучения, потому что моделирование является дорогим удовольствием. Да и не на каждом предприятии имеется оборудование для работы с виртуальной реальностью. Мало того, что все эти аргументы недействительны при использовании VR. Да что говорить, обучение сотрудников в VR – это чистое удовольствие для самого сотрудника! С помощью VR сотрудники не только учатся более эффективно, но и получают гораздо больше удовольствия от процесса!

Немецкий поставщик энергии EWE Netz показывает, как может выглядеть такой проект. Благодаря VR-очкам сотрудники обучаются на подстанции, в которую иначе было бы опасно входить из-за высоких рисков. После того, как различные сотрудники завершили обучение, все они согласились, что VR не только повышает качество обучения, но и добавляет столь необходимый «фактор удовольствия» к опыту обучения.

Особенность здесь в том, что приложение, которое используется для обучения в компании, было разработано самими сотрудниками. После некоторой тщательной подготовки они просто взяли 360-градусную камеру и микрофон и сделали снимки сами. Это не только научило их тому, что такое VR-приложение, но и гарантировало, что в будущем можно будет создавать еще больше приложений и обучать этому больше сотрудников.

Можно легко предположить, что сотрудники хотят продолжить обучение в увлекательной манере в будущем. Это также выгодно работодателям, так как повышается качество их обучения, они проявляют себя как инноваторы и могут вдохновлять своих сотрудников экономически эффективным способом.

Beyond entertainment

Because of its immersive nature, virtual reality is also increasingly used to encourage empathy or create unique experiences.

That could be anything from headsets for children to teach them about bullying, or enabling a care home resident to swim virtually with dolphins or explore their childhood home.

Media playback is unsupported on your device

Media captionVirtual reality is being used to help people with dementia revisit their past.

It has proved particularly useful in medicine, helping surgeons experience different types of operations or distracting burns patients from pain.

Some post-traumatic stress disorder sufferers saw an almost 40% improvement in their symptoms in a trial that involved walking on a treadmill in front of a screen projecting images of the type of trauma experienced.

Mainstream use of virtual reality in our homes and workplaces was probably one of the most popular technology predictions of the past half century.

Unlike flying cars or teleportation, virtual reality headsets have been in development since the late 1960s.

There was a wave of expectation around VR in 2016, seen by many tech watchers as the year virtual reality would go mainstream.

Despite these bursts of optimism, it has never quite broken through. Today, few own their own headsets or use virtual reality in their day-to-day work.

Image caption

Otherworld virtual reality summer background

Consultancy CCS Insights estimates 10 million headsets will be in circulation worldwide by the end of 2019, 21% growth on the previous year.

But it acknowledges this «might seem disappointing considering the huge hype» around VR, with still just a handful of successful devices available.

A major issue is that the price of headsets has remained very expensive.

«I think VR remains a very niche technology,» says James Gautrey, a portfolio manager at Schroders who specialises in analysing technology stocks.

«Mass adoption remains impeded by the hardware required to run it, in my opinion. Take videogames — you need a very powerful PC, a good amount of space, sensors set up around it, and of course the VR helmet itself.

«The cost runs to thousands and for most it is completely impractical not to mention too expensive.

Картирование реального мира для создания «зеркальных миров»

«Зеркальные миры» — это альтернативные измерения нашей реальности, которые могут охватывать физическое пространство. Когда вы сидите в офисе, пол под вами может превратиться в спокойное озеро, а каждый стол — в парусную лодку. В классе зеркальные миры могут превратить карандаши в волшебные палочки, а столы в сенсорные экраны.

Pokémon Go предоставляет вводный взгляд на концепцию зеркального мира и его огромный потенциал по объединению людей.

Чтобы создавать такие зеркальные миры, гарнитуры AR должны точно понимать архитектуру окружающего мира. Роуздейл предсказывает, что точность сканирующих устройств будет стремительно улучшаться в течение следующих пяти лет, делая возможными такие альтернативные измерения.

От дома престарелых до кругосветного путешествия

Люди, живущие в домах престарелых, часто нуждаются в поддержке в повседневной жизни и во многих случаях уже не могут самостоятельно передвигаться. Для многих дом престарелых и его окрестности – это последнее, что они видят перед смертью. Мысль об этом вызывает гнетущие чувства.

Замечательно, что виртуальная реальность возвращает людям часть их свободы. Люди, привязанные к кровати или даже к инвалидному креслу, могут внезапно снова открыть для себя что-то новое. Будь то место, где они встретили свою любовь в юности, концерт или цирковое представление, или место мечты, куда они никогда не смогли бы добраться – возможности безграничны!

Через VR родители и бабушки и дедушки могут испытать приключения, которые они так болезненно пропускают. Разве не было бы замечательно для них иметь возможность показать своим детям или внукам места, о которых они говорят? Виртуальная реальность открывает дверку, которая позволяет погрузиться в эти чарующие впечатления. И это далеко не предел возможностей данной технологии.