Что такое дополненная реальность

Что такое датчик LiDAR

Вкратце, LiDAR — это аббревиатура от «Light Detection And Ranging», то есть сенсорная система, которая позволяет идентифицировать объекты перед ней. Таким образом можно измерить расстояние, на котором находятся разные объекты. Вот почему этот датчик присутствует не только в мобильных устройствах, но и в умных автомобилях. Таким образом, например, для автоматических программ вождения можно определить наличие различных объектов в диапазоне. Эта же технология также реализована в мобильных устройствах для различных улучшений, особенно в дополненной реальности, но также для поддержки фотографического качества.

Датчик LiDAR использует импульсный световой луч, который можно назвать простым лазером с малой мощностью. Основная функция — иметь возможность измерять расстояние между iPhone и рассматриваемым объектом, имея возможность измерять время, которое проходит между испусканием светового луча и обнаружением отраженного на нем сигнала. Таким образом, датчик через программное обеспечение самого iPhone может создать трехмерную модель.

Этот датчик не работает только тогда, когда нужно сделать снимок в данный момент. Он работает стабильно, чтобы иметь возможность измерять большое облако точек на разных расстояниях. Вся эта информация жизненно важна для того, чтобы рассматриваемый объект можно было обновлять по мере его движения, создавая истинное 3D-видео. Для всего этого действительно важен не датчик как таковой, излучающий световой луч, а система обработки, которая была разработана в программном обеспечении и поддерживается собственным процессором устройства.

Следует иметь в виду, что эти излучаемые лазеры не видны человеческому глазу, хотя плоскость всего, что вас окружает, может быть быстро сгенерирована. Кроме того, очень низкая энергия делает его полностью безопасным по сравнению с другими лазерами, которые можно использовать. В основном это связано с тем, что длина волны составляет примерно 1500 нанометров, приближаясь к инфракрасному.

Видя ИИ

Разработанный Microsoft, бесплатный Видя ИИ приложение предназначено для помощи слепым и слабовидящим людям в навигации по окружающей среде. Однако новые функции на основе LiDAR делают приложение увлекательным для всех.

Благодаря мощи искусственного интеллекта приложение может описывать людей, сцены и объекты, которые появляются в видоискателе. Он также может просматривать текст на лету и читать его вслух, определять продукты по штрих-коду и определять цвета и валюту.

Благодаря поддержке LiDAR, Seeing AI может помочь вам почувствовать расстояние до объектов на основе тактильного датчика приближения вашего устройства. А если вы в наушниках, приложение может описывать близлежащие объекты. Чтобы использовать Seeing AI, просто выберите нужный вариант, наведите iPhone или iPad на нужный объект, а приложение сделает все остальное.

Насколько нужен лидар в телефоне

Изначально технология, используемая в лидарах, использовалась исключительно в картографических целях. Интересный факт: Аполлон-15 использовал лазерный лидар для сканирования лунной поверхности. Функции картографии постепенно появились в телефонах Android, где датчики ToF использовались в течение некоторого времени.

Также их можно использовать для фейсконтроля, заменяя существующие довольно сложные схемы Face ID, состоящие из нескольких компонентов — лидар способен добиться гораздо более точной модели поверхности лица, и эта функциональность уже реализована в Galaxy S10 5G.

Другими словами, лидары — очень перспективное направление, имеющее множество областей применения. В автомобилестроении и робототехнике лидары уже способны на многое, а что касается смартфонов, то эра лидаров здесь находится в зачаточном состоянии. Даже эксперты затрудняются предсказать, насколько популярной станет эта технология в среднесрочной перспективе.

Некоторые из них даже заявляют, что появление Лидара в iPad / iPhone — это всего лишь маркетинговая уловка, не имеющая практического значения, кроме измерения расстояний до объектов.

Фактически, появляется все больше и больше приложений, которые используют эту технологию для самых разных целей, от очень экзотических до действительно необходимых. Так что в перспективности лидаров сомневаться не приходится. И да, это очень хороший маркетинговый ход, который с внедрением технологий заставит владельцев устаревших устройств Apple покупать более продвинутые гаджеты.

Что такое дополненная реальность (AR)?

Аббревиатура AR расшифровывается как Augmented Reality, что в переводе означает «Дополненная реальность». Суть технологии заключается в «дополнении» реального мира виртуальными объектами с помощью специальных устройств (AR-очков, шлемов). Вы могли сотни раз видеть такие в кино и сериалах типа «Черного зеркала».

Впервые это изобретение применили в 1968 году ученые из Гарвардского университета. После этого на протяжении десятков лет военные и сотрудники авиации (в том числе гражданской) использовали AR для тренировок существующих навыков.

К 2020 году AR-технологии стали дешевле и доступнее для потребителей. Они постепенно перебираются в потребительскую электронику. Технологии в духе ARKit от Apple позволяют встраивать виртуальные элементы в изображение с камеры смартфона или планшета.

Появляются новые возможности для разработчиков программного обеспечения. Игры, навигационные сервисы и образовательные ПО выходят на новый уровень восприятия. Не стоят на месте и маркетологи, вкрапляющие элементы AR в свои рекламные кампании. Постепенно происходит подготовка к переходу на новые устройства наподобие HoloLens или Google Glass, но с более продвинутым программным и аппаратным обеспечением.

Все идет к постепенному внедрению виртуальных объектов в жизнь людей.

Отличия AR от VR

VR расшифровывается как Virtual Reality, что в переводе означает «Виртуальная реальность». Некоторые пользователи путают AR и VR или думают, что они подразумевают одну и ту же технологию, но это не так. AR дополняет вашу реальность, а VR полностью заменяет.

Отличным примером VR является гейминг – все чаще выходят игры, разработанные для очков виртуальной реальности и вспомогательных систем, таких как HTC Vive, Oculus Rift или Valve Index. А также медицина, где VR активно используется как для обучения, так и для терапии психологических расстройств.

Это узкое направление развития бизнеса, хоть и перспективное (причем в тех же сферах, где используется потенциал AR). Пока что оно растет исключительно за счет видеоигр и лечения некоторых специфичных фобий.

Что такое MR и XR?

Есть еще два похожих термина. Первый – Mixed Reality (MR). Это смешанная реальность, которая совмещает в себе обе описанные выше технологии. Это может быть один гаджет, который попеременно работает как AR- или VR-шлем, или же устройство и ПО, которые совместно формируют такое пространство, в котором есть как элементы дополненной реальности, так и элементы виртуальной.

Вариаций реализации MR много, так как эта технология не подразумевает какого-то четкого использования. Из существующих технологий MR можно выделить эксперимент Microsoft под название HoloLens и «софт» для него.

Второй термин – Extended Reality (XR). Это общее название для всего вышеперечисленного, оно включает в себя AR, VR и MR.

Комьюнити теперь в Телеграм

Подпишитесь и будьте в курсе последних IT-новостей

Подписаться

Что не так с iPhone 12

В документах FCC не раскрываются причины, побудившие Apple отправить всю линейку iPhone 12 на покой. Сама компания тоже не комментирует это.

Между тем, в той же таблице, где слово legacy стоит напротив всех iPhone 12, упоминаются еще четыре аппарата компании с пометкой «Новый телефон» (New phone). Названия моделей в таблице нет. Специалисты ZDnet полагают, что в итоге новинки Apple будут называться iPhone 13, 13 mini, 13 Pro и 13 Pro Max.

Не исключено, что отказ от всей серии iPhone 12 может быть связан с минимальными отличиями новых аппаратов от своих предшественников. Ни один из информаторов, включая никогда не ошибающегося Минг-Чи Куо (Ming-Chi Kuo) не утверждал, что в новых iPhone 13 будет что-либо революционное. Подробнее об этом читайте в материале CNews.

Пока iPhone 13 не вышли, Apple продолжает называть iPhone 12 новыми смартфонами, хотя им уже почти год

Добавим, что iPhone 12 стали первыми за четыре года смартфонами Apple, получившими существенно обновленный дизайн. До этого подобным мог похвастаться только анонсированный в сентябре 2017 г. iPhone X. Как и iPhone 12, он исчез с полок Apple спустя всего лишь год с момента своего появления, уступив место слегка улучшенным по сравнению с ним iPhone Xs и Xs Max.

Дополненная реальность

Что еще можно делать с помощью лидара? Два года назад Apple представила новое приложение «Рулетка».

Итак, представим, что нам нужно что-то измерить — например, столешницу на кухне. У нас есть iPhone без лидара, iPhone с лидаром и совсем обычная рулетка. В ходе эксперимента телефон без лидара сперва не различил стену, но потом все же сумел измерить ширину и длину столешницы: 58 и 91 см соответственно.

Смартфон с лидаром ориентируется быстрее. Главное отличие — вибрацией он дает понять, где стена, а где — конец столешницы. Правда, линию ведет не очень ровно. Результат: 60 и 93 см.

Обычная рулетка показала 57 и 92 см соответственно. Получается, что iPhone 12 Pro Max ошибся на несколько сантиметров.

По задумке Apple, многие бытовые проблемы можно решить с помощью дополненной реальности. Компания всеми силами способствует тому, чтобы технология дорабатывалась и ей пользовались люди. Но все же пока единственное достойное применение технологии в быту — примерить какую-нибудь мебель в квартире. Например, у IKEA есть приложение, позволяющее выбрать мебель и посмотреть, как она будет выглядеть в том или ином месте вашей квартиры.

Лидар может совершить прорыв и в области сканирования: с помощью технологии можно отсканировать какую-либо вещь, а затем распечатать на 3D-принтере ее модель.

Подписывайтесь также на Telegram-канал РБК Тренды и будьте в курсе актуальных тенденций и прогнозов о будущем технологий, эко-номики, образования и инноваций.

Источник

Что такое LiDAR?

LiDAR (Light Detection and Ranging) – это датчик, который определяет расстояние между собой и объектом, отслеживая, сколько времени требуется импульсу света, чтобы отразиться и вернуться назад. Это похоже на радар, только вместо радиоволн используется инфракрасный свет.

В то время как радар предназначен для использования на больших расстояниях, LiDAR работает в меньшем масштабе из-за того, что на своем пути свет поглощается объектами. Посылая сотни тысяч световых импульсов каждую секунду, сканеры ЛиДАР могут определять расстояния и размеры объектов на небольших расстояниях с относительной точностью.

Эти данные затем можно использовать для построения 3D-моделей, что является одним из основных применений технологии в строительных и инженерных проектах. Многие наверняка слышали о 3D-лазерных сканерах, которые используются для составления планов зданий.

LiDAR имеет множество применений во различных отраслях. Археологи используют его для подготовки мест раскопок, а автономные транспортные средства полагаются на него для построения трехмерных карт своего окружения в реальном времени (система автопилотирования). ЛиДАР даже использовался для создания мегареалистичных и точных карт гоночных трасс в видеоиграх, например, Project CARS.

В быту технология также используются. Современные домашние роботы-пылесосы за счет наличия датчика ЛиДАР при движении измеряют дистанцию от себя до объектов вокруг, а затем строят карту помещения и прокладывает свой путь уже по ней, чтобы убрать помещение максимально эффективно.

LiDAR Scanner 3D — быстрый сканер пространства

Это приложение, которое заточено под работу с iPhone 12 Pro и iPad Pro, представляет собой максимально быстрый 3D-сканер. С помощью него можно практически моментально превратить стену своего дома в трехмерную модель и сохранить полученный результат в форматах USDZ, OBJ, STL, PLY.

Отсканированные модели не содержат цветов и предназначены для дальнейшего использования в приложениях для работы с трехмерной графикой на компьютере или мобильных устройствах. По идее, это должно ощутимо сократить потраченное время на создание объектов с нуля.

Без LiDAR это приложение, увы, не работает. Поэтому его есть смысл устанавливать только на iPhone 12 Pro и iPad Pro.

? Скачать LiDAR Scanner 3D (бесплатно + покупки)

Зачем нужен лидар

Вот так лидар видит комнату с мебелью

По своей сути лидары являются инструментом компьютерного зрения, который обладает довольно высокой эффективностью и дальностью действия. Самый наглядный пример их применения – это системы автопилотирования. Например, электрокары Tesla оснащены множеством лидаров, с помощью которых они следят за ситуацией на дороге, определяя участников дорожного движения и посторонние объекты.

ToF-сенсоры, которыми оснащаются современные Android-смартфоны, имеют ту же природу, что и лидар, но при этом устроены немного проще. Принцип их работы кроется в их названии – Time of Flight. Они тоже формируют световой луч, который отправляется в окружающую среду, а затем, отражаясь от физических объектов, возвращается обратно. Правда, их форма определяется не самим лучом, а временем, за которое луч прошёл до разных частей объекта и вернулся.

Как работает лидар

Кроме того, лидары «распыляют» свет непрерывно, отправляя в пространство множество последовательных импульсов, а ToF-сенсоры «выстреливают» им лишь единожды. Например, во время съёмки фото. На видео ниже хорошо виден принцип работы лидара в исполнении Apple – это обширное облако точек.

А, если вы посмотрите на работу ToF-сенсоров в ИК, то увидите, что никакого «распыления» не происходит. Это будет просто светящаяся точка, которая загорается во время спуска затвора камеры.

Как пользоваться лидаром в iPhone

Конечного пользователя теоретические выкладки, изложенные выше, интересуют мало – им подавай практическую пользу.

Что ж, давайте обсудим это. Для начала об эффекте использования лидара в фотографировании. На iPhone 12 Pro/Pro Max новая технология позволяет получить более качественную портретную съёмку: Lidar позволяет лучше фокусировать различные участки лица, например, волос или ушей. Пока что эта «фишка» работает только со статикой, но в ближайшей перспективе ожидается, что технология будет применима и к портретной видеосъёмке. Возможно, это произойдёт уже в ближайшем релизе новой версии iOS или придётся подождать выхода новой модели iPhone.

Использовать Lidar на iPhone 12 Pro можно и для максимально точного определения расстояний до объектов, находящихся в зоне действия датчика. То есть теперь не составит труда выяснить высоту стен вашей квартиры, длину и ширину всех комнат, и даже кривизну поверхностей, например, пола. И для этого вам не потребуются никакие рулетки и метры.

Более того, возможности Lidar, реализованные в iPhone 12, позволяют использовать их и при ведении строительных работ, успешно заменяя нивелиры и дальномеры.

Для «яблочного» телефона уже разработаны приложения, имеющие функцию создания моделей помещений с размещением в них трёхмерных объектов типа мебели.

Не стоит забывать и о том, что лидар умеет работать и в темноте. Вы можете проверить, насколько лучше получаются фотографии, сделанные при недостаточном освещении, включив лидар: фокусировка будет произведена в 4-6 раз лучше, а ведь сбитый фокус – основная проблема при фотографировании ночью.

Сканер LiDAR в быту

С помощью LiDAR можно проводить точные измерения расстояний между объектами или между двумя точками в приложение Рулетка.

Еще один сценарий использования — это сканирование помещений или объектов с помощью сторонних приложений. Например, можно создать трехмерный снимок комнаты и рассматривать его с любой точки.

Трехмерный снимок комнаты

Но сканер в iPhone или iPad недостаточно точен для идеального результата. И этот результат будет сильно отличаться от ожидаемого.

Трехмерный снимок машины

Стоит отметить и улучшение опыта использования дополненной реальности, о которой инженеры Apple рассказывают нам почти на каждой презентации. В AppStore даже есть целый раздел, посвященный играм и приложениям, которые работают с дополненной реальностью.

Например, можно предварительно просмотреть расстановку мебели или других объектов в вашей квартире.

Дополненная реальность в квартире: расстановка мебели

В Купертино уже давно пытаются освоить поле дополненной реальности, работают над соответствующим программным и аппаратным обеспечением с 2017 года. Уже несколько лет ходят слухи о разработке совершенно нового и революционного устройства Apple для работы с дополненной реальностью. Что-то наподобие Google Glass.

Apple Glass

Если все эти виртуальные штуки и прочие дополненные реальности вам не особо интересны в повседневной жизни и вы не снимаете много фотографии ночью, то вряд ли наличие сканера LiDAR в смартфоне встанет для вас решающим фактором при выборе следующей модели iPhone.

Это технология, которая просто незаметно делает свое нехитрое дело. При этом LiDAR может работать в условиях плохого освещения очень быстро и очень точно, что является одной из причин, по которым Apple делает на него ставку.

Но не ждите от него чего-то невероятного. Основная задача LiDAR в смартфонах — это улучшение фокусировки камеры. Скорее всего в ближайшем будущем наличием LiDAR смогут похвастаться и остальные модели семейства iPhone и iPad, а не только самые дорогие.

Apple Watch

Тут ожидается целый ворох новинок.

Apple Watch Series 8

Аналитик Росс Янг, который славится своими верными предсказаниями насчёт дисплеев, утверждает, что восьмое поколение выйдет сразу в трёх размерах. Помимо 41- и 45-мм будут ещё одни часы с дисплеем бóльшего размера.

Также Apple работает над внедрением датчика, способного измерять уровень сахара в крови. Часы будут делать это без проколов кожи. Ради таких технологий, которые могут быть интересны порядка 400 млн человек в мире, Apple уже заключила соответствующий контракт с Rockley Photonics. Этот стартап как раз и занимается созданием датчиков для неинвазивного измерения уровня сахара в крови.

Новости

Apple Watch получат неинвазивный глюкометр

Другие Apple Watch

Помимо восьмого поколения нас ожидает ещё две новинки — обновление SE, а также некие спортивные часы для «хардкорных спортсменов».

В чём будет суть обновления Apple Watch SE, пока неизвестно. Скорее всего, они получат дизайн в стиле Series 7 с увеличенным размером дисплея.

Apple Watch Series 3, SE и Series 7 соответственно. Фото: Илья Кичаев / Wylsacom Media

Интересна и версия для спортсменов. Такие часы получат прорезиненный корпус, который будет более долговечен, чем существующие сейчас варианты. Об этих часах впервые рассказал Марк Гурман из Bloomberg ещё в марте этого года. Он утверждал, что разработка часов может прекратиться в любой момент. Однако об их существовании Гурман напомнил в прошедшее воскресенье в своей колонке Power On, так что ждём:

Новости

Каков функционал LiDAR сейчас?

Есть ряд приложений для iPhone, которые позволяют поиграться с этой функцией, получить свою порцию удовольствия и некоего «вау». В их число входят:

• Complete Anatomy. Очень интересное приложение, которое позволяет в реальном времени изучить, как работают мышцы человека и вообще его организм в режиме дополненной реальности.
• RoomScan LiDAR. Приложение, скриншоты из которого гуляли очень долго по сети. Просто отличный редактор, для создания макета необходимого вам помещения.
• IKEA Place. Одно из самых интересных приложений, которое позволяет использовать дополненную реальность для примерки новых элементов интерьера.

И спектр для расширения просто феноменален, ведь представить можно уж слишком много. Однако, новость, что такая функция будет не на всех смартфонах новой линейки ошарашивает, и заставляет бояться того, что вы упустите что-то крутое, и что такой интересный функционал не получит должного развития.

Когерентное и некогерентное обнаружение сигналов

Во всех случаях радиотехническая система обнаруживает сигналы на фоне помех. Считается, что полезный сигнал имеет
частоту, равную резонансной частоте настройки системы ω_c= ω. Начальная фаза равна нулю:

uct=Ucmsinωt

Сумма сигнала и помехи:

uспt=uсt+uпt=Ucm+Uп1sinωt+Uп2cosωt

где U_п1 и U_п2 – амплитуды помех.

• Некогерентное детектирование (прямой метод измерения): Реагирование происходит на амплитуду суммарного колебания и
  помехи U_спm .Превышением сигнала над помехой называется следующее отношение:
  mнкг2=Ucm2Uп12+Uп22=Ucm22σ2
  где σ2 – дисперсия каждой из амплитуд помехи U_п1 и U_п2
• Когерентное детектирование: Полностью исключает ортогональную к сигналу составляющую помех. Оно предусматривает
  реагирование лишь на колебание, равное сумме амплитуды сигнала Ucm и синфазной составляющей помехи U п1.
  Превышением сигнала над помехой при когерентном обнаружении называется отношение

  mнкг2=Ucm2U_п12

  , где

  U_п12

  – дисперсия амплитуды синфазной составляющей. Когерентные системы лучше всего подходят для доплеровских
  или фазочувствительных измерений и, как правило, используют оптическое гетеродинное детектирование. Это позволяет им
  работать при гораздо меньшей мощности, но при этом конструкция фотоприемной схемы намного сложнее.

Существуют две основные категории импульсных лидаров: микроимпульсные и высокоэнергетические системы.

Микроимпульсные лидары работают на более мощной компьютерной технике с большими вычислительными возможностями

Эти лазеры меньшей мощности и классифицируются как «безопасные для глаз», что позволяет использовать их практически без
особых мер предосторожности.

Лидары с большой энергией импульса в основном применяются для исследования атмосферы, где они часто
используются для измерения различных параметров атмосферы, таких как высота, наслоение и плотность облаков,
свойства частиц облака, температуру, давление, ветер, влажность и концентрацию газов в атмосфере.. В отличие от радиоволн, эффективно отражающихся только от достаточно крупных металлических целей, световые волны подвержены рассеиванию в любых средах, в том числе в воздухе, поэтому возможно не только определять расстояние до непрозрачных (отражающих свет) дискретных целей, но и фиксировать интенсивность рассеивания света в прозрачных средах

Возвращающийся отражённый сигнал проходит через ту же рассеивающую среду, что и луч от источника, подвергается вторичному рассеиванию, поэтому восстановление действительных параметров распределённой оптической среды — достаточно сложная задача, решаемая как аналитическими, так и эвристическими методами.

В отличие от радиоволн, эффективно отражающихся только от достаточно крупных металлических целей, световые волны подвержены рассеиванию в любых средах, в том числе в воздухе, поэтому возможно не только определять расстояние до непрозрачных (отражающих свет) дискретных целей, но и фиксировать интенсивность рассеивания света в прозрачных средах. Возвращающийся отражённый сигнал проходит через ту же рассеивающую среду, что и луч от источника, подвергается вторичному рассеиванию, поэтому восстановление действительных параметров распределённой оптической среды — достаточно сложная задача, решаемая как аналитическими, так и эвристическими методами.