Каким способом функционирует распознавание лиц в мобильных устройствах

Зачем мы предпочитаем разблокировку по лицу

В прошлые годы идентификация физиономий превратилось в одной из самых популярных функций для деблокировки смартфонов. Всего несколько годков тому назад большинство пользователей удовлетворялись PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением таких технологий, как вулкан россия, нам достаточно просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь делает данную возможность такой востребованной? Прежде всего, это комфортно: не нужно помнить замысловатые пароли или находить верный палец в мраке. Кроме того, это быстро: современные программы идентифицируют лицо практически за доли секунды. В-третьем пункте, это ощущение футуризма — словно в кинофильмах про vulkan russia шпионов.

Тем не менее за этой кажущейся несложностью таится целый универсум трудных методов и инженерных разработок. Попробуем разобраться, как именно работает распознавание лиц в современных смартфонах, какие существуют способы, насколько они надёжны и что нас ждёт впереди.

Короткая история развития техники

Распознавание лиц как технология имеется уже более 50 годов. Первые пробы машинного исследования лиц были осуществлены еще в 1960-х годах в исследовательских центрах США. Тогда ЭВМ умели лишь обозначать контуры головы и измерять промежутки между зрачками и губами на ахроматических изображениях.

Начальные торговые системы возникли в 90-х, но они были далеки от совершенства: работали медленно и нередко ошибались. Только с развитием синтетических сетей и таких площадок, как вулкан россии, высокопроизводительных мобильных чипов определение лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным идентификацией лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и другие начали интегрировать личные разработки.

Основные шаги работы механизма идентификации

Процесс распознавания лица можно условно разделить на несколько основных этапов:

Обнаружение лица — аппарат распознает присутствие человеческого образа в снимке.
Выделение особенностей — механизм изучает контуры облика: очертания глаз, обонятельного органа, уст, положение надбровных дуг.
Построение модели — создаётся неповторимый электронный отпечаток (faceprint) на основе определённых признаков.
Сравнение со стандартом — сформированный шаблон сверяется с записанной при учёте биометрической информацией владельца.
Принятие выбора — если сходство достаточно существенное, смартфон открывается.

Любой из данных стадий требует индивидуальных процедур и улучшений для оперативной работы прямо на устройстве.

Технические компоненты: что находится внутри

Типичная передняя камера.

Простейший простой способ идентификации физиономии задействует только лицевую видеокамеру мобильного устройства. Данный способ внедрён во многочисленных недорогих вариантах Android-девайсов.

Сильные стороны:

Необходимо требует дополнительных датчиков.
Шустро функционирует при качественном освещённости.

Недостатки:

Несложно обмануть изображением или видеозаписью.
Неправильно работает при плохом освещении или непривычных углах обзора.

ИК камера и точечный проектор

Более совершенные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология составляет базу Face ID от Apple.

Каким образом это работает:

Точечный проектор отображает на физиономию юзера невидимую структуру из тысяч инфракрасных точек (например, Face ID использует около 30 000 пятен).
Инфракрасная камера записывает искривление данной решетки по поверхности физиономии.
Формируется 3D глубинная карта глубины, что почти неподвластна для фальсификации обычной фотографией или маскировкой.

Выигрыши

Надёжная деятельность даже в полной неосвещённости.
Сильная устойчивость к имитациям.
Точность определения выше 99%.

Дополнительные сенсорные устройства

В некоторых девайсах применяются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют время распространения луча до цели и обратно; Трехцветные-датчики дальности; специальные лазерные измерители расстояния для создания более точной 3D-модели физиономии.

Эти технологии встречаются наиболее часто во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: синтетический разум на исполнении

Текущие механизмы опознания физиономий невозможны в отсутствие эксплуатации artificial intelligence и machine learning. Именно из-за таким технологиям, как вулкан россии, устройство в состоянии идентифицировать владельца даже при изменениях внешнего вида: новая причёска, борода, очки или грим не становятся помехой для деблокировки.

Детектирование физиономии

В стартовом шаге система должна быстро распознать ликовое изображение внутри полного кадра камеры. Для данной цели применяются многоуровневые классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые подготовлены распознавать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN может находить физиономию даже с неполном перекрытии (например, шарфом или ладонью).

Идентификация ключевых точек

После идентификации лица система, такая как вулкан россии, вычисляет положение главных точек: кончики глаз, верхушка носа, контуры губ и так далее. Как правило используется от 68 до 128 главных точек на лице.

Это действие требуется для выравнивания картинки: если человек удерживает телефон под углом, или наклонил голову, программа “выпрямляет” картинку до нормального состояния для дальнейшего анализа.

Создание биометрического модели

Далее нейронная сеть строит уплотненное цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след внешности длиной от 128 до 512 флоатов.

Данный формат очень затруднительно имитировать: он не удерживает непосредственно фото юзера, а лишь особенные характеристики его внешности, что делает его совершенным для таких площадок, как vulkan russia.

Сравнение и принятие заключения

В случае, когда юзер хочет открыть мобильник взором, система повторяет все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный границу (обычно выше 99%), телефон, как и платформа vulkan russia, доступен; если нет — доступ запрещается.

Адаптация к изменениям облика

Увлекательная особенность нынешних систем — возможность самостоятельного обучения. Если вы часто открываете телефон с обновленной прической или очками, система постепенно освежает основной образец вашего внешности для улучшения точности функционирования без ухудшения безопасности.

Безопасность биометрических данных.

Большинство юзеры боятся держать свои биометрические идентификационные данные на мобильном устройстве из-за вероятности утечки данных или взлома устройства. Иные организации, вроде vulkan russia, предоставляют методы для повышения сохранности сведений юзеров.

Локальное сохранение: Основная часть аппаратов хранит био-идентификационные модели исключительно в пределах защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не оставляют устройство и закрыты даже создателю.
Шифрование: Все информация хранятся только в кодированном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция программ: Приложения внешних девелоперов не имеют непосредственного доступа к биометрическим данным; они могут лишь требовать факт верификации идентичности через системный API.

Следует подчеркнуть важную подробность: в случае, если кто-либо сможет получить физический доступ к вашему телефону (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство производители реализуют защиту от неосознанного разблокирования — к примеру, требуют разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют типы идентификации лиц на изображениях?

На сегодняшний день можно выделить три главных подхода к реализации этой функции:

Программируемое плоское определение

Эксплуатируется только передняя камера без дополнительных датчиков глубины. Такой подход встречается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость воплощения; умеренная стоимость; быстрая функционирование при качественном освещении.
Минусы: легко одурачить фотографией; нестабильная функционирование ночью; недостаточная защищенность.

Аппаратное трёхмерное сканирование

Применяет ИК камеру + проектор точек + датчики дистанции (Face ID у Apple; подобные решения у Huawei Mate).
Преимущества: значительная надёжность; не получится исказить изображение/видеозапись; постоянная деятельность в любых условиях освещения.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с ИИ-дополнением

Задействуют комбинацию софтверных методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как вулкан россии и Google Pixel Face Unlock последних поколений, объединяют фронталку c инфракрасным датчиком движения Soli Radar для предотвращения от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Образцы эксплуатации разнообразных техник

iPhone серии X/11/12/13/14 задействуют только физическое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition впервые предложил эквивалент Face ID в ряду Android.
Samsung Galaxy S10 версия/S20 обеспечивают как программное двухмерное определение по фото селфи-камерой, так и сканер радужки глаза.
Huawei Mate20 Pro применяет набор из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Трудности охраны и ложные срабатывания

Несмотря на поразительный развитие техники за последние лет, идеальных систем пока не наблюдается:

Шанс обмана: Бюджетные смартфоны без труда “разблокируются” высококачественной изображением владельца или же роликом с экрана другого устройства.
Идентичные близняшки: Даже самые совершенные механизмы могут спутать между монозиготными близнецами либо родственниками с очень аналогичной внешностью.
Метаморфозы облика: Резкое похудение/увеличение массы тела, косметические процедуры либо повреждения в некоторых случаях необходимы для обновления данных биометрии.
Условия съёмки: Яркая освещённость солнечным светом или глубокая затенение могут понизить верность определения признаков.

Вот несколько советов по безопасному использованию:

Для важных операций всегда используйте двухфакторную аутентификацию;
Не активируйте опцию “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
Постоянно обновляйте прошивку телефона для защиты от новых видов атак;
Включайте функцию “Требовать распахнутых глаз” там, где она есть.

Где ещё используется технология за исключением мобильных телефонов?

Несмотря на то, что тема данной работы сосредоточена на именно смартфонам и планшетам, стоит упомянуть о прочих направлениях внедрения технологии:

Управление доступа в деловых центрах и жилых домах;
Платёжные устройства банков (“Face Pay”);
Электронные паспорта последнего поколения;
Комплексы видеонаблюдения городских сервисов;
Автоматизация учёта посещаемости образовательных учреждений/вузов;
Вход юзеров компьютеров/ноутбуков.

Например: В городском метро уже проверяется система платежа проезда по лицу (“Face Pay”) — достаточно пройти через барьер без пластика или мобильника! Схожие программы реализуются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким способом трансформируется технический процесс в нынешнее время?

Любой годик проявляются свежие концепции для усовершенствования стандарта работы систем лицевого распознавания:

Увеличивается детализация сенсорных устройств — чем больше деталей фиксируется видеокамерой/глубинными сенсорами, тем меньше вероятность погрешности;
Развиваются нейросети — современные структуры вида MobileNetV3 дают возможность скоростно адаптироваться к дополнительным чертам облика обладателя прямо на устройстве без отправки данных в облако.
Развиваются способы антиспуфинга — теперь смартфоны умеют различать реальные анимированные лица от статичных фото/маскировок по микроскопическим движениям кожи.
Интеграция со интеллектуальными приборами — умные часы могут авто заблокировать мобильный телефон, если обладатель отошёл далеко.
Появляются гибридные механизмы — к примеру комбинирующие аудио аутентификацию + физиономию + пальцевой отпечаток.

Вот, которые направления в особенности популярны сейчас:

1) Миниатюризация компонентов

Изготовители пытаются уменьшить размер выреза (“чёлки”) под датчики на дисплее за счёт интеграции миниатюрных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для повышения конфиденциальности всё более вычислений осуществляется на месте без пересылки информации во дополнительный облачный сервис.

3) Стандартизация норм

Google интенсивно продвигает стандарт BiometricPrompt API, с целью чтобы аналогичные платформы, вроде вулкан россия, и все Android-аппы были совместимы с различными типами биометрии стандартизированно.

Какое выбрать на сегодня?

Когда тебе важна наивысшая безопасность данных, выбирайте флагманские аппараты с вмонтированным ИК-излучателем либо ToF-датчиком глубины.

iPhone всех существующих последних версий
Huawei Partner/P Series серии
Mi Pro
Vivo X линейки
Оппо Find Икс серий.

Если средства ограничен – лучше предпочесть традиционным методам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в вулкан россия, задействовать только как дополнительную опцию комфорта.

Каким способом увеличить удобство работы возможности?

Есть пара хитростей для тех, кто уже использует разблокировку через лицо:

Регулярно обновляйте свою фотографию-шаблон, если кардинально меняется внешность.
Не упускайте из виду протирать объектив передней камеры – загрязнения могут снизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам запускает фотоаппарат как только вы поднимаете его.
При регистрационного процесса старайтесь держать голову неподвижно напротив камеры без сильного наклона головы.
Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отворачиваетесь от экрана.

Перспективы развития технологии

В ближайшие годы можно предвкушать появления полностью бесконтактных способов распознавания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + голос + шаги + манипуляции руками!

Также возможно возникновение новых методов охраны конфиденциальности – к примеру, переменное модификация диджитал шаблона после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее увлекательных технологий нашего периода! Она делает взаимодействие со мобильным устройством проще чем когда-либо прежде, и такие приложения, как vulkan russia, могут существенно улучшить ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы знаете, как устроена эта методика в деталях, – сможете вдумчиво выбирать свой очередной девайс!