Каким способом функционирует определение лиц в смартфонах

Зачем мы останавливаемся на разблокирование по лицу

В последние времена распознавание лиц превратилось в одной из самых популярных опций для деблокировки смартфонов. Всего некоторые годков назад основная масса использующих довольствовались PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением подобных технологий, например admiral x, нам вполне просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Что обуславливает эту конкретную особенность настолько популярной? Для начала, это комфортно: не нужно запоминать трудные пароли или отыскивать верный палец в мраке. Во-вторых, это оперативно: современные программы распознают лицо фактически за доли секунды. В-третьих, это ощущение футуризма — как будто в кинофильмах про адмирал х агентов.

Впрочем за этой кажущейся несложностью прячется полный вселенная трудных методов и инженерных решений. Давайте понять, как именно действует распознавание лиц в актуальных смартфонах, какие бывают методы, насколько они безопасны и что нас предстоит.

Краткая хроника эволюции техники

Распознавание лиц как методика имеется уже более 50 годов. Изначальные попытки автоматического изучения лиц были предприняты еще в 1960-х годах в научных учреждениях США. Тогда компьютеры могли лишь определять силуэты черепа и вычислять расстояния между глазами и ртом на монохромных изображениях.

Начальные торговые системы возникли в девяностых годах, но они были несовершенны: работали медленно и нередко ошибались. Только с эволюцией искусственных сетей и таких площадок, как адмирал х, сильных мобильных микросхем идентификация лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с надёжным трёхмерным идентификацией лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять собственные разработки.

Ключевые этапы действия механизма распознавания

Процесс распознавания лица можно условно сегментировать на несколько важных этапов:

1. Обнаружение лиц — аппарат распознает существование гуманного лица в снимке.
2. Выделение признаков — механизм исследует контуры физиономии: форму глаз, обонятельного органа, губ, расположение бровей.
3. Построение модели — создаётся особенный электронный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со образцом — созданный модель сопоставляется со записанной при учёте биометрической сведениями владельца.
5. Принятие определения — если сходство достаточно значительное, смартфон открывается.

Любой из этих шагов нуждается в специальных методов и усовершенствований для скорой работы непосредственно на девайсе.

Технические составляющие: что скрыто внутри них

Обычная селфи камера.

Самый простой несложный вариант распознавания облика использует исключительно лицевую камеру мобильного устройства. Такой способ внедрён во многих бюджетных моделях Android-устройств.

Положительные стороны:

• Необходимо нуждается в дополнительные сенсоров.
• Быстро работает при качественном освещении.

Отрицательные стороны:

• Несложно обмануть фотографией или роликом.
• Неудачно действует при плохом освещённости или нестандартных точках зрения.

ИК фотокамера и пунктирный проекционный аппарат

Более продвинутые системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс лежит в основе Face ID от Apple.

Каким образом это работает:

• Точечный проектор отображает на лицо использующего невидимую решетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 пятен).
• ИК камера записывает деформацию данной решетки по плоскости лица.
• Получается трёхмерная карта глубинности, что почти что неосуществима для имитации стандартной фото или маскировкой.

Плюсы

• Надёжная работа даже в полной тьме.
• Сильная защита к имитациям.
• Точность распознавания более 99%.

Дополнительные сенсорные устройства

В отдельных девайсах задействуются также дополнительные датчики: ToF (Time-of-Flight), которые фиксируют время движения света до цели и обратно; Цветные-датчики дальности; специальные лазерные лидары для формирования более точной 3D-модели лица.

Эти инновации встречаются наиболее часто во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искусственный интеллект в действии

Нынешние устройства идентификации лиц неосуществимы в отсутствие эксплуатации искусственного интеллекта и machine learning. Именно вследствие таким технологиям, как адмирал х, аппарат в состоянии распознавать владельца даже при метаморфозах внешности: новая укладка, растительность на лице, очки или макияж не становятся помехой для разблокировки.

Обнаружение лиц

На стартовом шаге алгоритм необходимо оперативно обнаружить лицо в пределах всего кадра камеры. Для этого используются последовательные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены идентифицировать лица людей среди множества других объектов.

Пример: процесс MTCNN может распознавать физиономию даже при неполном перекрытии (например, шалью или рукой).

Выделение основных моментов

После идентификации лица механизм, такая как адмирал х, вычисляет положение основных точек: края глаз, верхушка носа, края губ и так далее. Часто применяется от 68 до 128 основных маркеров на лице.

Данное необходимо для нормализации визуала: если пользователь держит мобильник под углом, или склонил головку, программа исправляет изображение до нормального состояния для последующего изучения.

Создание биометрического образца

Далее нейросеть строит сжатое математическое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный шаблон весьма трудно сфальсифицировать: он не сохраняет само картинку пользователя, а лишь исключительные характеристики его внешности, что делает его идеальным для таких систем, как admiral-x.

Сравнительный анализ и осуществление заключения

Если юзер хочет разлочить телефон глазами, программа повторяет все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный порог (обычно выше 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ не предоставляется.

Привыкание к метаморфозам облика

Интересная характеристика актуальных системы — способность самостоятельного обучения. Если ты часто разблокируете мобильное устройство с новой прической или очками, алгоритм постепенно освежает базовый модель вашего облика для повышения точности работы без снижения уровня безопасности.

Охрана биометрии данных.

Множество юзеры опасаются хранить свои биометрические идентификационные данные на мобильном устройстве из-за риска утечки информации или взлома устройства. Определенные фирмы, такие как admiral-x, предоставляют методы для улучшения защиты данных клиентов.

• Локальное сбережение: Большинство аппаратов хранит био-идентификационные модели исключительно внутри защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не покидают аппарат и не доступны включая изготовителю.

• Шифрование: Все сведения хранятся только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних девелоперов не обладают прямого доступа к биометрическим данным; они могут лишь требовать подтверждение верификации личности через системный API.

Необходимо подчеркнуть существенную подробность: в случае, если кто-то достанет физический доступ к вашему телефону (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании осуществляют систему защиты от неосознанного разблокирования — к примеру, заставляют открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют виды распознавания лиц?

На сегодняшний день можно выделить три главных подхода к выполнению этой функции:

Софтверное плоское определение

Применяется только фронтальная камера без дополнительных датчиков глубины. Такой способ встречается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность осуществления; умеренная затраты; оперативная работа при достаточном освещении.
Минусы: просто одурачить фотографией; неустойчивая деятельность ночью; низкая безопасность.

Техническое 3D сканирование

Применяет ИК видеокамеру + проектор точек + сенсоры глубины (Face ID от Apple; подобные решения у Huawei Mate).
Достоинства: высокая надёжность; нельзя подделать изображение/видеозапись; устойчивая работа при любом освещении.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с интеграцией ИИ

Задействуют комбинацию программируемых методов + аппаратную обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например адмирал х и Google Pixel Face Unlock современных версий, сочетают фронталку c инфракрасным сенсором мобильности Soli Radar для защиты от фальсификаций руками/масками/видеодисплеями посторонних устройств.

Иллюстрации эксплуатации разных техник

• iPhone серии X/11/12/13/14 задействуют только техническое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition в первый раз предложил подобие Face ID в числе Android.
• Samsung Galaxy S10 модель/S20 имеют как софтверное 2D идентификацию по фото селфи-камерой, так и датчик глазного ириса.
• Huawei Mate20 Pro задействует систему из ИК-подсветки + Dot Projector + ToF-сенсор

Трудности защиты и ошибочные срабатывания

Несмотря на впечатляющий развитие инноваций за прошедшие лет, идеальных механизмов пока не имеется:

1. Вероятность подвоха: Недорогие смартфоны легко “разблокируются” высококачественной снимком владельца или видео с экрана другого устройства.
2. Идентичные близняшки: Даже самые безупречные устройства могут перепутать между однояйцевыми близнецами либо родственниками с очень схожей внешностью.
3. Метаморфозы внешнего вида: Резкое снижение веса/увеличение массы тела, косметические процедуры или повреждения в некоторых случаях требуют повторной регистрации биометрии.
4. Условия записи: Сильная освещённость солнечным светом либо интенсивная темнота могут понизить аккуратность распознавания признаков.

Вот несколько советов по безопасному применению:

• Для значимых операций всегда используйте дополнительную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
• Систематически апгрейдите ПО смартфона для защиты от современных угроз;
• Включайте функцию “Требовать раскрытых глаз” в тех местах, где она имеется.

В каких местах дополнительно применяется технология кроме смартфонов?

Пускай предмет нашей работы посвящена в частности смартфонам и планшетам, следует отметить прочих направлениях внедрения технологии:

• Контроль доступа в офисах и резиденциях;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Виртуальные идентификационные документы современного поколения;
• Системы видеомониторинга муниципальных сервисов;
• Механизация учёта присутствия образовательных учреждений/институтов;
• Вход юзеров компьютеров/ноутбуков.

Например: В московском метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без карты или телефона! Похожие проекты развиваются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким способом изменяется технология сегодня?

Всякий годочек возникают современные концепции для улучшения качества деятельности систем распознавания лиц:

1. Увеличивается чёткость сенсорных устройств — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше вероятность погрешности;
2. Развиваются искусственные интеллекты — передовые структуры типа MobileNetV3 позволяют оперативно обучаться дополнительным чертам вида обладателя напрямую на гаджете без пересылки информации в облачное хранилище.
3. Улучшаются методы антиспуфинга — теперь телефоны умеют различать настоящие живые лица от неподвижных фотографий/маскировок по микроскопическим микродвижениям.
4. Интеграция со смарт-гаджетами — умные часы могут авто закрыть доступ к смартфон, если обладатель удалился на значительное расстояние.
5. Возникают комбинированные устройства — например совмещающие аудио аутентификацию + облик + отпечаток пальца.

Здесь, которые тренды очень популярны сейчас:

1) Уменьшение деталей

Изготовители пытаются уменьшить размер выреза (“чёлки”) под сенсоры на экране за счёт встраивания маленьких ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на девайсе

Для повышения личной безопасности всё более расчётов выполняется на месте без передачи информации во внешний облачный сервис.

3) Унификация стандартов

Google энергично продвигает стандарт BiometricPrompt API, с целью чтобы подобные площадки, как admiral x, и все Android-аппы могли работать с всеми формами биометрии стандартизированно.

Что решить на сегодня?

Если вам необходима наивысшая сохранность данных, подбирайте флагманские модели с интегрированным ИК-проектором или же ToF-датчиком глубины.

• iPhone всех существующих новейших поколений
• Huawei Mate/P ряда
• Xiaomi Pro
• Vivo X линейки
• Oppo Обнаружить X серии.

Если финансы невелик – лучше предпочесть обычным способам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в admiral x, использовать только как дополнительную возможность удобства.

Каким способом увеличить комфорт функционирования опции?

Есть пара лайфхаков для тех, кто уже использует разблокировку через лицо:

1. Периодически обновляйте свою фото-шаблон, если значительно трансформируется облик.
2. Не упускайте из виду чистить объектив фронтальной камеры – загрязнения могут понизить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам включает камеру когда вы поднимаете его.
4. При регистрационного процесса старайтесь сохранять лицо неподвижно напротив видеоустройства не допуская сильного наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвернулись от экрана.

Перспективы прогресса технологии

В скоро наступающие годы можно ожидать развития полностью бесконтактных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: облик + речь + шаги + движения рук!

Также возможно появление современных способов защиты приватности – к примеру, динамическое корректировка электронного шаблона после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее захватывающих технологий нашего эпохи! Она делает общение со мобильным устройством комфортнее чем до этого, и такие приложения, как admiral-x, могут в разы повысить ваш пользовательский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы знаете, как функционирует эта система в деталях, – будете в состоянии более осмысленно подбирать свой очередной девайс!