스마트폰 화면을 한 번 바라봤을 뿐인데 잠금이 풀리고, 앱에 로그인되며, 결제까지 승인됩니다. 비밀번호를 입력할 때보다 훨씬 간단하지만 기기는 그 짧은 순간에 두 가지를 확인해야 합니다. 카메라 앞의 얼굴이 등록된 사용자와 같은 사람인지, 사진이나 영상으로 흉내 낸 가짜 얼굴은 아닌지입니다.
더구나 사람의 얼굴은 지문처럼 늘 같은 모양으로 찍히지 않습니다. 안경과 마스크를 쓰기도 하고, 수염을 기르거나 화장을 바꾸기도 합니다. 조명과 카메라 각도, 표정도 매번 달라집니다. 스마트폰 얼굴 인식은 이 많은 변화를 어떻게 견디면서도 다른 사람을 가려낼까요?
핵심은 시스템이 사람처럼 “눈이 크다”, “코가 높다”라고 얼굴을 설명하지 않는다는 데 있습니다. 카메라로 들어온 얼굴을 긴 숫자 묶음으로 바꾸고, 등록할 때 만든 숫자와 얼마나 가까운지 계산합니다. 여기에 실제 사람이 카메라 앞에 있는지 확인하는 과정과 기기 내부 보안 절차가 더해집니다.
스마트폰은 얼굴 사진을 외우는 것이 아니라 숫자로 바꾼다
얼굴 인증의 첫 단계는 화면 속에서 얼굴이 있는 위치를 찾는 것입니다. 얼굴을 찾은 뒤에는 눈, 코끝, 입 주변처럼 정렬에 필요한 기준점을 추정합니다. 고개가 약간 기울었거나 카메라가 정면에서 조금 벗어나 있어도 비교하기 쉬운 방향과 크기로 맞추기 위해서입니다.
정리된 얼굴 이미지는 신경망을 통과해 ‘얼굴 임베딩’ 또는 ‘얼굴 템플릿’이라 부르는 수치 표현으로 바뀝니다. 단순화하면 다음과 같은 긴 숫자 목록입니다.
[0.14, -0.72, 0.31, 0.08, ...]첫 번째 숫자가 눈 크기이고 두 번째 숫자가 코 길이라는 식으로 해석할 수 있는 것은 아닙니다. 얼굴의 형태, 각 부분의 상대적인 배치, 질감과 입체 정보가 신경망 안에서 복합적으로 압축된 결과입니다. 여러 숫자가 함께 움직이며 한 사람의 얼굴을 구분합니다.
애플은 Face ID에서 적외선 이미지와 얼굴의 깊이 지도를 수학적 표현으로 변환한 뒤, 등록된 얼굴 데이터와 비교한다고 설명합니다. 이처럼 깊이 센서가 있는 장치는 평면 사진뿐 아니라 코와 광대, 눈 주위처럼 얼굴 표면이 앞으로 나오거나 들어간 정도도 활용할 수 있습니다. 일반 카메라만 사용하는 서비스는 촬영 영상의 질감과 움직임 등 다른 단서를 더 적극적으로 사용합니다.
안경이나 마스크를 쓰면 얼굴 로그인이 되는 이유
얼굴 인증 시스템이 “안경 있음”, “마스크 있음”, “수염 있음”이라는 체크리스트를 하나씩 통과시키는 것으로 생각하기 쉽습니다. 실제 비교의 중심은 액세서리의 유무보다 현재 보이는 얼굴의 수치 표현이 등록된 얼굴과 충분히 가까운가에 있습니다.
모델을 학습할 때는 조명, 표정, 각도, 안경과 모자 등 조건이 달라진 많은 얼굴을 사용합니다. 같은 사람에게 반복해서 나타나는 특징은 비교에 유용하고, 촬영할 때마다 쉽게 달라지는 요소는 상대적으로 덜 의존하도록 학습하는 것입니다.
안경을 쓰면 눈 주변 정보가 일부 달라지지만 코, 광대, 이마, 얼굴 윤곽 등 다른 영역은 남아 있습니다. 반면 마스크는 얼굴의 넓은 부분을 가리므로 활용할 수 있는 정보가 크게 줄어듭니다. 일부 기기는 마스크를 쓴 상태에서도 눈 주변을 중심으로 인증할 수 있지만, 이때는 사용자가 화면을 실제로 바라보는지 확인하는 조건을 더 엄격하게 적용하기도 합니다.
정보가 부족하면 시스템이 억지로 정답을 맞히는 것은 바람직하지 않습니다. 얼굴을 다시 보여 달라고 하거나 비밀번호, 지문 같은 다른 인증 방법으로 전환하는 것이 보안상 정상적인 처리입니다.
같은 사람인지 어떻게 점수로 판단할까?
등록 당시 만든 얼굴 벡터와 지금 촬영한 얼굴 벡터 사이의 거리를 계산합니다. 두 벡터가 가까우면 같은 사람일 가능성이 높고, 멀면 다른 사람일 가능성이 높다고 봅니다. 마지막에는 미리 정한 기준값을 넘었는지에 따라 통과와 실패가 결정됩니다.
여기에는 피할 수 없는 균형 문제가 있습니다. 기준을 엄격하게 하면 다른 사람을 잘못 받아들일 가능성은 줄지만, 조명이나 각도가 좋지 않을 때 본인도 거절될 수 있습니다. 기준을 느슨하게 하면 사용은 편해지지만 잘못된 승인 위험이 커집니다.
그래서 얼굴 인식의 정확도는 단순히 “몇 퍼센트”라는 숫자 하나로 설명하기 어렵습니다. 다른 사람을 본인으로 받아들이는 오류와 본인을 거절하는 오류를 함께 살펴봐야 합니다. 미국 국립표준기술연구소(NIST)의 디지털 신원 지침도 얼굴 생체 인증에 일정 수준의 오인식 성능과 위조 제시 공격 탐지를 요구합니다.
쌍둥이나 아주 닮은 가족은 더 어려울까?
그렇습니다. 얼굴 벡터가 가까운 사람일수록 시스템이 구분하기 어려워질 수 있습니다. 일란성 쌍둥이처럼 얼굴 구조가 매우 비슷하거나, 서로 많이 닮은 형제자매는 무작위로 만난 두 사람보다 오인식 위험이 높습니다. 어린이는 성장하면서 얼굴 특징이 빠르게 변하고 또래 사이의 구별되는 특징이 아직 충분히 발달하지 않았을 수 있어 별도의 주의가 필요합니다.
이것은 얼굴 인증이 이름표를 읽는 기술이 아니라 유사도에 기준선을 긋는 기술이기 때문입니다. 제조사가 제시하는 오인식 확률도 보통 일반 인구에서 무작위로 다른 사람이 시도하는 상황을 뜻합니다. 닮은 가족, 쌍둥이, 등록된 얼굴이 여러 개인 경우에는 같은 숫자를 그대로 적용하기 어렵습니다. 이런 상황이 걱정된다면 얼굴 인증 대신 강한 기기 암호를 사용하는 편이 안전합니다.
수염을 기르거나 나이가 들면 다시 등록해야 할까?
얼굴 인증은 등록한 날의 얼굴 한 장만 영원히 고정해 두는 방식일 필요가 없습니다. 시스템에 따라 인증에 성공한 새로운 얼굴 표현을 제한적으로 반영하면서 자연스러운 변화를 따라갈 수 있습니다. 애플은 화장이나 수염처럼 외모가 달라질 때 Face ID가 저장된 수학적 표현을 보완하며, 변화가 큰 경우에는 먼저 암호로 본인임을 확인한 뒤 얼굴 데이터를 갱신한다고 설명합니다.
이 과정에도 기준이 필요합니다. 인식에 실패한 모든 얼굴을 곧바로 ‘새로운 내 얼굴’로 저장한다면 다른 사람의 모습이 섞일 수 있기 때문입니다. 충분히 가까운 얼굴이 촬영됐고 사용자가 이어서 올바른 암호를 입력한 경우처럼, 본인이라는 추가 근거가 있을 때만 변화를 학습하는 식입니다.
스마트폰에 사진을 보여줘도 잠금이 풀리지 않는 이유
얼굴이 닮았는지를 확인하는 일과 카메라 앞에 실제 사람이 있는지를 확인하는 일은 서로 다른 문제입니다. 후자를 ‘프레젠테이션 공격 탐지(PAD)’라고 하며, 흔히 라이브니스 검사 또는 생체 확인이라고 부릅니다.
시스템에 따라 얼굴의 깊이, 적외선 반사, 화면이나 종이에서 나타나는 무늬, 영상 프레임 사이의 움직임 등을 이용합니다. 고개를 돌리거나 눈을 깜빡이라고 요청하는 방식도 여기에 속합니다. 다만 녹화 영상과 정교한 합성 영상까지 생각하면 한 번 눈을 깜빡이는 동작만으로는 충분하지 않습니다. 보안 수준이 높은 시스템은 사용자가 의식하지 못하는 여러 신호를 함께 분석합니다.
깊이 센서를 사용하는 기기는 수많은 적외선 점을 얼굴에 투사해 굴곡을 읽을 수 있습니다. 평면 화면에 얼굴 사진을 띄워도 실제 얼굴과 같은 입체 구조를 만들기 어려운 이유입니다. 소프트웨어 방식은 피부와 화면의 표현 차이, 빛의 변화, 영상의 비정상적인 흔적 등을 분석할 수 있습니다.
최근에는 카메라 앞에 사진을 들이미는 공격뿐 아니라 카메라 영상이 처리 장치로 가는 중간에 합성 영상을 주입하는 공격도 고려해야 합니다. NIST 역시 얼굴 비교만으로는 이런 공격을 막을 수 없으며, 촬영 장치 확인과 조작된 미디어 탐지가 함께 필요하다고 설명합니다.
앱 로그인과 결제 때 얼굴 사진이 앱으로 넘어갈까?
휴대전화의 시스템 얼굴 인증을 사용하는 앱이라면 일반적으로 앱이 얼굴 사진을 직접 받아 비교하지 않습니다. 앱은 운영체제에 “기기에 등록된 사용자가 맞는지 확인해 달라”고 요청하고, 성공 또는 실패 결과를 받습니다.
예를 들어 애플은 Face ID의 수학적 얼굴 표현을 암호화해 Secure Enclave에서 보호하며, 얼굴 비교 역시 그 보안 영역에서 수행한다고 설명합니다. 결제 앱은 얼굴 벡터를 전달받기보다 기기 사용자의 인증이 성공했다는 결과를 이용해 결제 승인 절차를 이어갑니다.
다만 모든 얼굴 인증 서비스가 같은 구조인 것은 아닙니다. 금융 서비스에 새로 가입하면서 신분증 사진과 실시간 얼굴 영상을 비교하는 과정은 휴대전화 잠금 해제와 다릅니다. 이 경우 서비스 사업자가 본인 확인을 위해 촬영 이미지나 생체 정보를 서버로 전송할 수 있으므로, 수집 목적과 보관 기간, 처리 위탁 여부를 개인정보 안내에서 확인할 필요가 있습니다.
얼굴은 비밀번호를 대신하는 열쇠일까?
얼굴은 기억할 필요가 없고 복잡한 문자열을 입력하지 않아도 된다는 장점이 있습니다. 동시에 비밀번호처럼 마음대로 새 얼굴로 바꿀 수 없다는 차이도 있습니다. 따라서 얼굴 자체만 믿기보다 안전한 센서, 위조 탐지, 암호화된 저장 공간, 실패 횟수 제한과 보조 비밀번호가 함께 작동해야 합니다.
휴대전화가 얼굴을 알아보는 순간은 짧지만, 그 안에서는 얼굴 찾기, 방향 보정, 수학적 표현 생성, 유사도 계산, 실제 사람 여부 확인, 보안 영역의 승인이라는 여러 단계가 이어집니다. 안경이나 수염 하나를 따로 판정하는 간단한 규칙이 아니라, 변화 속에서도 비교적 유지되는 얼굴의 전체 패턴을 이용하는 셈입니다.
다음에 화면을 바라보자마자 결제가 승인된다면, 기기가 사진 속 ‘나’를 기억했다고 생각하기보다 지금의 얼굴을 숫자로 바꾸고 등록된 나와 충분히 가까운지 순식간에 계산했다고 떠올려보세요. 얼굴 인증이 조금 다르게 보일 것입니다.
참고한 공식 자료
- Apple Platform Security: 생체 보안
- Apple Platform Security: 얼굴 매칭 보안
- Apple: Face ID 첨단 기술 안내
- NIST SP 800-63B: 인증과 생체정보 요구사항
- NIST SP 800-63A: 원격 신원 확인과 생체정보 수집