미 국립표준기술원(NIST)이 인종편향에 대한 얼굴인식 알고리즘을 시험하는 방법
국립표준기술원(National Institute of Standards and Technology, 이하 NIST)의 분석 결과, 알고리즘의 많은 부분이 백인에 비해 흑인이나 동아시아의 얼굴을 부정확하게 식별할 가능성이 10배에서 100배 더 높았다는 것을 밝혀냄.
<얼굴 인식 벤더 테스트 프로그램이란>
얼굴인식 벤더 테스트는 얼굴 인식 기능의 핵심 알고리즘 테스트임. 첫 번째 파트에서는 일대일 검증 정확도를 통해 알고리즘이 두 개의 이미지를 얼마나 잘 취하여 같은 사람인지의 여부를 판단할 수 있는지 확인함. 두 번째 파트는 일대 다식별(one-to-many identification) 과정을 살펴봄.
<세 번째 단계의 결과는?>
세 번째 파트는 데이터 세트의 서로 다른 인구 통계학 전반에 걸쳐 알고리즘이 다르게 차등적으로 수행되는지 시험하기 위해 일대일 애플리케이션과 일대다 애플리케이션 모두의 인구통계학적 차이를 살펴봄.
<NIST는 이러한 테스트의 사진과 데이터를 어디서 얻었는가>
우리는 4개의 데이터 세트를 가지고 있는데, FBI가 제공한 국내 범인 식별용 얼굴 사진, 이민 혜택 신청 사진, 국무부가 제공한 비자 신청 사진, 그리고 국토안보부에서 미국으로 입국하는 여행객들을 위한 국경 통과 사진 등을 가지고 있음. 또한, 이 데이터들은 NIST와 공유되기 전에 인간대상, 법률 및 프라이버시 심사를 거침.
NIST 보고서(파트 3) 전문 : Face Recognition Vendor Test(FRVT) Part 3 : Demographic Effects.
https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8280.pdf
NIST 얼굴인식 벤더 시험 소개 : https://www.nist.gov/programs-projects/face-recognition-vendor-test-frvt