미국 메릴랜드대 톰 골드스타인 교수 연구팀의 인공지능(AI) 탐지 교란 의류 시연 이미지. 사람 탐지 AI는 강의실에 앉은 사람들에게 파란색 탐지 사각형을 표시했지만, 특수무늬 옷을 입고 중앙에 선 남성은 사람으로 인식하지 못했다. 이 무늬는 AI가 사람을 판별할 때 이용하는 윤곽과 질감 정보를 교란한다. /미국 메릴랜드대 검은색 티셔츠를 입은 사람이 카메라 앞에 서자 몸 주변에 붉은 사각형과 ‘86%’라는 숫자가 떴다. 인공지능(AI)이 화면 속 인물을 86% 확률로 사람이라고 판단한 것이다. 같은 사람이 요란한 소용돌이 무늬 티셔츠로 갈아입고 같은 카메라 앞에 섰더니 붉은 사각형이 사라졌다. 카메라는 티셔츠만 바꿔 입은 같은 사람을 촬영했지만, AI는 ‘사람 없음’으로 판단했다. 영화 ‘해리포터’에서 주인공이 투명망토를 걸치면 가려진 신체만 보이지 않게 되지만, 소용돌이 무늬 티셔츠를 입으면 머리와 하체가 그대로 보여도 AI는 신체 전체를 하나의 사람으로 인식하지 못한다. 수천 대의 CCTV를 사람이 일일이 체크할 수 없어 AI가 먼저 의심 장면만 골라내는 감시망에서 경보가 울리지 않는 것만으로도 수많은 CCTV 앞을 투명인간처럼 지나다닐 수 있다. 이른바 ‘디지털 투명망토’다. AI 기반 감시카메라 ‘플록 팰컨 v2’로 같은 여성을 같은 거리에서 촬영한 비교 이미지. 바다이야기 황금고래 왼쪽의 검은 티셔츠 차림 여성은 AI가 86% 확률로 사람이라고 탐지했지만, 오른쪽의 소용돌이 특수무늬 티셔츠를 입자 사람으로 인식하지 못했다. /noRecognition 미국 IT 전문 매체 테크크런치는 9일(현지 시각) 미국 라스베이거스에서 열린 사이버 보안 행사인 블랙햇과 데프콘에서 감시 AI를 교란하는 ‘노리코그니션(noRecognition)’ 프로젝트가 공개됐다고 보도했다. 옷이나 차량에 특정 무늬를 입혀 AI가 이를 사람이나 자동차로 탐지하지 못하게 만드는 ‘적대적 패턴(Adversarial Pattern)’을 개발하는 연구다. 사람 눈에는 기괴한 무늬지만 AI 눈에는 ‘탐지할 대상 없음’으로 읽히는 디지털 위장막이다. 일상 행동과 범죄 가능성까지 살피는 AI 감시가 확산하자 이를 피하려는 기술도 함께 진화하고 있다. 더 잘 찾아내려는 AI 감시망과 그 눈을 피하려는 인간 사이 ‘창과 방패’ 대결이 시작된 것이다. ◇AI가 사람을 못 보는 이유 인공지능(AI) 탐지를 교란하는 특수 무늬 의류의 시험 이미지. ‘노리코그니션’의 디지털 시험에선 AI가 복잡한 무늬로 덮인 상의에서는 사람의 특징을 제대로 읽어내지 못했다. /노리코그니션 AI는 CCTV 화면을 사람처럼 이해하는 게 아니다. PC 바다 이야기 영상 속에 나타나는 물체의 모서리와 선, 색상과 질감을 숫자로 바꾼 뒤 머리·어깨·몸통·팔다리와 비슷한 특징이 얼마나 모여 있는지 。수를 매긴다. 。수가 일정 기준을 넘으면 사람으로 판단하고 탐지 사각형을 표시한다. 적대적 패턴은 이런 AI의 계산 과정에 가짜 단서를 섞는다. 강한 색상과 복잡한 선, 반복되는 무늬가 AI가 사람을 구별할 때 사용하는 윤곽과 질감의 조합을 흐트러뜨리는 것이다. 사람일 확률이 탐지 기준 아래로 내려가면 얼굴 인식과 자동 경보, 이동 추적도 작동하지 않는다. 연구팀은 1년간 11개 상용 컴퓨터 비전 모델을 상대로 3170만회 시험을 진행했다고 밝혔다. 같은 원리는 차량에도 적용된다. 연구팀은 데프콘 현장에서 차량을 특수 무늬로 덮고 AI 기반 차량 감시 업체인 플록세이프티의 카메라 앞을 통과시켰다. 카메라는 차량을 찍었지만, AI는 자동차로 인식하지 못했다. 플록의 카메라는 차량의 번호판과 차종·색상, 통과 시각과 위치를 자동으로 기록해 수배 차량과 대조한다. AI 위장은 전장(戰場)에서도 활용된다. 기존 군용 위장이 주변과 비슷한 색으로 사람의 눈을 속였다면, AI 위장은 전차의 윤곽과 열·레이더 신호를 흐트러뜨려 드론과 위성의 자동 표적 식별을 방해한다. 러시아군은 우크라이나군의 AI 드론을 피하려 군용 트럭의 차체와 바퀴에 흑백 얼룩말·소용돌이 무늬를 칠했다. 오락실게임 파라다이스 일부러 눈에 띄는 무늬로 차량의 직선 윤곽과 둥근 바퀴 형태를 흐트러뜨려 AI의 탐지 확률을 떨어뜨리려는 원시적 대응책이다. 그래픽=백형선 ◇AI 감시 사회에 대한 반발 AI 감시는 시민들의 일상을 지켜보는 것을 넘어 아직 범죄를 저지르지 않은 사람을 잠재적 범죄자로 분류하는 수단으로도 활용되고 있다. 영국 정부는 사법 자료와 성별·민족 등을 분석해 강력 범죄 가능성이 큰 사람을 추리는 프로그램을 개발 중이다. 중국에서는 통신 기록과 인터넷 접속 이력 등을 분석해 시위나 정치 단체와 접촉한 사람을 ‘잠재적 정치 위험’으로 분류하는 기술이 운용되는 것으로 알려졌다. 현실판 ‘마이너리티 리포트’인 셈이다. 온라인에서는 자신의 디지털 사용 흔적이나 위치 추적을 거부할 수 있지만, 거리와 건물 안 AI 카메라는 개인 동의 없이도 영상을 촬영하고 분석한다. 이를 거부할 방법이 없자 특수 무늬 옷과 차량 위장으로 스스로 AI 감시를 피하려는 기술이 등장하는 것이다. 다만 현재로선 모든 AI를 속일 수는 없다. 디지털 투명 망토의 경우 AI 모델마다 중요하게 보는 특징이 다르고 조명과 각도, 옷의 주름에 따라서 인식의 효과가 달라진다. 특수 무늬가 오히려 인간 감시자의 시선을 끌 수 있고, 걸음걸이와 열 영상·휴대전화 위치를 함께 분석하면 추적을 피하기 어렵다. 권헌영 고려대 정보보호대학원 교수는 “감시 업체가 공개된 특수 무늬를 AI에 학습시키면 AI가 이를 다시 탐지할 수 있다”며 “AI 감시가 정교해질수록 이를 속이는 기술도 발전하는 ‘창과 방패’ 경쟁이 확산하고 있다”고 했다. ’다. AI