AI의 위험 -5-

AI의 위험 -5-

AI를 속일 "적대적 공격"

　개별 AI 기술과 응용 프로그램에 대해 그 문제점과 취약점을 구워 내고 개선하는 노력도 진행되고있다. 최근에는 주변 상황을 영상 분석을 통해 파악하는 유형의 자동 운전 차량에 대한 뜻밖의 취약점이있는 것으로 밝혀지고있다. 그러한 위험의 연구의 예로 다음의 영상을 소개하고 싶다.

　올해 4 월 중국의 주요 IT 기업 텐센트 보안 연구 부문 인 킨 보안 연구소가 미 Tesla의 전기차 '모델 S'자동 운전 기능에 새로운 취약점이 발견됐다고 발표했다. 영상에서는 해킹 실험을 실시하고있다.

　연구진은이 영상의 첫 번째 실험에서 간단한 그림을 모델 S의 카메라에 "보이는 것"비가 왔다고 착각하고 멋진 와이퍼를 작동시켰다. 두 번째 실험에서는, 도로에 작은 스티커를 붙여 모델 S를 다른 차선으로 이동시키고있다.

AI

AI를 속이는 실험 ( 동영상 에서)

　이것은 AI가 분석 데이터에 의도적 인 "노이즈"를紛れ込ま하고 AI에 의도하지 않은 판단을시키는 공격 수법으로, " 적대적 공격 "이라고되어있다.

　물론 킨 보안 연구소의 목적은 해킹을하고 Tesla을 위협 할 것이 아니라, 이번 연구 결과도 미리 Tesla 측에 알려 있었다. AI에 대한 적대적 공격은 자동 운전뿐만 아니라 화상 진단 등 의료 분야에서도 그 위협이 인식되어 많은 연구자가 그 대책에 임하고있다.

　또한 "원래 AI가 문제를 일으킬 위험이 작아지는 개발 수법을 확립해야한다"는 의견도있다.

　예를 들어 IBM Accessibility Research의 연구원 인 새리 토레윙 씨는 AI가 장애인에 대한 차별 (=과 사람에 보인다 판단을)하지 않도록하는 방법을 연구하고있다. 그녀는 MIT Technology Review의 인터뷰 에서 평균적인 사람의 데이터에 맞게 AI를 최적화하는 것이 아니라 장애인과 같은 '국외자'(통계에서 다른 값과 크게 다른 수치)도 포함 데이터 에서 AI를 훈련하고, 장애를 가진 사람들에게 개발 단계부터 참여 받거나해야한다고 말했다.

　보안 분야에서는 고육지책으로 사건에 대응하는 것이 아니라 전체 시스템의 기획 · 설계 단계부터 보안의 사상을 통합 "보안 바이 디자인 '이라는 개념이 제창되고있다. AI의 영역에서도 같은 생각으로 AI 재해에 대처하는 것이 일반적이 될 것이다.