2022년 프라티샤리아 칼루리 미국 스탠퍼드대 대학원생은 이미지 생성 AI를 사용하다가 이상한 점을 발견했다. '미국 남자와 그의 집 사진'을 입력하자 식민지 시대 느낌의 커다란 집 앞에 있는 창백한 사람이 결과물로 나왔다. 하지만 '아프리카 남자와 그의 화려한 집 사진'을 입력하자 '화려한'이라는 단어가 있음에도 단순한 진흙집 앞에 있는 피부가 어두운 사람 이미지를 생성했다.
칼루리와 동료들은 추가 조사에서 AI 이미지 생성 툴인 '스테이블 디퓨전(Stable Diffusion)'과 '달-이(DALL-E)'가 이미지를 만들 때 '아프리카'라는 단어를 빈곤과 연관시키거나 '가난'을 어두운 피부와 연관시키는 등 고정관념에 의존하고 있다는 사실을 확인했다. 현실의 인구통계학적인 비율보다 더 치우친 비율로 고정관념을 묘사한다는 점도 함께 확인됐다.
국제학술지 네이처는 19일(현지시간) 생성형AI가 만들어내는 이미지에서 인종차별이나 성차별을 드러내는 이미지가 생성되는 이유와 해결방법을 찾기 위해 AI 시스템을 공개해야 한다는 과학자들의 주장을 조명했다.
네이처에 따르면 연구자들은 이미지 생성AI를 많이 사용할수록 사용자들의 고정관념이 더욱 심화될 것으로 우려하고 있다. 동시에 문제 해결을 위해선 AI시스템을 공개해 AI 학습에 어떤 데이터 세트가 사용되는지 알아야 문제를 해결할 수 있다고 주장하고 있다.
현재 이미지 생성 AI는 어떤 이미지가 입력되고 어떻게 생성되는지 알려지지 않은 경우가 대다수다. 칼루리는 "AI 모델이 편향된 이미지뿐 아니라 아동 학대 사진이나 나체 사진 등 불법적이거나 문제가 되는 온라인 사진을 학습한다"고 말했다.
AI가 학습하는 이미지의 캡션이 편향된 경우가 많다는 점도 지적됐다. 캐슬린 프레이저 캐나다 국립연구위원회 AI 연구원은 "하얀 피부색이 기본으로 간주되면 사진 설명에 언급되지 않는다"며 "AI 모델은 '피부색'이라는 문구를 사용하면 어두운 피부색을 원한다고 잘못 학습한다"고 설명했다.
일부 기업은 편향성에 대응하기 위해서 알고리즘을 보완하고 있지만 연구자들은 시스템이 어떻게 작동하는지 불분명하고 의도치 않은 영향을 미칠 수도 있다고 꼬집었다. 실제로 지난달 구글은 자사 AI인 제미나이가 '1943년 독일 군인'의 사진을 요청하자 흑인과 아시아인 등 역사적으로 부정확한 결과를 낸 사실이 밝혀져 언론의 비난을 받고 이미지 생성 기능을 중단하기도 했다.
네이처는 "DALL-E를 개발한 기업 OpenAI에 학습 데이터 세트에서 유해하거나 편향된 이미지를 제거하려고 어떤 조치를 취하는지에 대한 질문에 OpenAI는 성별과 인종 편견을 줄였다는 작업 보고서를 언급했지만 정확한 세부 사항을 공개하지 않았다"고 밝혔다. 다른 이미지 생성 AI인 '스태빌리티AI'와 '미드저니' 측은 응답하지 않았다고 했다.
연구자들은 규제만이 학습 데이터 세트를 공개하도록 의무화할 수 있다고 말한다. 이와 관련 13일(현지시간) 유럽연합(EU)은 일부 AI 시스템 개발자는 학습 데이터와 기술 원리를 설명하는 데이터시트와 잠재적인 차별적 영향에 대한 문서를 제공해야 한다는 내용의 법안을 승인했다. 연구자들은 "생성형 AI의 이상적인 결과물이 무엇인지에 대한 의문은 여전히 존재한다"며 "간단한 답이 없는 사회적 질문"이라고 말했다.
동아사이언스(dongascience.com) 이병구 기자 2bottle9@donga.com 2024.03.24 08:00