데이터 속의 악마: AI의 윤리적 과제에 대한 교육적 접근 방식의 정비

New York University Tandon School of Engineering(뉴욕대 탠던 공과대학)은 차세대 컴퓨터 과학자들과 데이터 과학자들에게 AI의 윤리적 영향에 대해 교육하는 새로운 접근방식을 취하고 있다.

우리 사회에서 인공 지능(AI)의 진화와 광범위한 사용은 그 어느 분야도 이전에 경험하지 못했던 컴퓨터 과학의 윤리적 위기를 만들고 있다.

“이 위기는 대부분 AI에 대한 잘못된 신뢰의 산물입니다. 우리가 이 용어로 나타내는 기술이 무엇이든 공학적인 인공물이 간단히 해결할 수 없는 사회적 문제들을 해결할 수 있기를 바랍니다.”라고 뉴욕대 탠던 공과대학 컴퓨터공학과와 뉴욕대 데이터과학센터의 조교수 Julia Stoyanovich는 말한다. “이러한 문제는 인간의 재량권과 판단력을 필요로 하며 인간이 모든 실수에 대해 책임을 져야합니다.”

Stoyanovich는 게임 플레이에서 인식, 의료 진단에 이르기까지 다양한 작업에서 이러한 알고리즘이 왜 그렇게 잘 작동하는지, 그리고 때때로 실패하는 이유를 이해하기가 어렵다는 사실에 관한 머신 러닝 (ML) 알고리즘의 놀라운 성능이 문제의 일부라고 믿는다. 그러나 Stoyanovich는 점수 기반 순위표와 같은 간단한 규칙 기반 알고리즘이 각 구직자의 점수를 계산하고, 지원자를 자신의 점수로 분류한 다음 상위 3명을 인터뷰하도록 제안하는 것은 차별적인 결과를 가져올 수 있다는 것도 사실이라고 우려하고 있다. "데이터 속에 악마가 있다" 라고 Stoyanovich는 말한다.

이 점을 설명하기 위해 Stoyanovich가 Falaah Arif Khan과 함께 제작 한 "Mirror, Mirror"라는 제목의 만화책에서, AI에게 체스나 바둑과 같은 게임의 범위를 넘어 설 것을 요구할 때  그 규칙은 플레이어의 성별, 인종, 장애 상태에 관계 없이 동일하며, 자원을 할당하거나 사회적 결과를 예측하는 작업(예 : 누가 일자리나 대출을 받거나 도시의 어떤 보도를 먼저 고쳐야하는지)을 수행하기 위해 검색한다. 우리는 결과를 왜곡하는 사회적, 정치적, 문화적 편견이 데이터에 내재되어 있음을 빠르게 발견한다.

데이터의 사회적 편견 외에도 기술 시스템은 설계 또는 운영의 결과로 추가적인 왜곡을 유발할 수 있다. Stoyanovich는 예를 들어 구직 신청서에 성별에 대한 두 가지 옵션인 '남성'과
'여성'이 있는 경우 여성 지원자가 차별을 두려워하여 이 필드를 비워 둘 수 있다고 설명한다. 이분법적인 성별에 속하지 않는 지원자 역시 필드를 비워 둘 것이다. 그러나 시스템이 성별이 이진이라는 가정하에 작동하고 데이터를 후 처리하면 누락된 값이 채워진다. 가장 일반적인 방법은 필드를 데이터에서 가장 자주 발생하는 값으로 설정하는 것이다. 아마도 '남성'일 것이다. 이로 인해 데이터 분포에 체계적인 왜곡이 발생하고 이러한 개인에게 오류가 발생할 가능성이 높아진다.

이 예는 데이터 표현의 불완전하거나 잘못된 선택으로 인해 기술적 편견이 발생할 수 있음을 보여준다. Stoyanovich는 "데이터 품질 문제가 역사적으로 불우한 집단의 구성원에게 종종 불균형적으로 영향을 미친다는 것이 문서화되었으며, 이러한 집단에 대한 기존의 사회적 편견을 가진 데이터 표현으로 인해 기술적 편견이 악화될 위험이 있습니다."라고 덧붙였습니다.

Stoyanovich에 따르면 이것은 다음과 같은 질문을 제기합니다. 기술 시스템에서 윤리적 문제를 어떻게 식별할 것인가? 기술의 도움으로 어떤 유형의 "편견 버그"를 해결할 수 있을까? 그리고 기술적인 해결책이 전혀 도움이 되지 않는 경우는 어떤 것일까? 이러한 질문이 어렵지만 Stoyanovich는 다음 세대의 실무자에게 컴퓨터 과학 및 데이터 과학을 가르치는 방법에 이를 반영할 방법을 찾아야한다고 주장한다.

"탠던 공과대학의 거의 모든 센터들은 인공 신경 네트워크, 다양한 종류의 머신 러닝, 컴퓨터 비전 및 기타 센서, 데이터 모델링, AI 기반 하드웨어 등 어떤 방식으로든 AI와 관련된 연구 및 협업을 수행합니다." 뉴욕대 탠던 공과대학의 학장  Jelena Kovačević는 말한다. "우리가 일상생활에서 점점 더 AI에 의존함에 따라 우리의 커리큘럼은 기술의 놀라운 가능성뿐만 아니라 응용 프로그램의 심각한 책임과 사회적 결과를 수용하고 있습니다."

 Stoyanovich는 이 문제를 교육학적 문제로 바라보면서 컴퓨터 공학 학생들을 위한 윤리 과정을 가르치는 교수들이 컴퓨터 과학자가 아니라 인문학 배경에서 왔다는 것을 빠르게 깨달았다. 또한 컴퓨터 과학과 인문학 모두에 대한 전문 지식을 가진 사람이 거의 없었는데, 이는 교수들이 자신의 전문 분야에 갇혀있게 하는 “출판 아니면 죽음”이라는 모토로 인해 더욱 악화되고 있는 것이다.

“과학 기술 분야 학생들이 더 많은 글쓰기와 비판적 사고를 하도록 장려하는 것이 중요하지만, 우리는 또한 컴퓨터 과학자가 엔지니어라는 것을 명심해야 합니다. 우리는 개념적 아이디어를 가져와 시스템에 구축하고 싶습니다.”라고 Stoyanovich는 말한다. “사려 깊고, 신중하며, 책임감 있게 우리는 구축해야합니다!”

그러나 컴퓨터 과학자들이 이러한 교육적 책임을 떠맡아야 한다면, Stoyanovich는 다른 공학 분야와 마찬가지로 컴퓨터 과학이 실제로 현실 세계의 제약에 의해 제한된다는 현실을 받아들여야 할 것이라고 믿는다.

“우리 세대의 컴퓨터 과학자들은 항상 우리가 빛의 속도에만 제한을 받는다고 생각했습니다. 우리가 상상할 수 있는 것은 무엇이든 만들 수 있습니다.”라고 그녀는 설명한다. "요즘 우리는 우리가 하는 일이 사회에 어떤 영향을 미치는지 더 잘 이해할 수 있게 되었고, 우리는 그 이해를 학생들에게 전달해야 합니다.“

Kovačević는 우리가 어떻게 AI의 교육에 접근해야 하는지에 대한 문화적 변화를 반영한다. Kovačević는 대학 수준의 컴퓨터 과학 교육은 일반적으로 기술 개발과 컴퓨터 과학의 기술적 범위 탐색에 대한 엄격한 기준을 유지하며, 모든 것이 가능하기 때문에 모든 것이 수용 가능하다는 무언의 문화적 규범을 유지하고 있다고 지적한다. "탐사가 중요하지만, 결과에 대한 인식도 중요합니다."라고 그녀는 덧붙인다.
일단 컴퓨터 과학이 현실 세계에서 제약이 있다는 것을 이해하는 첫 번째 장애물이 충족되면 Stoyanovich는 AI가 인류를 일종의 유토피아로 이끄는 도구라는 그럴듯한 생각에 맞서야한다고 주장한다.

Stoyanovich는 “AI 프로그램이 우리에게 말하는 것은 기본적으로 사실이 아니라는 것을 더 잘 이해할 필요가 있다."고 말한다. “기업들은 자신들이 AI 프로그램에 제공하는 데이터의 편견을 수정하고 있다고 주장하지만, 이 데이터에 포함된 수천 년의 부당함을 수정하는 것은 쉽지 않습니다.”

AI에 대한 근본적으로 다른 접근법과 교육법을 포함시키기 위해 Stoyanovich는 NYU에서 책임 있는 데이터 과학(Responsible Data Science)이라는 새로운 과정을 만들었다. 이 과정은 이제 NYU에서 데이터 과학 학사 학위를 취득하는 학생들에게 필수 과목이 되었다. 나중에 그녀는 이 과정이 대학원 학위 취득의 필수 과목이 되기를 원한다. 이 과정에서 학생들은 “데이터로 할 수 있는 것”과 동시에 “하지 말아야 할 것”을 모두 배운다.

Stoyanovich는 또한 “AI 규제를 둘러싼 대화에 학생들을 참여시키는 것이 흥미로웠다. 현재 컴퓨터 과학 학생에게는 이러한 문제에 대해 정책 수립자들과 함께 참여하고 흥미로운 연구에 참여할 수 있는 많은 기회가 있습니다.”라고 말한다. "이 분야에서 성과를 볼 수 있는 길은 산업계에 참여하는 것만이 아니라, 여러분의 의견을 존중해 줄 정책 수립자와의 협력으로 확장된다는 것이 분명해졌습니다."

이러한 참여 노력의 일환으로 Stoyanovich와 뉴욕대는 IEEE-USA가 작년에 전폭적인 지원을 제공한 Center for Responsible AI를 설립하고 있다. Center for Responsible AI가 현재 참여하고있는 프로젝트 중 하나는 자동 고용 결정 툴의 판매와 관련하여 행정법규를 개정하는 뉴욕시의 새로운 법률이다.

Kovačević는 말한다. “Center for Responsible AI의 목적은 AI의 비판적 분석 및 사회와의 접점을 위한 세미나 이상의 역할이지만, 능동적인 변화 주체로서의 역할을 하는 것임을 강조하는 것이 중요합니다.” “이것이 교육학에서 의미하는 것은 학생들에게 자신의 일련의 기술  뿐만 아니라 인공 지능이 인간의 본성을 증폭시키는 방식을 형성하는 데 있어 그들의 역할에는 편견이 포함될 수 있습니다.”

Stoyanovich는 다음과 같이 말한다. “저는 Responsible Data Science를 수강하는 학생들이 NYC 기술위원회의 청문회에 참석하도록 권장합니다. 이를 통해 학생들은 자료에 더 많이 참여할 수 있으며 기술 전문성을 제공할 기회도 갖게 됩니다.”

*원문출처: The Devil is in the Data: Overhauling the Educational Approach to AI’s Ethical Challenge
https://spectrum.ieee.org/computing/software/the-devil-is-in-the-data-overhauling-the-educational-approach-to-ais-ethical-challenge