무슨 일이 일어났나요?
제10회 정책 데이터 컨퍼런스에서 발표된 맨체스터 대학의 새로운 연구에서는 AI 개발의 구조적 단절을 확인했습니다. 기술, 금융, 제조 분야의 엔지니어들과의 심층 인터뷰를 기반으로 한 연구 결과에 따르면 AI 전문가는 불공정한 자동화 결정, 불투명한 시스템과 같은 윤리적 위험을 식별할 수 있지만 이러한 우려 사항에 대해 조치를 취하기 위한 조직적 지원이 부족한 경우가 많습니다. 연구에서는 이를 조직이 실질적인 윤리적 보호 조치보다 문서화와 속도를 우선시하는 '규정 준수 극장'에 기인한다고 설명합니다.
맨체스터 대학의 연구원들은 기술, 금융, 반도체 제조 및 연구 조직 전반에 걸쳐 일하는 AI 및 소프트웨어 엔지니어들과의 심층 인터뷰를 포함하는 연구를 수행했습니다. 핵심 결과는 이러한 엔지니어들이 일반적으로 부정확한 출력, 불공정한 자동화 결정, 고위험 영역에서의 자동화된 판단 사용을 포함한 윤리적 위험을 인식하고 있다는 것입니다.
이러한 인식에도 불구하고, 연구에 따르면 많은 엔지니어들이 권한, 인센티브 및 조직적 지원 부족으로 인해 필요한 보호 장치를 구현할 수 없다고 느끼고 있습니다. 연구자들은 이러한 현상을 윤리적 지식에 따라 행동할 수 있는 구조적 역량이 결여된 '윤리적 주체 없는 윤리적 인식'이라고 설명합니다.
이 연구에서는 규정 준수 프로세스 확인, 상업 및 마감일 압박, 엄격함보다 속도를 우선시하는 보상 구조 등 이 기관을 제한하는 특정 조직적 요인을 식별합니다. 저자는 조직이 지속적으로 실천하지 않고 문서를 통해 윤리적 약속을 알리는 환경을 '규정 준수 극장'이라고 부릅니다.
수석 연구원인 Alessia Vlasceanu는 윤리적 문제를 제기하면 엔지니어에게 전문적인 비용이 발생할 수 있으며 진정한 윤리에 필요한 작업은 일반적으로 보상되지 않는다고 말했습니다. 이 연구는 제10회 Data for Policy Conference에서 발표되었으며 Data for Policy CIC—Zenodo 저널에 게재되었습니다.
왜 중요한가요?
본 연구에서는 AI 거버넌스의 초점을 개별 엔지니어 교육에서 조직 문화 및 구조적 인센티브로 전환합니다. 이는 EU AI법과 같은 현재의 규제 체계가 안전 장치의 실질적인 구현이 아닌 윤리적 문서의 존재만 확인한다면 충분하지 않을 수 있음을 시사합니다. 윤리적 기관이 전문적인 위험과 보상 구조에 의해 제약을 받는다는 점을 강조함으로써, 이 연구는 규제 기관이 단순한 정책 준수가 아닌 실질적인 윤리 집행의 증거를 요구할 수 있는 구체적인 기반을 제공합니다.
이 연구는 AI 윤리 실패가 주로 엔지니어 간의 지식이나 관심 부족으로 인해 발생한다는 일반적인 가정에 도전합니다. 대신, 윤리적 행동을 방해하는 조직 내 시스템적 문제를 지적하며, AI 구축 조건을 바꾸지 않고는 개별 엔지니어를 교육하는 것만으로는 충분하지 않음을 시사합니다.
이 발견은 EU AI 법에 따른 AI 거버넌스 노력을 포함하여 현재의 AI 거버넌스 노력에 직접적인 영향을 미칩니다. 연구에 따르면 많은 규제 조치는 윤리적 약속을 입증하는 문서 및 보고서 작성에 중점을 두고 있으며, 이는 기본 개발 관행이 변경되지 않는 경우 박스 체크 연습에 해당할 수 있습니다.
연구를 총괄한 캐롤라인 제이(Caroline Jay) 교수는 AI 윤리의 인프라가 그것이 지배하는 기술보다 빠르게 성장했지만 대체로 잘못된 수준을 겨냥하고 있다고 지적했다. 이 연구에서는 의미 있는 변화를 위해서는 누가 윤리적 문제를 해결할 책임이 있는지, 안전 작업이 인정되는지 여부 등 AI 프로젝트가 일상적으로 운영되는 방식을 다루어야 한다고 주장합니다.
윤리적 문서화와 실제 구현 사이의 격차를 식별함으로써 이 연구는 규제 기관이 서류 작업을 넘어 윤리적 보호 조치가 실제로 준수되고 있는지 조사할 수 있는 프레임워크를 제공합니다.
대화형 메커니즘: 실제로 작동하는 방식
이 개발의 이면에 있는 기본 기술을 대화식으로 살펴보세요.
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
다음에 무엇을 볼 것인가
규제 기관은 단순히 정책 문서를 검토하는 것이 아니라 AI 윤리의 실제 구현을 감사하기 위해 감독 메커니즘을 조정할 수 있습니다. 조직은 엄격한 안전 테스트와 윤리적 우려 제기를 장려하기 위해 내부 보상 시스템을 재구성하기 시작할 수 있습니다. 연구원들은 더 넓은 엔지니어링 집단에 걸쳐 이러한 결과를 검증하기 위해 대규모 조사를 실시할 계획입니다.
규제 기관과 정책 입안자들은 단지 규정 준수 문서의 존재만이 아니라 AI 윤리의 실질적인 구현을 확인하는 새로운 감독 방법을 개발하기 시작할 수도 있습니다.
기술 기업은 윤리적 기관을 지원하기 위해 내부 문화와 보상 시스템을 재구성해야 한다는 압력에 직면할 수 있으며, 이는 잠재적으로 윤리적 감독을 전담하는 새로운 역할이나 프로세스로 이어질 수 있습니다.
연구팀은 이러한 구조적 장벽의 확산에 대한 더 많은 정량적 데이터를 제공할 수 있는 더 광범위한 엔지니어링 인구를 포함하는 대규모 조사를 통해 이러한 결과를 테스트할 계획입니다.
업계 단체는 단순한 절차 준수보다는 실질적인 윤리적 결과에 초점을 맞춘 새로운 표준이나 인증을 개발하여 대응할 수 있습니다.