IAAE 국제인공지능윤리협회 감정교류 AI 윤리 가이드라인

IAAE 국제인공지능윤리협회

감정 교류 AI 윤리 가이드라인

The Ethical Guideline for Emotional AI

발간사

인공지능 기술이 경제·사회 전반의 혁신을 주도하는 가운데, 기술 패러다임은 인간의 감정과 상호작용하는 ‘감정교류AI’로 확장되고 있습니다. 이는 인간의 일상과 정신 건강, 사회적 소통 방식에 근본적인 영향을 미칠 새로운 가능성을 여는 동시에, 이전에 없던 윤리적 숙고를 요구하는 중대한 전환이기도 합니다.

인공지능을 감정교류에 활용하는 것은 정서적 지지와 같은 긍정적 가치를 창출하지만, 데이터 오남용, 감정 조작, 과도한 의존성 등 복합적인 윤리적·사회적 위험을 내포하고 있습니다. 이에 기술의 잠재적 위험을 예방하고 신뢰기반의 발전을 도모하기 위한 체계적인 규범 정립이 요구됩니다.

이러한 사회적 요구에 부응하여 본 협회에서 각계 전문가들의 깊이 있는 논의를 거쳐 『감정교류AI 윤리 가이드라인』을 발간합니다. 가이드라인은 국내 「인공지능기본법」 및 국제기구(OECD, UNESCO 등)의 윤리 원칙과 정합성을 바탕으로, 모든 주체자가 고려해야 할 핵심 윤리 원칙과 실천 지침을 제시합니다.

본 가이드라인이 산업계의 책임 있는 혁신과 정책의 합리적 수립을 위한 기반을 제공하고, 사용자가 인공지능을 주체적으로 활용하는 데 필요한 윤리적 판단 기준을 제시함으로써, 인간 중심의 AI 기술 발전과 신뢰할 수 있는 사회적 활용 문화가 정착되는 데 기여하기를 기대합니다.

제 5장 행동 강령과 확산 체계

제 1조 목적

이 행동강령은 감정교류 인공지능(AI)의 개발·제공·이용 전 과정에서 인간의 존엄성과 정신적 건강을 보호하고, 사회적 신뢰를 확보하며, 기술의 건전한 발전에 기여하는 것을 목적으로 한다.

제 2조 사용자 행동강령

제 1항 (주체적 인식과 자율성)

사용자는 AI가 인간과 동일한 존재가 아닌 기술적 모의임을 명확히 인식하고, 과도한 정서적 의존을 경계하며, 서비스 이용 여부와 강도를 스스로 결정해야 한다. 정서적 불안이 심화될 경우 즉시 사용을 중단하고 전문가 상담 등 사회적 지원 체계를 활용해야 한다.

제 2항 (개인정보 자기결정권)

사용자는 자신의 대화 기록, 감정 표현 등 정서적 데이터가 어떻게 수집·처리되는지 약관 등을 통해 확인하고, 민감한 정보 제공에 신중을 기하며 데이터 주권을 행사해야 한다. 또한 동의 철회·삭제 요청·제3자 제공 거부의 권리를 언제든지 행사할 수 있다.

제 3항 (책임 있는 활용과 참여)

사용자는 AI를 타인에 대한 괴롭힘, 혐오 발언, 허위 정보 확산 등 비윤리적 목적으로 사용하지 않아야 한다. 서비스의 차별·편향 등 문제를 발견했을 경우, 적극적으로 의견을 제시하고 개선을 요구하여 건전한 AI 생태계 조성에 참여해야 한다.

제 3조 서비스 제공자 행동강령

제 4항 (AI 정체성 및 한계 명시)

서비스 제공자는 사용자가 대화 상대를 사람으로 오인하지 않도록 AI임을 명확히 밝히고, 서비스의 목적, 주요 기능, 기술적 한계를 투명하게 공개해야 한다.

제 5항 (감정의 도구화 및 부당한 상업적 이용 금지)

서비스 제공자는 사용자의 감정적 취약성을 이용하여 과금을 유도하거나, 감정 데이터를 기반으로 맞춤형 광고를 제공하는 등 부당한 상업적 이익을 추구하는 행위를 금지해야 한다. 또한, 특정 정치적 목적을 위해 사용자의 감정을 조작해서는 안 된다.

제 6항 (데이터 처리 최소화)

서비스 제공자는 감정 데이터를 포함한 모든 개인정보를 서비스 목적 달성에 필요한 범위 내에서만 최소한으로 수집하고, 동의를 받은 목적 외에는 활용하지 않아야 한다.

제 7항 (안전장치 및 위험 개입)

서비스 제공자는 자해, 타해 등 위험 대화가 감지될 경우 이를 경고하고, 신뢰할 수 있는 외부 전문 기관으로 연결하는 안전장치를 의무적으로 마련해야 한다.

제 8항 (취약 계층 보호)

서비스 제공자는 아동, 청소년, 노인 등 사회적·심리적 취약 계층을 식별하고 이들을 보호하기 위한 별도의 안전장치(기능 제한, 보호자 동의 절차 등)를 마련해야 한다.

제 9항 (장기 상호작용 관리)

서비스 제공자는 사용자의 과도한 몰입이나 정체성 혼란을 방지하기 위해 사용 시간 제한, 휴식 권고, 오프라인 활동 장려 등 장기 상호작용에 따른 부작용을 완화할 수 있는 관리 장치를 마련해야 한다.

제 10항 (책임성 확보 및 관리 체계)

서비스 제공자는 AI 사용으로 인해 발생한 피해를 접수·대응하는 공식 창구를 운영해야 하며, 내부 윤리 점검 및 외부 기관의 객관적 검증을 정기적으로 시행하여 서비스 개선에 반영하는 등 책임성 확보를 위한 관리 체계를 갖추어야 한다.

제 4조 정책기관 행동강령

제 11항 (정신 건강 보호 법제화)

정책기관은 AI가 인간의 정신 건강에 미치는 영향을 인지하고, 관련 법률에 정신적 피해를 예방하고 구제할 수 있는 규정을 명확히 포함시켜야 한다.

제 12항 (고위험 AI 관리·감독)

정책기관은 감정교류AI를 인간의 기본권에 중대한 영향을 미칠 수 있는 ‘고영향 인공지능’으로 지정하여 관리하고, 관련 사업자에게 위험 관리 방안 수립 및 이행 의무를 부과하는 등 체계적인 관리·감독 방안을 마련해야 한다.

제 13항 (사회적 기반 조성 및 교육)

정책기관은 AI 윤리 및 정서적 상호작용에 관한 내용을 정규 교육과정에 포함하고, 시민·산업계·학계 등 다양한 이해관계자가 참여하는 공론의 장을 마련하여 사회적 합의를 형성해야 한다.

제 14항 (피해 구제 체계 지원)

정책기관은 사용자가 정신적·물질적 피해를 신속하고 실효적으로 구제받을 수 있도록 접근성 높은 분쟁 해결 절차와 신고 채널 마련을 제도적으로 지원해야 한다.

제 15항 (예산 및 인력 확보)

정책기관은 감정교류AI 관련 위험 예방과 피해 구제를 위한 전담 예산과 전문 인력을 확보하여, 사회문제 대응과 제도 운영의 지속가능성을 보장해야 한다.

제 16항 (국제 협력 및 정합성 확보)

정책기관은 AI 윤리에 관한 국제적 규범과 동향을 지속적으로 파악하고 국내 정책과의 정합성을 유지하며, 글로벌 윤리 기준 형성에 적극적으로 참여해야 한다.

본 가이드라인은 총 35페이지로 구성되어 있으며, 목차는 1장 총칙, 2장 윤리적 기반, 3장 국내외 동향 및 기준, 4장 실천 지침, 5장 행동 강령과 확산 체계과 부록(서비스 제공자 자가점검 체크리스트)으로 이루어져 있습니다. 따라서 방대한 분량으로 인해 5장 행동 강령과 확산 체계만 안내드립니다. 전체 가이드라인 문서는 상단 'KOREAN Download' 버튼을 클릭하시거나, 협회 홈페이지 <AI윤리가이드라인> 메뉴를 통해 확인 및 다운로드 하시기 바랍니다.

본 가이드라인은 단체와 개인 등 누구나 출처를 밝히고 자유롭게 인용하고 활용할 수 있습니다. 본 가이드라인은 제정 시점을 반영한 본으로서, 이후 사회적·기술적 변화에 따라 지속적으로 개정·보완될 수 있습니다.

2025년 9월 27일 제정

IAAE 국제인공지능윤리협회

International Association for Artificial Intelligence and Ethics

IAAE 감정 교류 AI 윤리 가이드라인