AI에게 일을 맡겨도 될까? ‘위임형 AI’의 치명적 약점 | 인사이트리포트 | 삼성SDS
업무 위임의 시대, 생성형 AI가 그럴듯하게 숨겨놓은 '조용한 문서 훼손' 리스크를 진단하고, 도메인 전문가 중심의 감독 체계와 신뢰 가능한 위임 구조 설계 전략을 제시합니다.
www.samsungsds.com
본 포스팅은 삼성 SDS 인사이트 리포트 [AI에게 일을 맡겨도 될까? ‘위임형 AI’의 치명적 약점] 를 읽고 개인적으로 학습한 내용을 요약 및 리뷰한 글입니다.
이번 주제는 "AI의 실수"라고 볼 수 있을 것 같다.
AI가 빠르게 발전하면서 일상적, 업무적 측면에서 다양하게 도움을 주고 있다.
그러나 AI가 장기적인 작업을 도와주는 과정에서 문서나 프로그램에서 핵심적인 부분이 빠지는 경우가 꽤 있다.
메모리의 한계로 인하여 오래된 업무내용을 기억하지 못하는 것을 제외하더라도
빼먹으면 안되는 부분을 글에서 빼거나 소스코드에서 빼버리는 실수가 일어나기도 한다.
이러한 실수들은 육안으로 확인하기 어렵고 업무의 맥락을 이해한 상태에서
세부사항을 따져가며 검증 과정을 거쳐야 실수들을 찾을 수 있다.
해당 인사이트 리포트에서 소개한
[반복적인 업무 위임에서 문서가 원래 정보를 얼마나 정확하게 유지하는가] 실험에서는
대표적인 AI들에게서조차 약 25% 정도의 손상을 확인할 수 있었다고 한다.
게다가 전체 모델 평균은 50%에 달했다.
글에서는 이 손상 과정에서 일어나는 문서 훼손에 대해 경고하고 있다.
완성도를 높이기 위해 AI가 자연스럽게 고치는 대신 문맥이 전혀 달라질 수 있는 것이다.
그렇게 달라진 문맥에서 법적인 책임을 기업이나 개인이 지는 것이다.
하지만 그렇다고 AX를 포기하지 않아도 된다.
글에서는 "편집을 수행하는 AI 외에도 검증을 담당하는 AI 에이전트를 추가 + 도메인 전문가가 이러한 과정을 감시하는 체계"와 같은 "좋은 품질의 검증 방식이 핵심이 될 것"이라 말하고 있다.
이러한 측면에서 사람의 역할이 감독, 검증, 책임자로 변화가 되고있는 것이다.
이번 글에서도 확인할 수 있듯이 도메인에 대한 이해는 어디서나 중요한 듯 하다.