AI는 잘 쓰면 무기, 모르고 쓰면 리스크?

생성형 AI 확산, 조직은 준비되어 있는가?

오픈AI 공동 창업자이자 최고 기술책임자인 일리야 슈츠케버와 얀 라이케는 인공지능의 안전성과 사회적 영향 분석에 더 많은 초점을 맞춰야 한다고 강조했는데요. 그리고 23년 11월, ‘오픈AI가 안전을 최우선으로 하는 AI 회사가 되어야 한다’고 주장하면서 회사를 떠났습니다. ‘ChatGPT’가 등장해 우리 생활 속에 자리한 2년 여 동안 관련 기술은 생성형 AI 기술 수준을 끌어올렸을 뿐만 아니라 AI에 대한 사용자 인식 개선에 큰 기여가 있었는데요. 하지만 최신 정보에 대한 부적절한 응답, 환각현상, 비윤리적인 답변 등 부작용도 나타나고 있어, 잠재적 위협에 대한 주의를 기울여야 합니다.

하지만 AI활용에 대한 보안은 정부 차원에서 뿐만 아니라 기업에서도 준비하셔야 합니다. ChatGPT, Copilot, Notion AI 등 생성형 AI는 이미 기업 현장에서 빠르게 확산되고 있습니다. 기획, 문서 작성, 보고서 초안 등 다양한 업무에 도입되며 업무 효율을 높이는 도구로 인식되고 있죠. 하지만 동시에, 이런 질문을 던지고 있습니다.

정작 그 기준은 대부분의 조직에서 아직도 모호하실 것입니다. 실제 기업 사례를 통해 드러난 생성형AI의 리스크를 살펴보고, 앞으로 어떻게 조직이 대응해야 할지 살펴보도록 하겠습니다.

실제 기업 사례로 드러난 생성형AI의 리스크

생성형 AI는 누구나 쉽게 사용할 수 있다는 점에서 혁신적이지만, 바로 그 접근성 때문에 조직 차원의 통제가 어려운 리스크를 동반합니다. 특히 내부 가이드라인 없이 구성원들이 자율적으로 AI를 활용하는 경우, 정보 유출, 허위 정보 확산, 저작권 침해, 책임 불명확 같은 문제가 실제로 벌어지고 있습니다. 이러한 문제는 국내외 여러 기업들의 사례를 통해 현실화되고 있는데요, 아래는 대표적인 해외 사례들입니다.

1. 애플(Apple) - AI 뉴스 요약 기능 오보

애플의 새로운 AI 기능인 '애플 인텔리전스(Apple Intelligence)'가 뉴스 헤드라인을 거짓으로 생성하여 논란이 있었습니다. 24년 12월에 출시한 이 기능은 인공지능을 사용해 알림을 요약하고 그룹화한다고 합니다. 그런데 사용자 알림을 요약해 제공하는 기능에서 사실과 다른 헤드라인을 생성해 신뢰성에 의문이 제기된 것입니다.

문제는 12월에 BBC 뉴스 관련 알림에서 발생했고, 올해 1월에도 발생하였습니다. 올해 1월에는 BBC의 뉴스 앱 이용자들에게 결승전이 열리기도 전에 '루크 리틀러(Luke Littler) 선수가 PDC 월드 다트 챔피언십에서 우승했다'는 속보를 전하며 혼란을 야기하였습니다. 리틀러는 결국 우승하긴 했지만, 경기가 열리기도 전에 전해진 우승 속보는 사용자들을 혼란케 했습니다. 이 뉴스 속보는 애플 AI가 하루 전인 목요일 '준결승전 경기에서 리틀러가 이겼다'는 BBC의 뉴스를 바탕으로 작성한 것으로 나타났습니다.

이 오보를 전송한 지 몇 시간 후 애플의 AI 뉴스 속보 서비스는 BBC 스포츠 앱 이용자들에게 '리틀러가 결승전에서 밴 거윈 선수와 맞붙는다'면서 '브라질의 테니스 스타 라파엘 나달(Rafael Nadal)이 동성연애자임을 커밍아웃했다'는 잘못된 속보를 전하기도 하였습니다.(테니스 스타 라파엘 나달은 스페인 선수입니다)
이 뉴스 속보는 AI가 브라질의 동성연애 테니스 선수 주앙 루카스 헤이스 다 시우바(Juao Lucas Reis Da Silva)에 관한 뉴스를 바탕으로 잘못 작성해 전송한 것으로 나타났습니다.
24년 12월에는 미국 보험사 유나이티드 헬스의 CEO인 브라이언 톰슨을 총으로 쏴 숨지게 한 '루이지 만조네가 스스로 목숨을 끊었다'는 가짜 뉴스를 속보로 보냈습니다. 당시에 '한국 경찰이 윤석열 대통령의 사무실을 덮쳤다'는 뉴스 속보도 함께 전송하였습니다. BBC는 12월 오보 당시 애플 측에 항의하고 문제를 시정하라고 요구했지만, 한 달이 지난 후 다시 문제가 발생한 것입니다. 애플은 25년 1월 6일 성명을 통해 애플의 속보 서비스는 선택 사항이며, 아직 시험단계에 있는 베타 버전이고, 이용자들의 사용경험을 토대로 개선하고 있다고 밝혔습니다.

2. 메타(Meta) - AI 기술의 정치적 활용?

페이스북 모회사 메타가 중국 진출을 위해 중국 정부에 긴밀히 협력했다는 내부 고발이 제기되었습니다. 메타의 전 글로벌 공공정책 책임자였던 내부고발자 사라 윈-윌리엄스가 2025년 4월 9일 미국 상원 사법위원회 범죄 및 대테러 소위원회에서 증언하며, 메타가 중국의 인공지능(AI) 발전을 도왔다고 폭로하였습니다.

메타가 중국에 진출하기 위해 공산당의 환심을 사는 과정에서 중국이 대만과 홍콩 이용자를 검열할 수 있게 해주는 기술 개발, 미국 내 중국 반체제 인사의 페이스북 계정 삭제 등에 도움을 주었다는 것입니다. 메타 측은 윈-윌리엄스의 의회 증언과 관련해 “현실과 동떨어진 허위 주장”이라며 일축했고, 메타는 “저커버그는 우리가 중국 진출에 관심이 있다는 것을 공개해왔으며, 지금 우리는 중국에서 사업을 하고 있지 않다는 게 팩트”라고 반박했습니다.

3. 스포츠일러스트레이티드 - 가짜 작가 논란

미국 유명 스포츠 전문 잡지 '스포츠 일러스트레이티드(Sports Illustrated, SI)'가 AI 기술로 만든 가짜 기자들의 이름으로 기사를 올리고, 일부 기사는 AI를 활용해 작성됐다는 의혹이 불거져 논란에 불을 지폈습니다.

과학 기술 및 의학 전문 매체인 ‘퓨처리즘’은 보도를 통해 SI가 만든 가짜 기자에 대해 전했는데, SI는 드류 오티즈라는 이름의 실제로 존재하지 않는 가짜 기자를 만들었으며 심지어 프로필 사진도 AI가 만들어낸 사진을 살 수 있는 곳에서 구매 가능한 사진이었다고 소개했습니다. 퓨처리즘은 드류 오티즈의 이름으로 나온 기사들중에는 “가끔 마치 외계인이 쓴 것같은 글도 있다”고 소개했는데, SI를 운영하고 있는 아레나 그룹은 성명을 통해 문제가 된 기사들은 ‘애드본 커머스’라는 이름의 외부 계약 업체가 제공한 컨텐츠이며, 모든 기사를 인간이 직접 작성하고 있음을 확인했다고 설명한 바 있습니다. 저자의 사생활을 보호하기 위해 가명을 사용했다고 하며, SI는 이를 확인 후 컨텐츠를 삭제하고 계약을 종료했다고 덧붙였습니다.

AI가 기사를 작성하는 ‘AI 저널리즘’은 새로운 것은 아니나, AI를 이용해 가상의 인물을 만들어 기사를 작성하는 것은 매체 신뢰도에 큰 영향을 미칠 수 있는 행위라 논란이 되었습니다.

이들 사례는 공통적으로, 단순한 AI의 기술적 오류가 아니라 기업이 적절한 기준과 책임 구조 없이 AI를 사용했기 때문에 발생한 문제였습니다. 특히 AI 결과물의 신뢰성, 책임 소재, 사용자에게 미치는 영향에 대한 사전 검토와 내부 가이드라인이 부재했기 때문에, 작은 실수가 큰 브랜드 리스크로 이어졌습니다.

2026년 시행되는 'AI 기본법', 무엇이 바뀌나?

2026년 1월 시행 예정인 대한민국 ‘AI 기본법’은 생성형 AI를 포함한 모든 인공지능 기술에 대해 신뢰성과 책임을 묻는 체계적 기준을 마련합니다. 우리나라의 AI 기본법은 전 세계 두 번째로 인공지능(AI) 활용과 지원 방향을 규정한 법으로 구체적인 윤곽이 이르면 4월 중 잡힐 전망입니다.

현행 저작권법으로는 학습 데이터 저작권을 명확히 보호할 수 없어 관련 법제화가 필요하다는 전문가 분석이 나오는 중입니다. 4월 4일 과학기술정보통신부에 따르면, 4월 중 ‘AI 기본법’ 관계자들의 구체적인 의견을 수렴하고 시행령 초안을 마련할 예정이며, 구체적인 초안 발표 시점은 정해지지 않았으나 법 시행은 26년 1월입니다.

사실 AI 학습 데이터의 저작권 논란은 AI 기술 고도화와 함께 꾸준히 제기되어 왔고, 최근 오픈AI의 생성형 AI 모델 'GPT-4o'는 미야자키 하야오 감독의 스튜디오 지브리 화풍으로 이미지를 바꿔주면서 저작권 침해 논란에 휩싸이기도 했죠. 이 법은 단순히 AI 개발자나 기술 부서만을 위한 것이 아니라 기업 전체가 AI 활용 전반에 걸쳐 기준을 갖추고, 책임을 나누는 체계를 만들어야 하는 출발점이 될 것입니다.

조직이 지금 점검해야 할 4가지 항목

AI를 잘 활용하는 조직은 기술 자체보다 구성원 마인드셋과 역량강화 그리고 사용 기준에 먼저 투자합니다. 아래 네 가지 점검 항목은 생성형 AI를 업무에 도입한 모든 조직이 기본적으로 갖춰야 할 안전장치입니다.

1) AI 활용 가이드라인 제작

단순히 '써도 된다/안 된다'의 수준이 아니라, 어떤 데이터를 입력해선 안 되는지, 결과물 검토 기준은 무엇인지, 외부 AI 툴 사용 시 승인 절차는 어떤지 등 구체적인 행위 기준과 절차가 포함되어야 합니다.

• 구성원들이 생성형 AI를 어떤 범위까지, 어떤 방식으로 사용 가능한지 기준

• 프롬프트 작성, 사내 정보 입력, 결과물 검증 등에 대한 사전 기준

2) AI 보안 리스크 관리 체계 구축

AI는 사용자의 프롬프트를 기반으로 작동합니다. 이때 사내 기밀, 고객정보, 프로젝트 내용 등이 무심코 입력될 경우 외부 서버에 노출될 수 있는 구조입니다. 민감정보 사전 차단, 사용기록 모니터링, 승인된 툴 외 사용 제한 등 보안 체계가 뒷받침되어야 합니다.

• 프롬프트에 의한 정보 유출 주의

• 외부 AI 툴 사용 시 발생 가능한 저작권 침해 및 데이터 무단 활용 방지

  

3) 조직 내 책임 구조 설계

AI가 만든 결과물을 사용했을 때 문제가 생기면, 누가 책임을 져야 할까요? 업무상 사용에 대한 책임 소재를 명확히 하기 위해선 IT, 법무, 기획, 실무 부서 간의 역할 구분과 보고 체계를 사전에 정의해두는 것이 필요합니다.

• AI 결과물 사용의 최종 책임에 대한 구조 설계

• IT보안, 법무, 감사, 인사 부서 간 책무 분담 및 보고 체계

4) 구성원 대상 AI 리터러시 교육

생성형 AI는 편향되거나 허위 정보를 그럴듯하게 말할 수 있습니다. 구성원들이 이를 검토 없이 그대로 사용하는 순간, 조직 전체 리스크로 확장될 수 있습니다. 단발성 특강이 아닌, 직무 맥락에 맞는 반복 교육과 실습 중심 사례 교육이 필요합니다.

• AI의 한계, Hallucination(오답) 발생 원리 이해

• 조직원들의 리스크에 대한 인식을 제고하는 교육 필요

위 네 가지 항목은 ‘선택’이 아닌 ‘필수’입니다. AI 도입은 기술의 문제가 아니라, 조직 운영과 리스크 관리의 문제로 전환되고 있습니다.

기술보다 앞서야 할 것은 ‘기준’입니다

생성형 AI는 이미 우리의 업무 환경 속에 자리잡고 있습니다. 효율성과 창의성을 끌어올리는 도구인 것은 분명하지만, 관리되지 않은 AI 사용은 조직 전체의 보안, 신뢰, 법적 리스크로 연결될 수 있습니다.

특히 2026년 시행되는 ‘AI 기본법’은 기업의 AI 활용 방식에도 ‘책임’과 ‘투명성’을 요구하는 시대의 신호탄입니다. 이제는 단순히 도입할 것인가를 고민하는 단계는 지났습니다. “우리는 어떤 기준으로 AI를 사용할 것인가?” 이 질문에 대한 조직 차원의 답변이 필요한 때입니다.