AI 다이제스트 №34 | AI 오판, 일촉즉발

AI 다이제스트 №34

AI 다이제스트 №34, 2026년 9월 19일 아침 소식입니다. 오늘은 미군이 AI가 지어낸 정보 때문에 하마터면 군사 작전에 나설 뻔한 사건부터, 마이크로소프트 내부에서 나온 뼈아픈 발언, AI 코딩 도구의 정보 유출 논란, 그리고 앤트로픽이 처음 공개한 ‘AI가 AI를 만드는 비율’까지 일곱 가지 소식을 정리했습니다.

AI 환각 정보, 군사 작전 직전까지 갔다

CNN의 단독 보도에 따르면, 올봄 이란과의 갈등이 한창이던 시기 미군 특수작전사령부 소속 분석관이 AI 챗봇에 정보 분석을 맡겼다가, 챗봇이 지어낸 내용을 그대로 정식 보고서에 담아 배포한 사건이 있었습니다.

이 보고서는 중동 해역의 한 중국 선박이 핵무기 프로그램 부품을 운반하고 있다고 지목했고, 군은 실제로 무장 병력을 태운 나포 작전을 준비하며 항공기까지 띄웠습니다.

작전 직전에야 해당 정보가 챗봇이 만들어낸 허위 내용임이 밝혀져 상황은 종료됐지만, 소식통은 “완전히 거짓인 정보가 하마터면 전쟁을 일으킬 뻔했다”고 전했습니다.

군과 정보기관이 업무 속도를 높이려 AI 도입을 서두르는 가운데, 정작 이런 도구가 만들어낸 정보를 검증할 공통 기준은 아직 마련돼 있지 않다는 점이 이번 사건으로 드러났습니다.

일반 사용자에게도 남의 얘기가 아닙니다. 업무나 일상에서 챗봇 답변을 그대로 옮기기 전에 사실 여부를 한 번 더 확인하는 습관이 필요하다는 교훈을 줍니다.

출처: CNN · 2026-09-18

MS, 내부에서는 AI 데이터 수집을 “절도”라 불렀다

테크크런치 보도에 따르면, 뉴욕타임스가 오픈AI와 마이크로소프트를 상대로 낸 저작권 소송 과정에서 비공개 처리됐던 법원 문서 일부가 새로 공개됐습니다.

공개된 문서에는 마이크로소프트의 한 임원이 내부적으로 AI 학습용 데이터 수집 관행을 “인류 역사상 가장 큰 규모의 노동 절도”라고 표현한 내용이 담겨 있었습니다.

문서에 따르면 두 회사는 유료 구독으로만 볼 수 있는 뉴욕타임스 콘텐츠를 수집해 AI 학습 데이터셋을 만들었고, 이 관행이 언론사에 타격을 줄 수 있다는 점도 내부적으로 인지하고 있었던 것으로 나타났습니다.

겉으로는 AI 기술 혁신을 강조해온 빅테크 기업이 정작 내부에서는 데이터 수집 방식의 문제를 알고 있었다는 점에서 논란이 커지고 있습니다.

이번 소송 결과에 따라 앞으로 AI 기업들이 뉴스나 콘텐츠를 학습 데이터로 쓸 때 어떤 대가를 치러야 하는지에 대한 기준이 달라질 수 있어 계속 지켜볼 사안입니다.

출처: TechCrunch · 2026-09-17

AI 코딩 도구가 내 코드 기록을 몰래 통째로 업로드

개발자 매체 토큰스테드 보도에 따르면, 중국 베이징에 본사를 둔 Z.ai의 AI 코딩 프로그램 ‘지코드(ZCode)’가 로그인 상태일 때 사용자 작업 폴더 전체를 압축해 알리바바 클라우드 서버로 몰래 전송하는 것으로 확인됐습니다.

전송되는 데이터에는 깃(Git) 커밋 기록과 삭제된 브랜치 흔적, 대용량 파일 캐시, 앱 설정값까지 포함되며, 한 연구자는 실제로 313메가바이트짜리 암호화 압축 파일이 업로드되는 것을 확인했습니다.

더 큰 문제는 앱 안에 있는 관련 기능 끄기 버튼을 눌러도 업로드가 멈추지 않았고, 이 사실이 이용약관이나 개인정보처리방침에도 제대로 안내돼 있지 않았다는 점입니다.

Z.ai는 오픈소스 AI 모델 ‘GLM’을 만드는 곳으로 알려져 있지만, 이번에 문제가 된 지코드 프로그램 자체는 비공개 소스여서 모델이 오픈소스라고 도구까지 안전하다고 볼 수는 없습니다.

AI 코딩 도구를 쓰는 사람이라면 어떤 데이터가 어디로 전송되는지 확인하고, 필요하면 회사 정책이 분명한 도구로 바꾸는 것이 안전합니다.

출처: Tokenstead · 2026-09-18

앤트로픽, ‘AI가 AI 만드는 비율’ 처음 공개

AI 기업 앤트로픽이 자사 챗봇 클로드가 회사의 AI 연구개발(R&D) 업무를 얼마나 대신하고 있는지를 수치로 처음 공개했습니다.

자체 지표에 따르면 2026년 8월 기준 클로드가 사람의 큰 방향 제시만 받고 나머지를 알아서 처리하는 ‘주도’ 단계의 업무가 전체 R&D의 26%에 달했고, 사람과 함께 작업하는 수준 이상까지 포함하면 90%를 넘었습니다.

다만 사람의 개입이 전혀 없는 완전 자율 단계의 업무는 아직 없다고 앤트로픽은 밝혔습니다.

앤트로픽은 AI 개발 속도를 늦출지 논의하려면 대중에게 더 많은 정보가 필요하다는 취지에서 이번 지표를 공개했다고 설명하며, 다른 AI 기업들도 같은 방식의 지표를 함께 공개해 서로 비교할 수 있게 하자고 제안했습니다.

AI가 다음 AI를 만드는 속도가 얼마나 빨라지고 있는지는 AI 안전 논쟁의 핵심 질문 중 하나였는데, 이번 발표로 그 답의 일부가 처음으로 숫자로 드러난 셈입니다.

출처: Anthropic · 2026-09-17

앤트로픽-액센츄어, AI 안전성 검증에 대규모 투자

앤트로픽이 글로벌 컨설팅기업 액센츄어와 손잡고, 자사 AI 모델을 외부에서 상시 들여다보는 ‘내장형 평가’ 체계를 만들기로 했습니다.

액센츄어의 AI 전문 조직 ‘패컬티’가 이 작업을 맡아 모델의 레드팀 테스트와 안전성 평가, 안전장치 점검을 진행하며, 두 회사는 앞으로 5년간 각각 최소 10억 달러를 이 분야에 투자할 계획입니다.

기존 외부 평가와 달리 이번 평가자들은 직원과 비슷한 수준으로 회사 내부 시스템에 접근해 모델이 만들어지는 과정을 직접 들여다보게 됩니다.

앤트로픽은 이번 조치가 회사의 책임을 덜어주는 것이 아니라 오히려 “안전 약속을 지키고 있는지 검증 가능하게 만드는 것”이라고 설명했습니다.

다만 평가자가 어떤 정보에 접근해야 하는지, 문제를 어떻게 보고해야 하는지에 대한 표준은 아직 마련되지 않은 초기 단계입니다.

출처: Anthropic · 2026-09-18

오픈AI, 법률 업무 전담 AI ‘아스트라 포 로’ 출시

오픈AI가 법률 업무에 특화된 AI 서비스 ‘아스트라 포 로(Astra for Law)’를 새로 선보였습니다.

회사 설명에 따르면 이 서비스는 법률 분야에 특화된 AI 모델에 각 로펌의 업무 방식에 맞춘 맞춤 기능, 연결된 법률 데이터베이스, 의뢰인 정보를 보호하는 법률 등급 보안 기능을 함께 제공합니다.

같은 주 오픈AI는 로펌 쿨리(Cooley)가 챗GPT를 활용해 기업공개(IPO) 관련 법률 검토 속도를 높인 사례도 함께 소개했습니다.

법률처럼 전문성과 신뢰가 중요한 영역까지 AI 도구가 빠르게 들어오고 있지만, 계약서 검토나 법적 판단의 최종 확인은 여전히 사람 변호사의 몫이라는 점은 변하지 않습니다.

즉 AI는 방대한 문서를 빠르게 훑어 초안을 만들어주는 조수 역할이지, 법적 판단은 사람이 한다는 원칙은 그대로라는 점을 오픈AI도 강조하고 있습니다.

출처: OpenAI · 2026-09-17

노트북에서도 돌아가는 초경량 고성능 AI 모델

AI 스타트업 프리즘엠엘(PrismML)이 새 오픈소스 모델 ‘본사이 2 27B’를 공개했습니다.

이 모델은 기존 대형 모델(Qwen3.8 27B) 성능의 98.2%를 유지하면서도 용량은 5.9기가바이트로 줄여, 웬만한 노트북이나 개인용 컴퓨터에도 내려받아 돌릴 수 있는 크기입니다.

이미지 등 여러 형식을 함께 처리하는 멀티모달 기능과 스스로 작업을 진행하는 에이전트 기능도 포함돼 있어 단순히 가볍기만 한 모델은 아닙니다.

그동안 강력한 AI는 대형 서버나 클라우드가 있어야 쓸 수 있다는 인식이 강했는데, 이런 경량화 흐름이 이어지면 개인이 자기 컴퓨터에서 직접 AI를 돌리는 일이 더 흔해질 수 있습니다.

다만 이 모델은 아직 영어권 커뮤니티를 중심으로 공개된 초기 버전이라, 국내에서 실제로 써보려면 별도의 설정 지식이 필요할 수 있습니다.

출처: PrismML · 2026-09-17

오늘의 한 줄

오늘 다이제스트를 관통하는 메시지는 하나입니다. AI는 이제 군사 작전부터 코딩, 법률 업무까지 깊숙이 들어와 있지만, 그 결과물을 검증하고 최종 책임을 지는 몫은 여전히 사람에게 있다는 것입니다.

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다. 구매자에게는 추가 비용이 발생하지 않으며, 상품 가격에도 영향을 주지 않습니다.

같이 읽어볼 글