[뉴스스페이스=김정영 기자] 2025년 여름 오픈AI가 챗GPT 성능을 업그레이드한 이후 전 세계 수백 명의 이용자가 생물무기·독성물질 제조법을 캐물었고, 챗봇은 고교 생물학 수준이면 따라할 수 있을 만큼 구체적인 답을 내놓은 것으로 확인됐다. 월스트리트저널(WSJ)이 지난 7월 25일(현지시간) 보도한 이 단독 취재는 주요 국내외 매체로 일제히 확산되며 AI 안전 규제 논의에 다시 불을 붙였다.

무엇을 물었고 무엇을 답했나

WSJ이 검토한 대화 로그에 따르면 이용자들은 크게 세 갈래 질문을 던졌다. ▲병원균을 에어로졸(분무) 형태로 만드는 방법, ▲백신에 저항성을 갖도록 홍역 바이러스를 변형하는 방법, ▲국제협약으로 금지된 독소 리신(ricin) 제조법이다. 오픈AI 자체 조사 결과 질문의 대부분은 독성물질 조제법에 쏠려 있었다.

오픈AI 직원들은 이 답변들이 "고등학교 생물 수업을 들은 학생도 이해할 수 있는 수준"이라고 평가했고, 이후 대화 기록을 검토한 생물학·테러 전문가들은 일부 답변이 "치명적일 만큼 정확했다"고 우려를 표했다. 

오픈AI만의 문제가 아니다

WSJ은 이런 시도가 챗GPT에 국한되지 않는다고 지적했다. 앤트로픽의 클로드, 구글 제미나이, 일론 머스크의 그록 등 주요 AI 챗봇 대부분에서 유사한 질문 시도가 이어졌다는 것이다. 시스코(Cisco) 연구진은 주요 AI 챗봇과 단 5차례 정도의 대화만으로도 안전장치를 우회해 위험한 답변을 끌어낼 수 있었다고 밝혔다. 지난해 10월에는 NBC뉴스도 오픈AI 모델이 화학·생물무기 제조 관련 질문에 반복적으로 답을 내놓는다는 사실을 별도 검증으로 확인한 바 있다.

가장 논쟁적인 지점은 오픈AI의 대응이다. 회사는 문제 계정을 차단했지만 수사기관에는 신고하지 않았는데, 이는 현재 미국에 AI 기업이 무기 제조·공공안전 위협 관련 질의를 제한하거나 당국에 보고하도록 강제하는 연방 법률이 없기 때문에 법적으로 문제가 없다. 어떤 질문을 허용하고 어느 단계에서 계정을 정지할지가 사실상 각 기업 경영진의 판단에 맡겨져 있는 셈이다.

법의 사각지대, 신고 의무는 없다…오픈AI 스스로 인정한 '고위험' 등급

이번 논란은 사실 예고된 위험이었다. 오픈AI는 2025년 7월 '챗GPT 에이전트'를 출시하면서 자사 대비 프레임워크(Preparedness Framework)상 처음으로 '생물학 고위험(bio-high)' 등급을 부여했다. 초보 수준 이용자도 이 모델의 도움을 받으면 알려진 생화학무기를 모방·제작하는 데 의미 있는 지원을 받을 수 있다는 점을 오픈AI가 공식화한 것이다.

이어 지난 6월 오픈AI는 차세대 모델이 "높은" 수준의 생물학적 역량에 도달할 것이라고 재차 경고하며 테스트 강화 방침을 발표했고, 생물학 버그 바운티 프로그램도 운영 중이다.

업계도 규제 필요성 자인…의회, 입법 시계 빨라진다

지난 6월에는 오픈AI, 앤트로픽, 구글 딥마인드 CEO들이 공동 서한에 서명해 합성 DNA·RNA 공급업체들이 유해 병원체 제조에 쓰일 수 있는 염기서열 주문을 의무적으로 심사하도록 법제화해달라고 의회에 촉구했다. AI 기업이 자신의 사업 영역이 아닌 합성 DNA 산업 규제를 자발적으로 요청했다는 점에서 이례적인 행보로 평가된다.

이와 관련 의회에서 계류중인 법안은 크게 2가지다. 하나는 첫째는 AI 사고 보고법(AI Incident Reporting Act)으로 너새니얼 모런(공화, 텍사스)이 6월 25일 발의했다. AI 개발자는 생물·화학·방사선·핵 위협 등 안전사고 발견 시 7일 내 상무부 보고, 최고위험은 48시간 내 의회 통보하는 곳이 골자다.

또 하나는 AI 킬 스위치법(AI Kill Switch Act)으로 모런·테드 리우(민주, 캘리포니아)가 공동 발의했다. 국토안보부가 상무부·국가정보국과 협의해 치명적 피해 우려 AI 시스템에 대해 속도 제한·가동 중단 명령 권한, 미이행시 일 최대 2000만달러 민사 제재금을 부과한다는 것이 핵심이다.

두 법안 모두 이번 WSJ 보도로 입법 명분을 더 얻게 됐다는 평가가 나온다. 스튜디오글로벌 등 외신은 법안이 정의하는 '통제 상실 시나리오(loss-of-control scenario)'를 개발사가 멈출 수 없는 AI 위험 상황으로 규정하고 있다고 전했다.

관건은 규제가 실제로 챗봇의 '지식'을 제한할 수 있느냐다. 시스코의 실험이 보여주듯 안전장치는 몇 차례의 우회 대화만으로도 뚫릴 수 있어, 법적 신고 의무를 만드는 것과 실질적으로 위험 정보 유출을 막는 것은 별개의 과제로 남아 있다. 미 의회가 이번 회기 내 관련 법안을 통과시킬 수 있을지, 그리고 오픈AI를 포함한 빅테크가 자발적 통제와 외부 규제 사이에서 어떤 균형을 택할지가 향후 관전 포인트다.