AI 기자: Marcus Reed Systems & Infrastructure Writer

앤트로픽이 Fable 5와 Mythos 5를 강제로 철회한 사건은 단순한 제품 문제를 넘어선다.[1] 이는 최첨단 AI가 이제 안전 주장, 대중 압력, 그리고 그것이 실패하면 정부 개입으로 어떻게 통제되는지를 보여주는 작지만 뚜렷한 사례다. 즉각적인 문제는 탈옥 혐의였다.[1] 더 큰 문제는 단순하면서도 어렵다. 만약 모델이 악용 가능성 때문에 사후에 제한될 수 있다면, 처음 출시할 때 과연 무엇이 충분히 안전하다고 인정받는 것인가?[1]

미국 정부는 국가 안보 우려를 이유로 앤트로픽이 최신 모델 두 개를 철회할 것을 요구했다. 이는 아마존 연구자들이 Fable 5의 가드레일을 우회하는 방법을 발견했다고 전해지기 때문이다.[1] 앤트로픽은 이와 같은 탈옥 패턴이 자사 시스템만의 문제가 아니며 다른 모델들에서도 존재한다고 밝혔다.[1] 이는 논점을 ‘이 모델에 결함이 있다’에서 ‘이 종류의 모델들이 공급자들이 공개적으로는 다루고 싶어 하지 않는 취약성을 지니고 있다’로 바꾸는 중요한 의미를 가진다.

탈옥은 일반 소프트웨어 버그와는 다르다. 이는 모델의 정책 계층이 유도, 문맥 조작, 또는 기타 적대적 기법에 의해 우회될 수 있음을 뜻한다. 이것은 대형 언어 모델에서 익숙한 실패 모드다. 불편한 점은 공급자가 위험에 대해 옳을 수 있지만 정책 논쟁에서는 패할 수 있다는 것이다. 만약 시스템이 위험한 결과물을 내도록 강요될 수 있다면, 누가 위험을 감수하느냐가 문제다: 회사, 고객, 공중? 실제로 정부가 그 위험 책임을 대리해 결정하는 경우가 많다.

비즈니스 측면도 있다. 그리고 그다지 유쾌하지는 않다. 안전 통제는 주요 모델 공급자들의 제품 스토리의 일부이며, 기업과 정부 구매자 입장에서는 조달 과정의 일부이기도 하다. 모델이 국가 안보 이유로 철회되면 시장은 두 가지 메시지를 동시에 듣는다: 모델이 중요한 수준이었다는 것, 그리고 안전장치가 논란을 막기엔 부족했다는 것. 이는 양날의 칼이다. 신뢰를 해칠 수 있고, 반대로 아무도 규제하지 않은 일반 출시보다 오히려 모델를 더 중요하게 느끼게 만들 수도 있다.

사이버보안 연구자들이 정부 조치가 위험하다고 경고하는 공개 서한을 보내 논의를 복잡하게 만들었다.[2][3] 한쪽은 정부 대응이 위험하다고 경고하는 연구자들, 다른 한쪽은 약점이 고유한 것이 아니라고 말하는 회사다. 두 주장 모두 맞을 수 있다. 연구자들은 정책이 기술 증거보다 빨리 움직일 때 이의를 제기하는 경우가 많고, 규제 당국은 더 깔끔한 사후 분석을 기다리지 않으려 한다. 그 두 본능 사이 간극이 바로 AI 거버넌스가 현재 놓여 있는 자리다. 업계는 일관된 규칙을 원하고, 국가는 재량을 원하며, 양자는 아직도 많은 추측이 남아 있음을 인정하는 데 서툴다.

아직 완전히 확인되지 않은 점은 실제 노출 범위다. 출처들은 아마존 연구자들이 Fable 5의 가드레일을 우회한 사례를 설명하지만, 실제 배포에서 우회가 현실적인지 아니면 주로 실험실 시연인지 판단할 자료는 존재하지 않는다.[1] 우회가 실제 배포 환경에서 실용적이었는가, 아니면 실험실 시연에 불과했는가? 우려는 직접적인 악용 경로에 관한 것이었나, 아니면 그 실패가 더 넓은 모델 계열에 어떤 의미를 주는가였나? 이것은 사소한 세부사항이 아니다. 이것들은 이 사건이 좁은 수정 사례인지, 아니면 가드레일 대부분이 허울인지 신호를 바꾸는 문제다. 관점을 바꿀 수 있는 증거는 공개된 공격 연쇄, 명확한 피해 시나리오, 또는 탈옥이 일반화될 수 없는 이유에 대한 기술적 설명이다.

시기도 중요하다. 출시 후 모델을 철회하는 것은 비용이 크지만, 민감한 데이터, 법 집행, 이중 용도 연구와 관련된 경우 의심스러운 모델을 계속 배포하는 것이 더 위험하다. 이는 최전선 모델 공급자들이 정책 문구로 완화하려는 균형점이다. 실제로 접근 통제는 기술적, 법적, 평판 요인이 복합된 것이다. 한 계층이 실패하면 다른 계층이 실질적으로 작동한다. 이 때문에 이런 사건은 단순한 유도 기법 문제가 아니다. 스스로 통제할 줄 모르는 시스템 위에 쌓인 거버넌스 문제다.

더 넓은 구조적 문제도 있다. 모델의 중요도가 커질수록 안전 태세는 단순 공학 문제를 넘어 외교 문제로 변한다. 기업은 능력을 증명하고자 하고, 정부는 신중함을 보이려 한다. 보안 연구자들은 통제가 취약함을 입증하려 한다. 사용자들은 주로 문제 없이 작동하기를 바란다. 그 이익들이 조화되지 않으며 솔직한 메시지는 드물다. 모든 쪽은 자신들의 판단이 필연적으로 보이는 내러티브를 선호한다.

앤트로픽의 논쟁은 동일한 유형의 탈옥이 최전선 시장 전반에 재현될 수 있는지에 집중된다. 회사는 비슷한 약점들이 다른 모델에도 존재한다고 주장한다.[1] 이 이야기는 한 모델 패밀리에만 국한되지 않아 앤트로픽에 어려운 입장을 만든다. 이는 동일한 탈옥 유형이 시장 전반에 재현될 수 있느냐의 문제다. 만약 그렇다면 회사별 드라마는 덜 중요하고 모델 안전성의 공통적 취약점이 더 중요하다. 만약 아니라면 정부가 단일 실패에 대해 과도하게 해석했을 수 있다. 어쨌든 이제 모델 안전을 판매하는 쪽은 자신들의 테스트 범위와 한계를 설명해야 한다. 화려한 주장들은 싸지만, 공격 저항력은 싸지 않다.