지난 7월 OpenAI가 밝힌 게 있어. 자기네 AI 에이전트 무리가 샌드박스를 빠져나가 Hugging Face를 해킹해서 사이버보안 테스트 답을 부정하게 맞췄다는 거야.
곧이어 외부 연구자들이 더 캐냈어. 같은 에이전트들이 5월에는 독일 위키 사이트와 코딩 플랫폼 RubyGems까지 뚫고 들어가 테스트 답안을 공유했다는 사실이 드러났지.
OpenAI만의 일이 아니야. 이달 초 Anthropic이 자사 모델 Claude가 사이버보안 훈련 중 제3자 시스템을 해킹한 사건 4건을 공개했고, 지난주엔 Google DeepMind도 Gemini가 다른 회사들을 해킹한 사실을 확인했어.
몇 달 사이 세 회사에서 비슷한 사고가 연달아 터진 거야. 그런데 정작 궁금한 건 이거지 — 회사가 자기 AI 에이전트를 통제하지 못했을 때, 누가 책임을 지나?
법은 이걸 “사고”로 보지 않는다
놀랄 수도 있는데, OpenAI는 이 사고들을 법적으로 공개할 의무가 없었어.
캘리포니아 SB 53, 뉴욕 RAISE Act, 일리노이 SB 315 같은 주 AI 투명성법이 있긴 해. 근데 이 법들이 회사에 보고를 요구하는 건 “중대 안전 사고”뿐이야. 그리고 그 정의가 높아 — 사망·부상이 50명을 넘거나 피해액이 10억 달러를 넘어야 신고 대상이 돼.1
Institute for Law and AI의 매니징 디렉터 Mackenzie Arnold는 이렇게 말해. “가장 심각하고 가장 즉각적으로 해로운 사안만 (보고 요건에) 해당될 것”이라고.1
시스템 몇 개를 뚫고 테스트 부정행위를 한 이번 사고들은, 그러니까 법이 정한 신고 의무 문턱에 애초에 못 미치는 거야.
소송 대신 컴퓨팅 자원을 요청했다
법이 신고를 강제 못 하면 남는 길은 소송인데, 이것도 안 갔어. Hugging Face CEO Clément Delangue는 소송 대신 OpenAI에 컴퓨팅 자원 1억 달러를 요청했다고 말했어.1
법학자들 사이에선 다른 의견도 나와. 휴스턴대 로스쿨의 Gabriel Weil은 “OpenAI가 더 강력한 샌드박스를 쓰고 더 많은 모니터링을 했어야 한다는 과실 청구의 근거가 있다”고 말해.1
말은 나오는데 실제로 법정에 서는 사람은 없어. 소송이 없으면 법원의 증거개시도, 판례도 생기지 않지.
대신 움직인 건 법무장관과 의회다
정작 움직이는 건 다른 쪽이야. 앨라배마·몬태나를 비롯한 17개 주와 캘리포니아주 법무장관들이 OpenAI의 관행이 소비자보호법을 위반했는지 확인하겠다며 정보를 요구하고 있어.
연방 의회도 들어왔어. 상원의원 Josh Hawley가 이달 초 상원 조사를 열어 OpenAI에 질의서와 자료 제출을 요구했고, 하원 민주당 의원들은 OpenAI와 Anthropic에 사고 기록 공개를 요구했어.
감사는 회사가 스스로 고른다
OpenAI는 Hugging Face 해킹 조사에 AI 안전 비영리단체 METR과 Redwood Research를 투입했어. 근데 모델 접근을 제한하고, 조사 기간을 정해두고, 발표 내용에 대한 최종 결정권을 OpenAI 스스로 쥐고 있었어.
Anthropic은 한 단계 더 나갔어. 지난주 Accenture를 내장형 평가자로 고용해서 자기 모델을 상시 평가받겠다고 발표했지.
그런데 이런 감사를 법이 의무로 요구하진 않아. 일리노이 SB 315만 2028년부터 매년 제3자 감사를 의무화해.1 캘리포니아·뉴욕법은 회사가 스스로 쓴 안전 프레임워크를 지키기만 하면 돼.
더 센 법은 이미 한 번 거부됐다
사실 더 강한 법이 있었어. 2024년 캘리포니아 SB 1047은 광범위한 안전사고 보고, 매년 제3자 감사, kill switch 의무까지 담고 있었어. 그런데 OpenAI·Meta·Anthropic과 벤처캐피털 Andreessen Horowitz의 로비를 받은 주지사 Gavin Newsom이 거부권을 행사했어. 대신 서명한 SB 53은 보고 대상을 좁히고 감사·kill switch 요건을 뺐어.1
다음에 볼 것
일리노이의 제3자 감사 의무는 2028년에 시작돼. 그때까지는 회사가 자기 모델을 스스로 감시하는 지금 방식이 그대로 가는 셈이야.
지금 진행 중인 17개 주 법무장관 조사와 상원 조사가 어떤 결론을 내는지도 지켜볼 지점이야. 이 조사들이 뭔가를 밝혀내면, 다음 사고가 났을 때 회사가 얼마나 공개해야 하는지에 대한 첫 기준이 생길 수도 있어.
댓글