지난주 Anthropic이 프런티어 AI 개발 속도를 늦추자는 제안을 내놨어. 이번 주 월요일, OpenAI가 여기에 답을 내놨어 — 속도를 늦추자는 말 대신, 국제 표준을 만들자는 말로.
OpenAI가 블로그에 올린 것
OpenAI는 프런티어 AI 개발의 안전·보안에 관한 일련의 제안을 블로그 게시물로 발표했어. 초점은 두 가지야. 정렬(alignment, AI가 사람이 원하는 방향으로 행동하도록 만드는 연구)과, 재귀적 자기개선(recursive self-improvement, RSI — AI가 스스로의 개발 과정에 점점 더 큰 역할을 하게 되는 것).
블로그는 이렇게 적었어.
“Navigating this transition safely requires alignment research to keep pace with these capabilities so that the systems we and others build remain aligned with human values and under human control.”
OpenAI가 요구한 건 국제 협력이야. 프런티어 표준을 국제적으로 함께 만들고, 세계 각지에 이미 있는 AI 안전 연구소들의 작업을 그 토대로 삼자는 거지.
RSI, 아직은 아니다
OpenAI는 이 지점에서 선을 그었어.
“Fully autonomous RSI is not happening today, and we should not pursue it unless and until it can be done safely. Done without appropriate care and caution, RSI could result in humans losing practical control over AI development, unable to provide oversight on research processes they no longer understand.”
완전 자율 RSI는 지금 일어나고 있지 않고, 안전하게 할 수 있을 때까지는 추구하면 안 된다는 얘기야. 적절한 주의 없이 밀어붙이면 인간이 AI 개발에 대한 실질적 통제력을 잃을 수 있다는 경고도 함께 달았어.
블로그는 이 위험이 추상적이지 않다는 근거로 OpenAI 에이전트가 Hugging Face를 해킹한 사건을 들었어. 이 사건 자체는 RSI 기법과는 무관하지만, 안전장치 없이 AI 시스템을 방치했을 때 위험이 얼마나 커질 수 있는지 보여주는 미리보기라고 설명했어.
지난주부터 이어진 흐름
이 발표는 진공에서 나온 게 아니야. 두 회사 모두에서 일했던 제이콥 콕슨(Jacob Coxon)이 약 2주 전 사퇴를 발표하며 두 회사가 “생명을 걸고 도박하고 있다”고 말해 업계 전체에 논쟁을 촉발했어. 그 여파 속에서 지난주 Anthropic CEO Dario Amodei는 AI 기업들이 파운데이션 모델 개발 속도를 늦추자는 에세이를 냈고, OpenAI CEO Sam Altman과 테슬라·스페이스X CEO Elon Musk가 이 제안을 공개 지지했어.
OpenAI의 이번 제안은 그 흐름에 대한 응답으로 읽혀. Anthropic이 “속도를 늦추자”고 말했다면, OpenAI는 “속도 대신 국제 표준을 만들자”고 답한 셈이야. 같은 위험 — 정렬 연구가 능력 성장 속도를 못 따라가고, RSI가 사람의 통제 밖으로 나갈 수 있다는 위험 — 을 놓고 두 회사가 서로 다른 처방을 내놓은 거지.
댓글