인공지능은 "10년 안에 우리 모두를 죽일 수 있다": 전 연구원은 Anthropic과 OpenAI가 "우리의 생명을 걸고 도박하고 있다"고 말한다

Claude의 뒤에 있는 회사 Anthropic의 AI 연구원 제이콥 콕슨은 이 기술의 위험성을 경고하며, 인공지능 개발진이 "10년 안에 우리 모두를 죽일 수 있다고 진심으로 믿고 있다"고 말했고, 사적으로는 "다른 어떤 인간 활동도 이 정도의 위험을 초래하지 못한다"고 두려워한다고 말했다.

Anthropic과 이전에는 OpenAI에서 3년간 사전 훈련 연구를 수행한 후, 그는 사직하며 "두 회사 모두 책임감 있게 행동하지 않고 있으며" 자기 개선 초지능을 만들기 위해 "우리의 생명을 걸고 도박하고 있다"고 주장했습니다.

"이 기술의 힘을 과소평가하지 마십시오. 이 시스템은 곧 모든 것을 해킹하고, 하룻밤 사이에 어떤 분야든 혁신하며, 진정한 힘과 자원을 획득할 수 있는 초인적인 시스템이 될 것입니다. 우리는 모두 이 분야의 발전을 목격했으며, 진보는 멈추지 않고 있습니다."라고 콕슨은 썼습니다.

그리고 이것은 단순히 불만을 품은 직원의 말이 아닙니다. 현재 Anthropic 직원들도 그의 동료의 감정을 공감했습니다.

Anthropic의 정렬 과학 책임자인 에반 휴빙거는 콕슨이 AI가 모든 인간을 죽일 확률을 10% 이상으로 제시하는 것이 맞다고 말했습니다. 그는 현재 모델에서 즉각적인 위험은 낮지만, 재귀적 자기계발에서 비롯된 초지능에 대해 우려하고 있으며, 이는 예상보다 빠르게 진행되고 있다고 덧붙였습니다. 그는 지난달 Anthropic의 자체 위험 보고서 링크를 게시했습니다.

그리고 그게 다가 아닙니다. 또 다른 인류학 책임자인 새뮤얼 마크스(확장 가능한 감독 책임자)는 "특히 최고위 AI 개발자들은 자신들의 기술이 인류 멸종(또는 유사한 나쁜 결과)을 초래할 수 있으며, 앞으로 몇 년 내에 그런 일이 일어날 수 있다고 믿는다"고 말했습니다. 그는 또한 우리가 AI를 원하는 대로 행동하도록 프로그래밍할 수 없으며 자주 잘못 행동한다고 설명했습니다.

OpenAI와 Anthropic의 차이점

콕슨은 AI가 우리를 죽일 수 있다는 생각은 "마케팅 쇼가 아니다"라고 분명히 말했습니다... 그렇다면 왜 그들은 계속해서 AI를 만드는 걸까요? 두 회사에서 일한 경험이 있는 콕슨은 OpenAI를 가장 무책임하다고 묘사합니다("OpenAI에서는 많은 이들이 문명적 중요성을 깊이 내면화하지 못했습니다").

반면 인류는 위험성을 이해하지만, 그것 역시 위험입니다: 그들은 경쟁자들보다 더 빨라야 한다고 느끼는데, 이는 자신들만이 책임감 있게 행동할 것이기 때문에 '오만한 도박'이 됩니다.

Anthropic은 2021년 Open AI 출신 멤버들에 의해 설립되었으며, 더 안전하고 윤리적인 인공지능을 촉진하는 것을 목표로 하고 있습니다. 하지만 그들은 "먼저 도달하기 위해 경쟁 중이며[초지능 생성]을 위해 - 다른 누구도 책임감 있게 행동하지 않을 것이라 믿기 때문에 위험을 무릅쓰고 스스로 해야 한다"고 합니다.

마크스도 비슷한 견해를 제시하며, "상업적 인센티브와 자신들이 기술을 남용하거나 덜 안전하게 개발할 수 있는 덜 책임감 있는 AI 개발자들과 경쟁하고 있다는 믿음이 뒤섞여 있다"고 지적했다. 그는 "많은 AI 개발자 직원들이 AI를 더 안전하게 구축하는 방법을 찾기 위해 절실히 속도를 늦추고 싶어한다"고 덧붙였으며, 그래서 자신이 Anthropic에 남아 "이러한 멸종 수준의 나쁜 결과 가능성을 줄이기 위해"라고 덧붙였다. 한편 콕슨은 AI 연구자들에게 기업 간 협력과 모델 성능 향상에 대한 일시 금지 등 다양한 조건을 추진할 것을 촉구했다.