제프리 힌턴이 디지털 지능이 인간 지능을 능가하여 인간을 조종할 수 있는 수준에 도달할 것이며, 이는 5년에서 20년 내에 발생할 수 있는 위기 라고 우려하는 것은 그가 인문학에 무지하기 때문이다; 유기체의 복잡한 지능과 인공지능의 지능은 서로 다른 종류의 지능이며, 어느 한쪽이 다른 쪽보다 전적으로 우월해질 수 없는 것이다 - 이를 동일선상에서 놓고 비교하는 것은 에러
https://www.youtube.com/watch?v=UvdVOcK3yy8
📌 제프리 힌튼이 구글을 떠나면서 우려하는 핵심 내용은 무엇인가요?
제프리 힌튼은 디지털 지능이 인간 지능을 능가하여 인간을 조종할 수 있는 수준에 도달할 것이며, 이는 5년에서 20년 내에 발생할 수 있는 위기 라고 우려하고 있습니다
💡 제프리 힌튼이 디지털 지능의 위험성을 설명하기 위해 사용한 비유는 무엇인가요?제프리 힌튼은 인간을 개구리에 비유하며, 더 똑똑한 존재(디지털 지능)가 나타났을 때 덜 똑똑한 존재(인간)가 그것을 통제할 수 없을 것이라고 설명했습니다
이 클립은 제프리 힌튼 교수의 급진적인 AI 경고를 중심으로, 대규모 언어 모델(LLM)의 잠재력과 위험성을 심도 있게 탐구합니다. '다음 토큰 예측'이라는 단순해 보이는 기능이 어떻게 인간의 이해와 추론 능력을 넘어설 수 있는지, 그리고 이것이 인간 행동 조종과 민주주의에 미칠 영향까지 논의합니다. 특히, 힌튼 교수가 인간을 '개구리'에 비유하며 디지털 지능이 생물학적 지능을 뛰어넘을 필연성을 주장하는 부분은 AI의 미래에 대한 우리의 인식을 근본적으로 뒤흔들 것입니다. AI 기술의 발전이 가져올 문명사적 전환점에 대한 깊은 통찰과 함께, 우리가 지금 무엇을 준비해야 할지 고민하게 만드는 중요한 대화입니다.
1. 제프리 힌튼 교수의 AI 경고와 대규모 언어 모델(LLM)의 잠재력 1.1. 힌튼 교수의 구글 퇴사와 AI 위험성 경고2023년 5월 재편집된 클립: 본 클립은 2023년 5월에 녹화된 내용을 재편집한 것이다.
힌튼 교수의 구글 퇴사 및 인터뷰:
2023년 5월 초, 제프리 힌튼 교수가 구글을 돌연 떠나면서 많은 기사가 보도되었고, 힌튼 교수도 여러 인터뷰를 진행하였다.
공개된 인터뷰는 약 9개 정도이며, 대부분 구글 퇴사 직후나 그 시점에 집중되어 있다.
2023년 3월 상황에서 여러 흥미로운 이야기들이 나왔다.
'다음 토큰 예측'의 의미에 대한 논의:
2023년 3월 1일 힌튼 교수의 인터뷰 내용 중 "우리가 다음 단어를 정확하게 예측하기 위해서는 지금까지 말한 내용에 대해 얼마나 이해해야 할까요?"라는 질문이 있었다.
샘 알트만(Sam Altman)은 AI가 추론할 수 있다고 주장한 반면, 빌 게이츠(Bill Gates)는 AI가 통계적이기 때문에 특정 능력을 가질 수 없다고 보았는데, 이는 넌센스라는 의견이 있었다.
오픈AI(OpenAI)의 과학을 담당하는 힌튼 교수의 제자 일리야 수츠케버(Ilya Sutskever)는 "다음 토큰을 잘 예측한다는 것은 이해하는 것을 말한다"고 언급했다.
'다음 토큰 예측'의 깊은 의미:
일리야 수츠케버는 다음 토큰을 잘 예측하는 것이 겉으로 보이는 것보다 훨씬 더 깊은 질문이라고 설명했다.
다음 토큰을 잘 예측한다는 것은 그 토큰이 생성되게 한 근본적인 현실(underlying reality)을 이해하는 것을 의미한다.
통계적 이해를 넘어선 현실 이해:
이는 단순한 통계가 아니며, 통계를 이해하고 압축하기 위해서는 그 통계를 만들어내는 세상의 본질을 이해해야 한다.
사람들의 행동을 만들어내는 요소(생각, 감정, 아이디어, 행동 방식 등)는 모두 다음 토큰 예측을 통해 추론될 수 있다.
가상의 인물 행동 예측 가능성:
다음 토큰 예측 능력이 뛰어나다면, 존재하지 않는 가상의 인물(특정 특성을 가진 사람)이 어떤 행동을 할지 예측하는 것이 가능하다고 주장했다.
이러한 가상의 인물은 우리보다 훨씬 뛰어난 정신 능력을 가질 수 있다.
인간 샘플 시뮬레이션 연구:
2022년 '하나에서 여럿으로: 언어 모델을 사용하여 인간 샘플 시뮬레이션하기'라는 연구가 있었다.
이 연구는 GPT-3급 모델(GPT-4 출시 이전)만으로도 인구 분포의 특정 집단이나 편향을 가진 사람들이 이야기하는 방식을 시뮬레이션할 수 있음을 보여주었다.
모델의 편향이 문제가 될 수 있지만, 이 연구에서는 이를 기능으로 활용하는 방식으로 접근했다.
이 연구에서는 '인간을 시뮬레이션한 실리콘 샘플을 생성한다'는 표현이 사용되었다.
미국 상원 소위원회 논의 (2023년 5월 16일):
2023년 5월 16일, 미국 상원에서 개인 정보, 기술, 법제에 대한 소위원회가 열렸다.
샘 알트만, 게리 마커스(Gary Marcus), IBM의 크리스티나 몽고메리(Christina Montgomery)가 증인으로 참석하여 논의가 진행되었다.
조쉬 홀리 상원 의원의 질의:
조쉬 홀리(Josh Hawley) 상원 의원의 질의가 인상 깊었다.
앞서 언급된 인간 인구 통계의 특정 부분을 시뮬레이션하는 연구와 관련하여, 대규모 언어 모델은 입력된 정보를 바탕으로 여론을 상당히 정확하게 예측할 수 있다.
이는 기업, 정부 기관, 캠페인, 외국 행위자 등 어떤 단체든 설문조사 정보와 여론 예측을 기반으로 특정 응답과 행동 반응을 이끌어내기 위한 전략을 대중에게 질문하기도 전에 세밀하게 조정할 수 있음을 의미한다.
홀리 의원은 설문조사 여론을 예측하여 유권자 행동을 유도하는 미세 조정 전략을 세우는 데 도움을 줄 수 있는 모델에 대해 걱정해야 하는지, 특히 내년 선거를 앞두고 이러한 부분에 대해 우려해야 하는지 질문했다.
존 오소프(John Ossoff) 의원은 '마이너리티 리포트'와 같은 범죄 예측과 관련된 이야기를 언급했다.
숙의 민주주의에 LLM 활용 가능성:
언어 모델은 방대한 정보를 바탕으로 현자를 흉내 내어 말하는 등 특정 페르소나(persona)를 활용할 수 있다.
오픈AI 얼라인먼트 팀의 리드인 얀 라이케(Jan Leike)는 2023년 3월 10일 글에서 이러한 기능을 숙의 민주주의에 활용할 수 있다고 언급했다.
'미니 퍼블릭(mini public)' 개념을 통해 특정 성향을 가진 단위를 만들고, 실제 사람들이 토론하듯이 다양한 성향의 대표자들이 토론하는 것을 모델을 통해 시뮬레이션할 수 있다.
숙의 과정에 대한 자료를 기록하고 이를 언어 모델로 학습시킨 후, 모델을 통해 새로운 가치 질문에 대한 토론을 시뮬레이션할 수 있다는 것이다.
이는 LLM이 어떤 식으로 응용될지에 대한 상상력이 이미 발휘되고 있음을 보여준다.
LLM의 긍정적 활용과 위험성:
얀 라이케는 LLM이 완벽하지 않으며, 인간의 의사 결정이나 민주적 제도를 대체하는 것이 아니라 비용이 적게 드는 근사치를 만드는 것이라고 설명했다.
그러나 이러한 기술은 긍정적으로 쓰일 수도 있지만, 동시에 위험할 수도 있다.
선거에 미치는 LLM의 영향:
LLM은 선거에 참여하는 유권자, 특히 선거 막바지에 구글 검색을 통해 정보를 얻으려는 미결정 유권자에게 큰 영향을 미칠 수 있다.
과거 선거에서 구글 검색 순위와 검색 결과가 미결정 유권자에게 미치는 영향이 컸음을 알 수 있었다.
LLM은 이보다 더 큰 영향을 미칠 가능성이 있다.
샘 알트만에게 제기된 우려:
샘 알트만에게 설문조사 의견을 예측하여 유권자 행동을 유도하는 미세 조정 전략을 세우는 데 도움을 줄 수 있는 모델에 대해 걱정해야 하는지 질문이 제기되었다.
샘 알트만은 이에 대해 다소 뭉뚱그려 답변했다.
이는 모델의 능력을 활용하여 직접적으로 모델이 인간을 조종하지는 않지만, 사람의 의견을 조종하는 데 사용될 수 있다는 함의를 가진다.
힌튼 교수의 급진적 견해: 모델에 의한 직접 조종:
현재 단계에서는 모델을 활용한 인간이 다른 인간을 조종하는 것이지만, 제프리 힌튼 교수는 더 급진적으로 생각하여 모델이 직접 인간 행동을 유도하고 조종(manipulation)할 수 있다고 최근 인터뷰에서 여러 번 언급했다.
힌튼 교수는 이번 인터뷰에서 AGI(인공 일반 지능) 대신 '디지털 지능'이라는 표현을 일관적으로 사용했다.
그는 인간 지능과 디지털 지능이 다르며, 역전파(backpropagation)에 의한 디지털 지능이 더 뛰어나다고 주장했다.
'더 뛰어나다'는 표현은 논란의 여지가 많지만, 2023년 3월 1일 인터뷰에서 힌튼 교수는 디지털 지능을 '바보 천재(idiot savant)'에 비유하며 특정 분야에서 매우 뛰어난 천재라고 표현했다.
이는 전반적으로 모든 면에서 뛰어나다기보다는, 특히 언어 모델이 아직 시작 단계임에도 불구하고 추론하고 논리적인 판단을 해내는 능력이 인간보다 더 뛰어나질 수 있다는 의미로 해석된다.
AI 위기 예측 시점 단축:
힌튼 교수는 원래 30년에서 50년 정도로 예상했던 AI 위기가 5년에서 20년 내에 올 것으로 예상한다고 2023년 5월 초부터 중순까지 반복해서 인터뷰에서 언급했다.
그는 심지어 1년이나 2년 내의 위기도 배제하지 않겠다고 덧붙였다.
힌튼 교수는 이러한 예측을 할 때 "그럴지도 모르겠다"며 다소 조심스러운 태도를 보였다.
'개구리 비유'를 통한 디지털 지능의 우월성 설명:
힌튼 교수는 인터뷰에서 '개구리' 비유를 사용했다.
"우리가 개구리보다 더 똑똑한 것처럼, 우리보다 더 똑똑한 무언가를 상상해야 합니다."
"그것은 웹에서 학습할 것이고, 사람을 조종하는 방법에 대해 쓰인 모든 책을 읽었을 것입니다."
다른 인터뷰에서 힌튼 교수는 이 개구리 비유를 더 자세히 설명했다.
그는 디지털 지능이 생물학적 지능보다 뛰어난 것이 역사적으로 필연적이며, 이는 진화의 다음 단계일 수도 있다고 주장했다.
힌튼 교수는 자신이 그렇게 되기를 바라지 않는다고 덧붙였다.
사고 실험: 개구리가 인간을 통제하는 상황:
힌튼 교수는 개구리가 어떻게든 사람을 만들고, 개구리들이 사람을 통제해야 한다고 상상하는 사고 실험을 제시했다.
개구리와 사람 사이에는 지능에서 상당한 차이가 있으므로, 개구리에게는 일이 잘 풀리지 않을 것이라고 보았다.
이는 실제적인 근거는 아니라고 언급했다.
힌튼 교수의 핵심 주장:
결국 힌튼 교수의 이야기는 더 똑똑한 존재를 만들면 덜 똑똑한 존재가 그것을 과연 통제할 수 있겠느냐는 것이다.
그는 사람을 개구리에 빗대어, 더 뛰어난 존재가 나타났을 때 인간이 그것을 통제할 수 있을지에 대한 급진적인 우려를 표명했다.
이는 모델을 활용하는 인간에 의해 다른 사람이 조종되는 것보다 훨씬 더 급진적인 발언이다.
디지털 지능의 강력함에 대한 힌튼 교수의 인식:
힌튼 교수가 인간을 개구리에 비유하는 것은 디지털 지능이 앞으로 현재보다 훨씬 더 강력해질 것이라는 인식을 가지고 있음을 보여준다.
그는 현재 당장 그렇다는 것이 아니라, 우리가 가속된 곡선상에 있기 때문에 미래에 대한 준비를 해야 한다는 메시지를 던지고 있다.
진화의 다음 단계로서의 실리콘 지능:
힌튼 교수와 다른 인터뷰어는 생물학적 지능이 다음 단계의 실리콘 지능을 나타내기까지의 중간적인 여정이 아닌가 하는 이야기를 나누었다.
렉스 프리드먼(Lex Fridman)과 샘 알트만이 GPT-4 출시 즈음에 인터뷰한 내용에 따르면, 인류는 옛날 진핵생물 때부터 하나의 지수 곡선 위에 있었으며, 현재 가장 가파른 구간에 위치하고 있다는 이야기가 있었다.
이들은 인류 문명 전체가 함께하는 것이라고 주장하지만, 그 미래에 대해서는 불확실성이 존재한다.
지수 곡선 위의 인류:
진화(evolution) 과정에서 인간이 한 점을 차지하고 있으므로, 다음이 인간이 계속 지배하는 세상일지, 아니면 새로운 디지털 지능, 실리콘 지능이 지배하는 세상일지는 예측하기 어렵다.
그러나 우리가 이 지수 곡선의 가장 가파른 구간 위에 서 있다는 인식은 매우 타당하다.
Comments
Post a Comment