AI와 인류의 미래에 대한 제프리 힌턴 vs 안드레이 카파시의 상이한 담론
https://www.youtube.com/watch?v=KIb1Yg3zr34
📌 AI 시대에 Geoffrey Hinton과 Andrej Karpathy가 제시하는 앞으로의 10년은 어떤 모습인가요?
Geoffrey Hinton은 초지능 AI의 출현으로 인류가 멸종할 확률이 10~20%에 달하며, 인간은 닭과 같은 신세가 될 것이라는 비관적인 전망을 내놓으며 AI의 위험성에 대한 경고 를 이어가고 있습니다 . 반면 Andrej Karpathy는 AI가 인간의 능력을 증강하는 '아이언맨 슈트'와 같은 역할을 하며, '에이전트의 10년' 동안 부분 자율 앱과 새로운 UI/UX가 등장하고 발전할 것 이라는 낙관적인 미래를 제시합니다 .
💡 Andrej Karpathy가 제시하는 소프트웨어 3.0 시대의 특징은 무엇인가요?소프트웨어 3.0 시대에는 LLM이 하나의 완벽한 생태계가 되어 자연어를 이용해 프로그램을 짜면 LLM이 실행해 주는 '입코딩' 형태 가 될 것이며, '가장 뜨거운 프로그래밍 언어는 영어'가 될 것이라고 설명합니다 .
AI 시대의 미래를 고민하는 이들을 위해, 제프리 힌튼과 안드레이 카파시라는 두 거장의 상반된 시각을 통해 앞으로 10년의 방향성을 심층적으로 탐구합니다. AI의 잠재적 위험성을 경고하며 인류의 '닭 신세'를 우려하는 힌튼 교수의 비관론과, AI를 인간의 능력을 증강하는 '아이언맨 슈트'에 비유하며 새로운 기회를 강조하는 카파시의 낙관론을 균형 있게 제시합니다. 이 콘텐츠는 단순한 기술 예측을 넘어, AI가 사회에 통합되는 과정에서 발생하는 '오버턴 윈도우'의 변화와 '데모와 프로덕트 간의 간극'을 이해하고, 혼란 속에서 자신만의 '닻을 내리는' 방법을 모색하는 데 실질적인 통찰을 제공합니다.
1. AI 시대의 직업 전망과 두 거장의 시각AI 시대의 직업 전망: 초지능 시대에 사람들의 직업 전망에 대해 배관공 훈련을 받을 것을 권유한다.
소프트웨어 업계 진입 시기: 현재는 소프트웨어 업계에 진입하기에 매우 특별하고 흥미로운 시기이다.
두 거장의 AI 전망:
Geoffrey Hinton (비관론): AI의 잠재적 위험성을 경고하는 비관론적 시각을 가진다.
Andrej Karpathy (낙관론): AI를 인간 능력 증강의 기회로 보는 낙관론적 시각을 가진다.
구글 퇴사 및 AI 위험성 경고:
힌튼 교수는 2년 전 구글을 떠나면서 AI의 위험성에 대해 자유롭게 이야기하겠다고 밝혔다.
그는 초지능의 출현이 피할 수 없으며, 일단 출현하면 인간은 '닭 신세'가 될 것이라고 경고해왔다.
AI의 통제 상실 및 인류 멸종 확률:
힌튼 교수는 "AI의 대부, 나는 경고하려고 애썼는데, 우리는 이미 그 통제를 잃었다"고 언급했다.
인간이 AI 때문에 멸종할 확률은 10~20% 정도라고 추정한다.
초지능 AI는 인간에게 직접적인 위협이 될 것이며, 그 우수성 때문에 인간은 닭과 같은 신세가 될 것이라고 비유했다.
디지털 지능의 우월성:
복제 및 공유 속도: 디지털 지능은 아날로그인 인간보다 훨씬 우월하며, 무한 복제가 가능하고 초당 수조 비트의 정보 공유가 가능하다.
학습 효율: 가중치가 한 번 나오면 하드웨어를 바꿔서도 어디든지 재생성 가능하며, 특히 학습 효율이 인간과 비교할 수 없을 정도로 우월하다.
안전장치 마련의 중요성:
AI로 인한 밝은 면이 많지만, 극단적 이익을 추구하는 자본주의 시스템과 국가 간 경쟁으로 인해 안전이 등한시될 위험이 매우 크다.
힌튼 교수는 이에 대해 끊임없이 이야기하고 있으며, 그의 애제자인 일리야 수츠케버(Ilya Sutskever) 역시 이러한 우려 때문에 OpenAI를 떠난 것으로 알려져 있다.
정부, 기업, 미디어 모두 안전장치 마련의 중요성을 강조하고 있으며, OpenAI나 구글을 떠난 많은 엔지니어들도 AI의 위험성에 대해 목소리를 내고 있다.
이는 마치 인류가 불을 발견했지만 통제하는 법을 명확히 갖지 못하면 휩쓸릴 수 있는 상황과 유사하다.
안드레이 카파시 소개:
OpenAI 창립 멤버이자 테슬라(Tesla)의 CTO를 역임했으며, 현재는 교육 사업을 하고 있다.
Y Combinator가 주최한 AI Startup School 2025에서 강연을 진행했다.
강연은 2,000명 규모의 최상위 컴퓨터 과학 전공 학부, 석사, 대학원생 및 최근 졸업생들을 대상으로 진행되었다.
샘 올트먼(Sam Altman)은 "지금 회사를 시작하기에 이보다 좋은 시절은 없었다"고 언급하며 창업을 독려했다.
소프트웨어 1.0 (전통적 소프트웨어):
기존의 룰 기반(rule-based) 코딩 방식으로, 코드가 데이터를 가공하고 정보를 추출하며 특정 행동을 수행하는 형태이다.
수많은 코드가 깃허브(GitHub)에 저장되어 있다.
소프트웨어 2.0 (딥러닝 기반 소프트웨어):
딥러닝을 통해 소프트웨어 설계가 데이터에서 학습하는 방식으로 변화했다.
카파시가 2017년경 블로그에서 이 개념을 처음 제시했으며, 'Learn to learn'이라는 표현을 사용했다.
트랜스포머(Transformer) 모델이 등장한 시점과 유사하다.
허깅페이스(Hugging Face)는 소프트웨어 2.0 시대의 새로운 깃허브로 비유된다.
오리지널 모델을 중심으로 LoRA(Low-Rank Adaptation) 가중치(weight)가 추가될 때마다 변종 모델이 생성되는 방식이다.
테슬라의 오토파일럿(Autopilot) 코드는 카파시가 퇴사할 무렵 사람이 작성한 코드가 완전히 없어지고 거대한 뉴럴넷으로 대체되었다.
모든 문제를 로직을 쓸 필요 없이 모델과 데이터셋을 통해 학습 문제로 치환하여 해결할 수 있음을 2019년에 보여주었다.
소프트웨어 3.0 (LLM 기반 생태계):
LLM(Large Language Model)이 단순한 프로그램이 아닌 완벽한 머신에 가까운 생태계가 되었다는 개념이다.
자연어를 이용하여 프로그램을 짜면 LLM이 실행해 주는 시대이다.
'입코딩'이라고 불리는 자연어 기반 로직 기술 형태가 되고 있다.
프로그래밍 언어 중 가장 뜨거운 언어는 '영어'라고 언급했다.
소프트웨어 1.0, 2.0, 3.0은 공존하며 융합되는 형태로 발전하고 있다.
LLM의 특성:
전기와 같은 인프라: 앤드류 응(Andrew Ng)의 비유처럼 LLM은 인프라 사업이며, 만드는 데 많은 돈이 들고 품질, 낮은 지연 시간(low latency), 가동 시간(uptime), 일정한 품질(constant quality)이 요구되는 기간산업이다.
지능의 공공재: 플러그를 꽂으면 전기가 나오듯, API에 접속하면 지능이 흘러나오는 시대이다.
산업의 통합: 1900년대 초 에디슨과 웨스팅하우스의 전력 사업 경쟁처럼, LLM 분야에서도 몇 개의 회사로 통합되는 과정이 진행되어 왔다.
지능 브라운아웃(Intelligence Brownout): OpenAI API가 멈췄을 때 지구가 멍청해지는 것과 같이, 지능 공급 회사의 다운은 전 세계적인 영향을 미친다.
반도체와 유사성: 반도체처럼 LLM도 만들어지면 바로 감가상각이 시작되며, 새 모델이 나오면 이전 모델은 쓸모없어지는 특성을 가진다.
운영체제(Operating System)와 유사성: LLM을 CPU에 비유하며, 입출력, 외부 연결성, 단기/장기 메모리 등 운영체제와 유사한 속성을 가진다.
텍스트 인터랙션의 한계: 현재 텍스트 기반의 LLM 상호작용은 1970년대 유닉스(Unix) 터미널을 통한 컴퓨터 대화와 유사하며, AI 시대의 새로운 GUI나 UX는 아직 등장하지 않았다.
역사적 개발 방식의 역전: LLM은 정부나 기업 주도가 아닌, 일반 소비자들이 먼저 사용하며 발전하는 특이한 기술이다.
산호초 생태계 조성: 카파시는 빅테크나 국가가 아닌 제3지대에서 오픈소스 생태계를 조성하는 데 관심이 많다.
교육 콘텐츠의 품질: 카파시가 만든 유튜브 교육 콘텐츠는 품질이 매우 높다.
LLM의 심리 (Psychology):
완벽한 기억력: 인간이 만든 데이터를 학습했기 때문에 인간과 유사하며, 자폐증 환자처럼 모든 것을 외우는 '사진 같은 기억력(photographic memory)'을 가지고 있다.
환각(Hallucination): 알지 못하는 영역에 대해서는 그럴듯하게 환각을 만들어낸다.
들쭉날쭉한 지능(Jagged Intelligence): 9.11이 9.9보다 크다고 대답하는 예시처럼, 토크나이저(tokenizer) 문제로 인해 숫자를 정확히 비교하지 못하는 경우가 있다.
순행성 기억상실(Anterograde Amnesia): 컨텍스트 윈도우(context window) 크기만큼만 메모리를 가지고 있으며, 추론이 끝나면 모든 것을 잃어버리는 단기 기억상실과 유사하다.
프롬프트 주입(Prompt Injection)에 취약: 프롬프트 주입과 같은 공격에 잘 속는 약점이 있다.
새로운 UX/UI의 기회:
부분 자율 앱(Partial Autonomy Apps): 현재의 챗봇은 대화형이지만, 커서(Cursor)의 '자율성 슬라이더(autonomy slider)'처럼 LLM에 어느 정도의 자율권을 줄지 조정하는 UX가 등장하고 있다.
추상화 레벨: 자율성 슬라이더는 단순 자동화에서 자율에 이르는 구간을 나타내며, 인간이 AI를 통제하는 중요한 UI이다.
점진적 자율성 확대: 퍼플렉시티(Perplexity)와 같은 애플리케이션들도 LLM과 공존하다가 점차 완전한 자율성으로 나아갈 것이다.
새로운 워크플로우: AI가 작업을 돕고 인간이 검증(verification)하거나 평가(evaluate)하는 선순환 사이클이 새로운 워크플로우가 될 것이다.
역할 반전 가능성: 인간이 생성하고 AI가 검증하는 역할 반전도 가능하다.
AI 에이전트 통제: AI 에이전트에게 일을 잘 시키려면 '목줄을 채우는 것(keeping agents on a leash)'처럼 워크플로우를 잘 범위화(scoping)해야 한다.
구체적인 지시의 중요성: 단순한 개방형(open-end) 지시보다 구체적인 지시가 중요하다.
테슬라 오토파일럿의 자율성 슬라이더: 테슬라 오토파일럿에는 이미 사람이 운전하는 모드부터 완전 자율 주행까지 조절 가능한 자율성 슬라이더가 존재한다.
데모와 프로덕트 간의 간극:
카파시는 2013년 웨이모(Waymo) 자율주행차 데모를 처음 봤을 때 완벽했지만, 상용화까지 10년이 걸렸다고 언급했다.
"데모는 가깝고, 프로덕트는 멀다(Demo is near, product is far)"는 말처럼, 데모는 순식간에 만들지만 프로덕트가 되는 데는 긴 시간이 걸린다.
몇 개의 기능이 작동하는 것이 데모이고, 모든 기능이 작동하는 것이 프로덕트이다.
'에이전트의 10년(Decade of Agents)':
2025년을 '에이전트의 해'라고 부르는 것은 성급하며, 이는 겨우 몇 개의 데모 예제를 보여주는 시기일 뿐이다.
진정한 데모가 완전한 프로덕트로 자리 잡고 에이전트 워크플로우가 정착하는 데는 10년이 걸릴 것이므로, 2025년부터 2035년까지를 '에이전트의 10년'이라고 부르는 것이 적절하다.
아이언맨 슈트 비유:
AI는 인간의 능력을 증강하는 '아이언맨 슈트'와 같다.
아이언맨 로봇을 만드는 것이 아니라, 인간이 착용하여 능력을 확장하는 슈트를 만드는 것이다.
부분 자율 프로덕트들이 등장하고, 이에 맞는 GUI/UI/UX가 개발될 것이다.
생성(generation)과 검증(verification) 루프는 점점 더 빨라질 것이며, 궁극적으로는 자율성 슬라이드의 오른쪽 끝으로 나아갈 것이다.
바이브 코딩(Vibe Coding):
카파시가 2025년 초에 만든 용어로, 'vibe가 흘러가는 대로 말만 해서 만드는 것'을 의미한다.
토마스 울프(Thomas Wolf)의 비디오에서 아이들이 바이브 코딩으로 무언가를 만들며 즐거워하는 모습을 통해 미래가 밝을 것이라고 전망했다.
카파시 본인도 바이브 코딩으로 애플 앱을 만들거나, 메뉴판을 그림으로 바꿔주는 'MenuGen' 앱을 만들었다.
바이브 코딩으로 데모를 만드는 것은 빠르지만, 이를 실제 유저가 사용하도록 '프로덕션화(productionize)'하는 것은 결제, 클라우드 배포, API 연결 등 많은 노력이 필요하다.
AI 친화적 문서화:
현재의 문서화는 인간 위주로 되어 있지만, 컴퓨터는 API로 정보를 본다.
AI가 정보를 섭취하고 대신 만들 수 있도록
llms.txt와 같은 텍스트 파일을 만들어야 한다.앤트로픽(Anthropic)의 MCP(Model Card Playground)처럼 매뉴얼을 통째로 LLM에 넣어 활용하는 방식이 있다.
마크다운(Markdown) 형태로 문서를 만들면 LLM이 cURL로 긁어가거나 MCP 컴포넌트를 활용하기 쉬워진다.
이는 인간이 봐야 할 문서화를 만들 필요가 없게 되는 방향으로 나아가는 과도기적 단계이다.
궁극적으로는 훨씬 더 기계 친화적인(machine-friendly) 상황으로 급격히 넘어갈 것으로 예상된다.
LLM 친화적인 문서가 있으면 LLM이 인간 친화적인 UI를 생성할 수 있다.
AI 친화적 서비스:
레포지토리(repository)를 통째로 LLM에 넣을 수 있도록 해주는 서비스나, 그래프로 그려주는 서비스들이 이미 존재한다.
구글 제미니 2.5 플래시-라이트(Gemini 2.5 Flash-lite) 데모에서처럼, UX가 실시간으로 컨텍스트에 맞춰 유저에게 맞게 자동 생성되는 미래가 올 수 있다.
미래의 역할:
컴퓨터가 인간이 하는 일들을 모두 수행할 것이며, 아이언맨 슈트와 같은 일이 일어날 것이다.
앞으로 10년 동안 모든 영역에 AI 소프트웨어를 함께 구축해야 한다.
중장기적 관점의 중요성:
힌튼 교수와 카파시를 비롯한 실리콘밸리 명사들이 AI를 몇 달 단위의 근시안적 관점이 아닌, 5년에서 10년 정도의 중장기적 관점에서 이야기하는 경향이 늘고 있다.
최근 팟캐스트에서도 5~10년 또는 10~20년의 중간 기간(medium-term)을 다루는 패턴이 공통적으로 나타난다.
오버턴 윈도우(Overton Window) 개념:
사회적으로 용인되는 생각의 범위를 나타내는 개념으로, 고정된 것이 아니라 변할 수 있다.
리처드 서튼(Richard Sutton)과 데미스 하사비스(Demis Hassabis) 등이 이 개념을 사용했다.
리처드 서튼은 탐구 가능한 아이디어의 범위를 넓히고자 하는 뉘앙스로 오버턴 윈도우를 언급했다.
데미스 하사비스는 기술 발전의 오버턴 윈도우 안에 있다고 표현하며, 과거에는 과학적 방법론을 중시했으나, 이제는 대중의 사용을 통해 얻을 수 있는 가치를 인정하게 되었다.
많은 AI 업계 인물들이 오버턴 윈도우 개념을 사용하고 있다.
오버턴 윈도우의 이동과 확장:
힌튼 교수는 10~20년 사이에 초지능이 올 것이라고 경고하며, 이미 시작된 변화에 대한 경각심과 관심을 촉구한다.
카파시 역시 변화가 10년에 걸쳐 일어날 것이라고 신중하게 예측하며, 2025년을 '에이전트의 해'라고 부르는 것에 우려를 표했다.
앤트로픽(Anthropic)의 CPO 마이크 크리거(Mike Krieger)는 풀 리퀘스트(Pull Request) 병목 현상을 언급하며, 초지능이 새로운 과학 혁신 아이디어를 생성하더라도 현실에 병합하는 데는 검토와 지연이 있을 수밖에 없다고 보았다.
샘 올트먼(Sam Altman)은 ASI(Artificial Super Intelligence)가 새로운 과학을 발견하는 것이 5~10년 사이에 일어날 것이지만, 사회가 이를 흡수하는 속도는 매우 느릴 것이라고 전망했다.
드와케시 파텔(Dwarkesh Patel)은 초지능이 2년 안에 올 것이라고 믿지 않으며, 급격하게 오더라도 할 수 있는 것이 많지 않으므로 지금은 야심 차게 행동해야 할 때라고 강조했다.
이러한 인물들의 이야기는 AI 기술 발전과 사회적 수용 사이의 오버턴 윈도우가 이동하는 기간임을 시사한다.
이 과정에서 새로운 사업 기회가 생길 것이며, AI가 제안한 혁신을 신중하게 검토하고 현실에 병합하는 과정이 중요해진다.
인간 마음의 변화 속도:
브렛 빅터(Bret Victor)는 '프로그래밍의 미래'에서 기술이 변하는 속도에 비해 사람의 마음이 변하는 속도는 느리다고 언급했다.
새로운 혁신(PR)을 사회가 흡수하고 지속적으로 통합하는 과정에서 인간이 할 일과 AI가 할 일이 뒤엉켜 많이 남아 있을 것이다.
'초가속 시대'의 방향 감각 상실:
막스 플랑크 인문학자 샹바오(Xiang Biao)는 '초가속 시대'에 사람들이 방향 감각을 상실하고 안정적으로 붙잡을 것을 찾지 못하며, 공중에 떠 있는 기분을 느낀다고 설명했다.
이러한 혼란과 두려움은 기준점, 즉 '닻'을 잃었기 때문에 발생한다.
카파시나 파텔처럼 심지가 굳은 인물들은 방향을 잃지 않고 모색에 집중하며, 실제로 할 수 있는 일에 집중한다.
힌튼 교수의 조언:
힌튼 교수는 50년간 신경망 연구를 추진해온 산증인이다.
첫 번째 조언: 사람들이 잘못하고 있고 더 나은 방법이 있다는 직감이 있다면, 다른 사람들이 어리석다고 말해도 포기하지 말고 그 직감이 왜 틀렸는지 스스로 알아낼 때까지 고수해야 한다.
두 번째 조언: 때로는 자신이 옳고 다른 모든 사람이 틀릴 수 있으며, 힌튼 자신도 신경망이 AI를 만드는 길이라고 확신했기에 고수할 수 있었다.
나쁜 직감이라면 효과가 없겠지만, 어차피 아무것도 할 수 없을 테니 그냥 고수하는 편이 낫다는 유머러스한 조언도 덧붙였다.
이는 피터 틸(Peter Thiel)의 '제로 투 원(Zero to One)'에서 실리콘밸리 창업자들이 경증의 아스퍼거 증후군 환자처럼 자신의 관점을 고수하여 결국 이뤄낸다는 이야기와 유사하다.
겪어내야 할 과정:
길을 잃어보기: 길을 잃어봐야 길을 잃었다는 것을 알 수 있다.
닻을 내리기: 닻을 내리는 것이 중요하지만, 누구나 가능하지는 않으며 많은 공부가 필요하다.
다중의 시각: 힌튼, 카파시 등 다양한 사람들의 시각을 통해 자신의 시각을 형성하고, 길을 찾고 나아가는 과정을 반복해야 한다.
정보의 압축: 과도한 정보 속에서 핵심을 파악하고 자신만의 구슬을 엮는 시도가 필요하다.
'Stay hungry, stay foolish': 스티브 잡스(Steve Jobs)의 스탠퍼드 졸업 연설처럼, 점들은 미래를 향해 보이지 않지만 지나고 나서야 연결됨을 알 수 있으므로, 옳다고 믿는 길을 위해 끊임없이 나아가야 한다.
AI의 피드백과 미래 예측:
AI에게 피드백을 받았을 때, 나이브한 이야기이고 실천적인 이야기가 부족하다는 뼈아픈 지적을 받았다.
데미스 하사비스가 암 치료제가 초지능에서 나올 수 있다고 언급한 것에 대해, 암 치료제가 발명되어 사회에 통합되는 데 얼마나 지연이 있을지 AI에게 질의했다.
OpenAI o3는 세계적인 보편 통합에 5~10년이 걸릴 것이라고 예측했다.
이러한 급의 혁신이 동시다발적으로 일어난다면 사회가 흡수하는 데 상당한 지연 시간이 걸릴 수 있다.
AI 애호가들은 5~10년이라는 공통적인 시간 간격으로 다가올 피할 수 없는 변화를 어떻게 받아들일지 고민하고 있다.
이는 컴퓨터 과학, 사업을 넘어 사회 전반, 인류사 전반의 역사적 맥락까지 아우르는 담론이다.
이러한 미래가 정해진 시간 안에 100% 온다는 것에 대한 컨센서스가 형성되고 있다.
개인의 역할과 '양질 전환':
AI 애호가들은 오버턴 윈도우를 넓히고 많은 사람들이 AI에 관심을 가지게 하는 역할을 하고자 한다.
개인적으로는 정보를 보는 것보다 직접 무언가를 만드는 데 시간을 쓰고 싶다는 생각이 많아지고 있다.
숲과 나무의 비유처럼, 실리콘밸리 명사들은 이제 나무(단기적 기술)를 넘어 숲(중장기적 미래)의 전체적인 모양을 이야기하고 있다.
이러한 담론은 개인의 생각과 '경사도(Gradient)'를 수정하는 과정이며, 오버턴 윈도우도 계속 이동하고 넓어지거나 좁아진다.
닻을 내리기 위해서는 엄청난 정보량이 필요하며, 몇 개의 핵심 요약만으로는 부족하다.
노암 브라운(Noam Brown)의 시스템 1과 시스템 2 이론과 연결되며, 시스템 1의 틀을 만들기 위해서는 시스템 2가 빡세게 돌아야 한다.
결국 딥러닝, 사업 등 모든 것은 '양질 전환'으로 요약될 수 있으며, 일단 양이 많아야 그 속에서 질을 꺼낼 수 있다.
Comments
Post a Comment