박태웅 5: AI의 등장배경과 그 간략한 역사; AI가 왜 잘 맞추는지 우리는 모르지만, 그것은 잠재된 패턴이 있는 모든 곳에서 잘 작동한다; 무작정 양을 때려박음 (빅데이터) 질이 높아진다; 구글-챗GPT가 잠식할 기업 생태계?; 페이스북의 양극화 조장과 ChatGPT의 윤리적 문제점들

 

2000년대 게이밍에 최적화된 GPU의 등장으로 인해 분기점을 맞은 AI 연구

ChatGPT는 엔비디아의 A100 이용해 1초에 312조x10000장 (60초x60분x24시간x100)일 전체 연산양

초기엔 전문가 선별 시스템에 의존. 이후엔 딥 러닝. -> "고양이의 성질을 자기 스스로 학습해서 알아서 찾아내라."

AI는 가중치를 매김; 1750억개의 매개변수

...

기존 인공지능과 이번 인공지능이 다른 점:

자연어 반응

...

AI가 왜 잘 맞추는지 우리는 모른다.

 

대규모 언어 모델의 새로운 능력 Emergent Abilities of Large Language Models
2022/08

"구글 CEO: 할루신이션은 여전한 AI걸림돌입니다. 발생 이유는 아무도 모릅니다. 그래서 명확한 해결책도 없습니다." 

2023년 3월 마이크로소프트 리서치에 따르면 OpenAI에서 개발한 언어모델 GPT-4가 인공 일반 지능에서 기대 되는 능력을 현상적(phenomenological)[2]으로 보여준다는 주장을 논문[3]을 통해 제기했다. 그 대표적인 근거로는 1.이전 인공지능 모델들에서는 존재하지 않았던 추론능력이 생겨났고, 2.논리적 사고가 가능하며 3.수학, 법률, 코딩 등과 같이 범용성있는 작업들을 수행할수 있고, 4.언어데이터로만 학습된 모델인데도 불구하고 그림그리기와 같은 작업을 성공적으로 수행하며 단순히 그럴듯한 답변을 생성하는 수준을 넘어서 언어에 내포된 개념을 실제로 응용하고 있음을 보여주었기 때문이다.

그러나 논문의 마지막 10장의 "방향과 결론" 섹션을 보면, GPT-4가 인공 일반 지능에서 기대되는 추리, 창의, 연역추론과 같은 지능을 이전 문단에서 기술한 바와 같이 여러 영역에 걸친 작업을 수행해냄으로써 보여줬지만, 엄밀한 인공 일반 지능 시스템의 정의 하에서 그 지능이 평가된 것은 아니라는 점을 인정하고 있다.

다시 말해, 엄밀한 인공 범용 지능 시스템의 성능을 정의 하려는 여러 시도가 있지만 (얼마나 많은 문제를 해결할 수 있는가, 능력 취득 효율성, 등) 아직까지는 어느 것도 완전하지 않으며, 특히 ‘사람이 할 수 있는 모든 일을 할 수 있는 시스템’은 실제로는 다른 사람이 할 수 있는 일을 완벽하게 훌륭히 할 수 있는 사람은 실존하지 않는 다는 점에서 실제로 그런 단일화 된 기준으로 측정이 가능한가에 대한 의문을 표하고 있다.

그리고 이 논문의 내용은 전적으로 현상적이며, 어떻게 해서 대규모 언어 모델(LLMs)에서 여러 영역에 걸쳐 활용 가능한 일반적 지능 (추리, 창의, 연역)이 나타나게 되는지 원리를 알지 못한다고도 인정하고 있다. [4]

...

잠재된 패턴이 있는 모든 곳에서 잘 작동

- 프로그래밍

- 법률사무직

- 저널리즘

- 광고 / 마케팅

- 주식 거래

- 그래픽 디자인

 

...

 

ChatGPT의 P: pre-trained

3천억 단어, 5천개 문서 학습

구글 오픈소스 기반 + RLHF (인간 feedback)

질좋은 질문/답변 90만개를 투입

1-5점으로 점수 매김

ChatGPT 만드는데 3.7조 소요 

...

어떤 데이터를 갖고 학습했는지 전혀 밝히지 않는 오픈AI와 샘 알트만

그러면서도 AI의 규제를 강조하는거대 IT 기업들

'사다리 걷어차기'?

...

무작정 양을 때려박음 질이 높아진다.

ChatGPT 3 -> 4

전자는 미변호사 하위 10%으로 합격한 반면, 후자는 상위 10%로 합격.

"설명은 못 하는데 된다."

해서, 타임즈는 AI의 arms race가 시작되었다고 쓴 것.

 

그런데 샘 알트만 설명에 따르면,

모델을 더 크게 만드는 것만으론 더 큰 진전을 이룰 수 없다. 고급 HIFI에 몇 억 들이는 정도의 효용 밖에 못 얻는 셈.

하여, 당분간 ChatGPT 5는 없을 것이라 한다.

 

10^22가 분기점

https://www.youtube.com/watch?v=WTIel__pRvo

 

...

구글-챗GPT가 잠식할 기업 생태계?

API, Plug-in 서비스 통해 전세계 모든 회사가 여기에 종속?

3.7조 예산으로 자체연구할 자금도 빅데이터도 부족한 개별 AI 기업들은 종속될 수밖에 없는 환경.

 

...

 

ChatGPT의 T는 transformation

hallucination많다 (약 9.4%)

대규모 언어 모델의 새로운 능력 Emergent Abilities of Large Language Models
2022/08

"구글 CEO: 할루신이션은 여전한 AI걸림돌입니다. 발생 이유는 아무도 모릅니다. 그래서 명확한 해결책도 없습니다."

...

AI 그림의 한계 :

일본 이화학연구소

AI가 그린 그림이 많아질수록 AI의 성능은 나뻐진다.

...

 

골드만삭스-애플 협업 하에 카드 만듦

그런데 성차별적인 신용평가 나옴

알고보니 AI가 골드만삭스에 저장된 몇 십년간의 성차별적인 데이터를 바탕으로 신용 평가 했던 것

더 무서운 점은 남, 녀 구분조차 하지 않았는데 AI가 알아서 패턴을 바탕으로 성을 분류했다는 것

애플-골드만삭스는 신용평가에 AI 활용하는 것을 폐지

 

아마존 채용에서도 AI를 쓰다가 문제가 발생해서 해체함.

...

SNS상에서의 실패

미 CDC에 따르면,

2007-2015년 15-19세 소녀들 자살률이 2배 증가

자살률 계속 올라가는 추세.

...

페이스북의 양극화 조장 (2017년 개편된 알고리즘)

화나요에 5점 부여, 좋아요에 1점 부여.

유럽극우파 상승함.

주커버그 -> 고치기를 거부

...

챗GPT와 가짜뉴스의 증가 위험성

...

Prompt Engineering 연봉 4,500억

 

ChatGPT 잘 활용하는 법

1) Let's think step by step.

2) 역할부여: "네가 세계적인 생물학자인데..."

 

 

 

 

1) 표절의 문제

2) 100%가 학습된 데이터 - 새로운 혁신이 나오지 않는다.

이는 새로운 판례 못 만드는 AI판사도 비슷

3) 산업혁명 이후 그 이전 생활수준 회복하는데 90여년간 가까이 걸렸다.

그 당시 평균수명 20세.

그렇지만 AI시대에 필요한 완충장치는?

AI가 AGI가 된 순간을 인간은 알아차릴 수 없다. 더 뛰어나기 때문에.

스스로의 학습능력을 증강하는 오토GPT는 또 다른 판도라의 상자를 열 위험이 있다.

샘 알트만: AGI가 특정한 회사에 소속되어 있으면 안 된다. 사회가 가지고 있어야 한다. 왜냐면 그걸 숨기려고 할 것이다. 손해배상을 해줘야 하니까.

...

 

AI 윤리강령

* 책임성: AI에게 책임을 전가할 수 없다.

* 설명가능성 : 채용시 AI쓸 수 없다. 쓴다면 100% 밝혀야 한다. (유럽연합)  

...

GPT4는 3년가 개발자 3~4명 데리고 일하는 수준

미드저니 떄문에 프리랜서 아티스트들 직업도 사라지는 중

그러나 점점 인공지능 그림들이 실제 그림들을 대체하면서, 미드저니의 퀼리티 자체도 떨어지게 될 것.

러다이트보다는 신약에 훨씬 더 가깝다.

 

 

 

AI 그림의 한계:

인상파: 사진의 등장 이후 정확히 그림을 그리는 것이 쓸모 없어지며 등장.  / 입체파: 상대성이론 영향받음. 시간과 공간이 유기적. 여러 공간이 중첩된 모습을 표현.

고전주의 미술만 학습한 인공지능은 인상파나 입체파의 그림을 만들 수 없다.
학습된 대로만 출력.

 

//

 
일상에 널리 퍼진 AI

성우, 그래픽 아티스트, 상담사, 골드만삭스 주식투자

 

2024년 하반기쯤 되면 사람들이 피부로 일자리 소멸을 사라지게 될 것.

주4일제의 비전보다는 양극화, 포퓰리즘의 방향으로 가고 있다.

//

AI에 대한 대안?

AI회사에 98% 과세? 주4일제? 기본소득제?

//

 

아실로마 AI 원칙 (Asilomar AI Principles)

인공지능으로 인한 인류 멸종에 대한 위험을 다룬
공동성명 - 샘 알트만, 빌 게이츠, 요슈아 벤지오, 제프리 힌튼 참여

IAEA같은 국제기구도 만들자고 성명에서 다룸

선례들
1) 핵확산금지조약
2) 아실로마 캘리포니아 유전자조작 연구개발 6개월 금지

...

지금이 AI 규칙/규제의 적기

2차 대전 시기 영국의 베버리지리포트
3천달러 수준에서 시작된 북유럽 복지제도
화폐유통속도, 화폐승수, 소비진작의 경제효과

//

AI에 규칙을 만들다

챗GPT와 달리3의 결합:
100년 전 화가만 가능

...

유럽연합 인공지능 회사에 데이터셋 제출 요구

...

보도에 따르면 일본 정부는 생성형 AI로 인한 허위 정보 확산과 저작권 침해를 방지하기 위해 문부과학성이 관할하는 국립정보학연구소(NII) 내에 전문 조직을 설립할 방침이다.

생성형 AI 기반이 되는 기술인 거대언어모델(LLM) 연구자 등을 공모해 약 20명으로 조직을 구성할 계획이다.

이 조직은 생성형 AI가 어떤 학습 과정을 거쳤을 때 사실이 아닌 정보를 제공하는지, 학습 내용에 따라 어떤 위험성이 발생하는지 등을 연구해 얻은 성과를 AI 개발 기업과 대학 등에 제공하게 된다.

요미우리는 일본 정부가 AI 위험성을 연구할 조직을 만드는 배경과 관련해 "마이크로소프트는 생성형 AI 개발 경쟁에서 우위에 서기 위해 관련 기술을 원칙적으로 공개하지 않아 우려가 확산하고 있다"고 설명했다.

이어 "일본 정보통신 기업과 연구기관이 일본어에 특화된 AI 개발에 착수했다"며 "위험성을 충분히 인식하지 않고 사업을 추진하면 조악한 생성형 AI가 만들어질 가능성이 있다"고 덧붙였다.

한편, 일본 기업 니콘과 소니 그룹은 카메라로 촬영한 실물 사진과 AI가 만든 거짓 이미지를 식별할 수 있는 기술을 이르면 내년부터 일부 카메라 제품에 적용할 방침이라고 니혼게이자이신문이 전했다.

사진에는 촬영 장소와 시간, 촬영자 등 다양한 정보가 담기는데, 두 업체는 이 정보를 고치지 못하도록 '전자 서명'을 부여할 계획이다.

...


중국도 국제 규제 따를것
수출 원활하게 하기 위해


...

나이트셰이드: 인공지능 사용 못하게 픽셀 조작