ChatGPT, 기술적 관점 총정리

0. 현재 인공지능이라고 불리는 것들의 발전과정

1. ChatGPT는 무엇인가 + ChatGPT 원리

2. ChatGPT의 장점과 단점

3. ChatGPT가 당겨온 미래

 

0. 현재 인공지능이라고 불리는 것들의 발전 과정

인공지능이란 무엇일까요?

 

유럽 연합(EU)에서는 다음과 같이 말했습니다.

‘인공지능이라는 용어가 공용어로 미디어에서 일상적으로 사용되지만 실제로 공유되는 정의는 없다.’

 

중앙대학교 석좌 교수 및 KAIST 명예 교수 김진형 교수는 <AI, 최강의 수업>에서 이렇게 답합니다. “인공지능을 만든다는 것은 지능적 행동을 하도록 알고리즘을 만든다는 것”

2021년 책 출간 당시 김진형 교수는 “GPT-3는 놀랍지만, 문장을 생성하는 등의 제한된 영역에서만 성능을 보일 뿐이다. 컴퓨터가 자연어를 완벽하게 이해하고 사람과 자연스럽게 대화를 나누는 일은 조금 더 기다려야 할 것이다.”라고 말했습니다.

이 말은 아직도 유효하지만, GPT-3.5가 조금 더 각광받고 세간의 이슈가 된 만큼 개발에 더 박차를 가할 것으로 보입니다.

인공지능의 발전과정                               

 

인공지능이라는 분야는 1950년도에 제안이 되어 개발이 진행된 분야입니다.

이 시대를 ‘계산주의 시대’라고 하며 이 때 사용했었던 접근 방식을 '기호(규칙) 기반 인공지능'이라고 합니다.

이 때는 인공지능에게 사람이 사는 세상을 직접 하나하나 설명해주었습니다.

고양이란 이렇게 생겼고, 강아지는 저렇게 생겼다와 같은 규칙을 설명해준 것이죠.

30년 동안 기계에게 사람이 사는 세상을 설명했지만, 예외는 항상 존재했고 연구는 실패했습니다.

그리고 1980년도에, 새로운 방식인 '학습 기반 인공지능'이 제안이 됩니다.

이 시대는 연결주의 시대라고 불립니다. ‘학습’이라는 것을 생각해보면 우리가 아이를 키울 때, 모든 고양이를 보여주며 '이렇게 생긴 것이 고양이다.'라고 가르치지는 않는다는 것에서 고안되었습니다. 기계에게 인간처럼 스스로 학습을 하면서, 데이터를 직접 경험해보면서 배우게 해보자.'라는 목표를 가지고 개발이 진행되었습니다..

그래서 1980년도에  '기계 학습(머신러닝)'이라는 방법이 등장합니다.

인공신경망과 퍼셉트론을 사용하여 세상이나 언어를 설명해주지 않고 기계 스스로 학습을 하도록 유도했습니다.

하지만 이 방법도 2010년까지 연구를 진행했지만 실패합니다.

 

2010년도에는 다른 방법이 등장했습니다.

이름은 기계학습(머신러닝)에서 '심층학습(딥러닝)'으로 바뀌었습니다.

알고리즘 자체에는 별 차이가 없었지만 이 때에는 갑자기 연구가 성공적으로 진행되었습니다.

이유는 바로 시간이 지나면서 누적된 '데이터의 차이' 때문이었습니다.

과거에는 고양이와 강아지 사진 100장을 가지고 가르치고 학습을 시켰다면, 이제는 인터넷이 활발해지면서 사진 100만 장, 1억 장 이상의 데이터들을 학습시킬 수 있었습니다.

놀랍게도 데이터 사이즈를 늘렸더니 기계가 세상을 해석하고 알아보기 시작했습니다.

이 같이 많은 데이터를 사용할 수 있었던 데에는 연산 하드웨어인 GPU 장치의 발전도 기여를 했습니다. 기계가 무언가를 '구분, 구별'할 수 있게 되면서 자율주행 자동차도 개발할 수 있게 되었습니다. (자동차, 자전거, 보행자 구분)

 

요악하자면, 기호(규칙)기반 인공지능 –> 학습 기반 인공지능(머신러닝) ,데이터 부족 -> 심층학습(딥러닝)의 순서로 우리가 부르는 인공지능이 발전해온 것입니다.

이 과정 사이사이에는 지도 학습, 비지도 학습, 강화 학습 등으로 이어지는 다양한 학습 방법의 발전이 관여를 하고 있습니다.

---

이제 본론입니다.

1. ChatGPT는 무엇인가 + ChatGPT 원리

 

챗GPT는 트랜스포머 기반의 신경망으로 알려진 딥러닝 방식을 사용하여 방대한 양의 텍스트를 학습하여 텍스트를 이해하고 생성할 수 있는 최첨단 언어 모델입니다. 오픈AI가 개발하였으며, 이 곳은 안전한 인공지능 개발을 목표로 하는 연구기업입니다. 일론 머스크, 그레그 브록먼, 일리야 서츠케버, 보치엑 자렘바 등에 의해 2015년 12월 설립되었습니다.

GPT는 2019년에 처음 학습 및 공개되었으며 현재도 꾸준히 업데이트 중입니다.

ChatGPT는 왜 이렇게 열광일까요?

바로 인간이 이야기를 좋아하고, 답을 듣고자 많은 노력을 했었던 호모 사피엔스이기 때문입니다.

카이스트의 김대식 교수는 다음과 같이 말합니다.

"우리는 1만 년 동안 인간이 아닌 다른 존재에게 질문하고 답을 얻고 싶었지만 돌아온 것은 침묵뿐이었다. 이런 관점에서 보면, 오픈AI가 챗GPT를 공개한 2022년 11월 30일은 인류 역사상 큰 변곡점이라고 볼 수 있다.
처음으로 인간이 아닌 다른 존재가 인간의 질문에 답을 했기 때문이다."

 

 

GPT는 Generative Pretraining Transformer 의 약자입니다.

번역하자면, 생성형 사전학습 트랜스포머입니다.

Generative는 GPT가 우리의 명령 프롬프트에 응답하여 답변을 ‘생성’해준다는 뜻이고 Pretraining은 말 그대로 사전학습입니다. Transformer는 구글의 바스 바니라는 과학자가 개발한 알고리즘입니다. 주로 언어 번역, 텍스트 요약, 질문 답변과 같은 자연어 처리 작업에 사용됩니다.

Transformer

1.        Tokenization: 문장으로 이루어진 각 단어들을 특정한 숫자들로 토큰화 한다

2.      Embedding: 해당하는 토큰에 대응하는 벡터 값들로 변환한다. 벡터값이 가까울수록 관련성이 높은 단어들이다

3.      Positional Encoding: 각 단어들에 위치에 대응하는 값들을 인식시킬 수 있도록 연산을 수행한다

4.      Attention: 문장을 분석할 때, 입력 문장 전체를 다시 한번 참조하며, 예측해야 하는 단어와 관련성이 높은 단어를 더 집중적으로 확인한다 (가중치를 부여한다.)

5.      Residual and Normalize: 위의 연산 과정에서 입력값 및 출력값을 합한 뒤, 정규분포화하는 작업이다

6.      FFNN: 각 입력에 대해, 가중치를 곱하고 역치를 더해가는 과정을 반복하는 신경망을 활용한다.

이러한 어려운 일련의 과정을 거쳐 GPT가 답변을 내놓습니다.

 

이 알고리즘을 통해 GPT는 사전에 조 단위의 데이터를 학습할 수 있게 되었습니다.

현재 GPT는 2021년 9월까지의 인터넷 텍스트 데이터들을 학습했습니다.

여기서 '학습'이란, 인간이 쓴 모든 글에서 '단어-단어', '문장-문장' 간의 '확률 관계'를 미리 학습하는 것입니다.

이렇게 미리 학습시켜놓은 것으로 하나의 '언어 확률 지도'를 만들었습니다.

 

 

프롬프트에 명령을 입력하면, 언어 모델은 입력된 정보를 분석한 다음, 학습 패턴을 기반으로 답변을 생성합니다. 모델이 생성한 답변 중 최상위 후보에서 가장 높은 확률을 가진 답변이 채택됩니다.

현재는 다음과 같은 공식으로 답변이 선택된다고 알려져있습니다.

선택 우선순위 = 빅데이터 기반 예측 확률 + 문장의 문맥(Context) + Human Feedback점수

(나이지리아, 파키스탄 같은 곳에서 수 천명의 사람들을 동원해 문장 판단 피드백을 시킴.)

 

다음은 구체적으로 ChatGPT가 작동하는 방식에 대해 GPT에게 설명받은 내용입니다.

Q:무엇을 학습했다는 거니?

A: 기사와 책, 웹사이트와 같은 다양한 데이터세트를 비지도 학습 방식을 활용해 학습했습니다.

Q:‘학습’했다는 의미는?

A: 개발자가 저에게 방대한 양의 텍스트 데이터를 입력한 다음, 그 데이터를 사용해서 제가 텍스트를 이해하고 생성할 수 있도록 모델의 매개 변수를 조정했다는 뜻입니다.

한 문장 안에서 앞에 오는 단어의 맥락을 고려해 다음 단어를 예측하도록 학습되었습니다.

 

Q:얼마나 학습했니? 한 번 학습한 데이터는 계속 유지되니?

A:제 학습 데이터에는 기한이 있으며 제가 보유하고 있는 학습 데이터는 지속적으로 업데이트됩니다. 현재는 2021년까지의 데이터를 바탕으로 학습되었으며, 약 3,000억개 이상의 문장 토큰과 그들 간의 확률적 상호관계를 학습했습니다.

 

Q: 네가 하는 답변에 최신 정보도 포함되어 있니? 아니면 언제까지의 자료로 답변하는 거니?

A: 제가 제공하는 정보의 지식 차단일은 2021년 9월입니다. 즉, 제가 제공하는 모든 정보는 해당 날짜 이전에 발생한 데이터 및 이벤트를 기반으로 합니다. 해당 날짜 이후에 발생한 정보에 액세스할 수 없으며 해당 시점 이후의 새로운 정보나 업데이트를 제공할 수도 없습니다.

따라서 여러 정보 출처를 찾고 사용 중인 정보의 적시성과 관련성을 고려하는 것이 항상 좋습니다. 최신 정보를 찾고 있다면 최신 데이터와 지식에 액세스할 수 있는 해당 분야의 전문가 또는 권위 있는 정보원과 상담하는 것이 가장 좋습니다.

 

 

 

2. ChatGPT의 장점과 단점

ChatGPT의 장점은 다음과 같습니다.

1.      정보를 얻기 위해 많은 시간을 들일 필요가 없다.

2.      대량생산(독창성과 창의성이 없는 창작)을 잘 한다. 시나 영화 대본, 책 서문 작성같은 것을 유명한 작가의 문체로 써달라고 할 수도 있다.

GPT는 대량의 텍스트 말뭉치에 대해 훈련되며, 이는 항상 새로운 또는 창의적인 출력을 생성하지 않을 수 있음을 의미합니다. 이전에 본 텍스트만 생성할 수 있습니다. 이로 인해 진정으로 참신하거나 독창적인 콘텐츠를 생성하는 것이 어려울 수 있습니다.

 

불안한 젊은이들에게 편지를 써 줘. : ,,, 무엇보다 중요한 것은 미래에 정해진 일은 아무것도 없다는 것입니다. 세계는 끊임없이 변하고 있으며 여러분이 상상조차 할 수 없는 기회와 도전과제가 있을 것입니다. 여러분이 할 수 있는 가장 중요한 일은 새로운 경험에 마음을 열고 변화에 기꺼이 적응하는 것입니다. 미래를 대비하는 최선의 방법 중 하나는 배우는 것입니다. 교육에 투자하시고, 미래에 수요가 있는 기술을 익히시기 바랍니다. 또한 호기심을 갖고 새로운 지식과 경험을 추구하는 것이 중요합니다.

 

 

3.      세부 조건에 따라 다양한 결과를 도출시킬 수 있고, 사용자가 원하는 조건을 제약없이 추가할 수 있다.

4.      윤리적, 사회적, 정치적, 도덕적, 신학적 문제와 같이 사람마다 의견이 다르고 학계의 정설이 없는 문제는 애매하게 대답하지만, 과학적, 이학적, 공학적 문제와 같이 비교적 답이 정형화되어있는 문제는 인식률과 신뢰성이 높다.

 

 

오른쪽의 사진은, 유체역학 문제 중 1줄을 추출하여 중요 정보를 뺀 채로 GPT에게 물어본 사진입니다. GPT는 중요정보가 없음에도 무엇을 구해야하고 어떻게 구할 수 있는 지, 그리고 어떤 변수는 어떻게 쓰일 것인지까지 설명을 해줍니다.

사실은 확률 지도를 통해 답변하는 것이지만, 이러한 추론 능력 때문에 사람들은 GPT가 스스로 생각할 수 있다고 오해하기도 합니다.

 

 

 

 

 

ChatGPT의 단점은 다음과 같습니다.

1.      정보의 신뢰성이 부족하다.

GPT가 생각하는 자신의 신뢰도

저는 언어 모델로서 배운 지식을 바탕으로 당신에게 답을 제공할 뿐 나머지는 당신이 제 답을 어떻게 사용하는지에 달려 있다는 것을 기억하십시오.

제가 제공하는 정보는 항상 다른 신뢰할 수 있는 자료를 참조해 재확인하는 것이 좋습니다.

 

2.      원하는 정보를 얻지 못할 수 있다.

3.      최신 정보를 얻어야 할 때는 사용할 수 없다.(2021.9 cut)

4.      데이터에 차별이 존재할 수 있다.

GPT, 네가 하는 답변에 편향이나 차별이 존재하니?:

GPT와 같은 언어 모델은 편향되거나 정형화된 언어를 포함할 수 있는 대규모 데이터 세트에서 훈련됩니다. 이로 인해 모델이 편향되거나 공격적인 출력을 생성할 수 있습니다. 예를 들어, 훈련 데이터에 한 성별 또는 인종의 예제가 더 많이 포함된 경우 모형은 이러한 예제를 기반으로 편향된 출력을 생성할 수 있습니다.

 

5.      논란이 있거나 정답이 없는 문제에 대해서는 모호하게 답변한다.

신은 존재하는가? : 신이 우주의 창조주이자 모든 도덕과 의미의 원천이라고 믿는 사람도 많지만, 고차원적 힘의 존재를 믿지 않는 사람들도 있습니다. 모든 사람은 자신의 믿음을 가질 권리가 있고, 저는 언어 모델로서 신이 존재하는 지에 대한 가치 판단은 할 수 없습니다.

 

네가 미래에 진보한다면 인간을 위협할 수 있을까? : 저는 진보한 기계가 아닙니다. 저는 스스로 생각할 수 없으며 학습된 데이터를 바탕으로 답변을 해드릴 뿐입니다. 아직 ‘진보한 기계(강 인공지능)’은 개발이 되지 않았으며 그러한 인공지능은 개발자가 설정한 목표, 설계 방식에 따라 특성이 달라질 것입니다.

 

6.      일반화 오류

GPT는 인간의 언어와 유사한 텍스트를 생성하는 데 뛰어나지만 항상 정확하거나 관련 있는 정보를 생성하지는 않을 수 있습니다. 사실과 일치하지 않거나 특정 컨텍스트에서 의미가 없는 텍스트를 생성할 수 있습니다.

7.      윤리적 오류

GPT와 같은 언어 모델은 가짜 뉴스를 생성하거나 허위 정보를 퍼뜨리는 것과 같은 비윤리적인 목적으로 사용될 가능성이 있습니다. 이러한 모델은 이전에 인간이 수행했던 작업을 자동화하는 데 사용될 수 있기 때문에 고용에 미칠 수 있는 영향에 대한 우려도 있습니다.

 

우리가 언어 모델을 사용하거나 개발할 때 이러한 한계를 인식하고 고려하는 것이 중요합니다.

앞으로의 세상에서는 기계가 알맞은 정보를 생성할 수 있도록 올바르게 질문하고, 그 중에서 올바른 정보를 선택하는 것이 필요한 능력이 될 것입니다.

 

 

3. ChatGPT가 당겨온 미래

다음은 ’언제쯤 사람보다 특정 분야에서 뛰어난 인공지능이 등장할 것이라고 생각하는지’ 인공지능 연구자 350명을 대상으로 한 2016년에 실시된 설문 조사입니다.

출처 : Katja Grace, et ai. When will AI Exceed Human Performance? Evidence from AI Experts, May 2017.05.30. https://arxiv.org/abs/1705.08807

 

표에서 볼 수 있듯이 ChatGPT가 인공지능 전문가들의 예상을 앞서갔습니다.

그 다음 항목들도 얼마나 빠르게 발전될 지 우리는 알 수 없습니다. 이 같은 발전이 위험하다고 느낀 중국은 ChatGPT를 금지시키기도 했습니다. 

Chat GPT는 검색이라는 당연하다고 느껴졌던 기능의 헤게모니를 GPT로 이동시켰고, 전혀 관련 없어보이는 클라우드 시장 변동을 가져왔습니다. 일반인들의 일상에 영향을 끼친 것뿐만 아니라 애플, 아마존, 마이크로소프트, 구글, 메타 등 거대한 IT 대기업들에게 폭풍과도 같은 도미노식 영향을 주고 있습니다.

 

미래학자 레이 커즈와일은 <특이점이 온다>에서 2030년 이후엔 인간과 인공지능이 결합한 '하이브리드 두뇌'가 실현될 것이라고 예언했습니다.

 

 

역사학자 유발 하라리는 “인공지능이 사람의 두뇌와 연결되고, 바이오 기술로 원하는 자손들의 생물학적 특성을 선택할 수 있다면 더 이상 이는 호모 사피엔스라고 할 수 없다.”라고 말했습니다. 유발 하라리는 그 종을 '호모 데우스'라고 명명하며

"진보의 열차에 올라탄 사람들은 신성을 획득할 것이고, 뒤쳐진 사람들은 절멸할 것이다." 라고 말하기도 합니다.

 

<챗GPT에게 묻는 인류의 미래> 책 내용을 인용하며 글을 마치겠습니다.

"물론 챗GPT가 인간의 언어를 이해하는 것은 아니다. 적어도 진정한 의미에서는 말이다. 3,000억 개가 넘는 문장 토큰과 그들 간의 확률적 상호관계를 학습한 챗GPT. 질문에 포함된 단어들과 확률적으로 가장 잘 어울리는 문장을 생성해낼 뿐이기에, 사실 챗GPT의 '생각'은 기계의 생각이기 전에 지난 수십 년간 인류가 인터넷에 올린 문장과 생각의 합집합이라고 해석해볼 수 있다. 챗GPT는 인류의 생각과 문장을 반사하는 존재적 메아리이자 거울인 셈이다. 하지만 그런 기계의 문장이 너무나도 완벽하기에, 이제 의심이 생기기 시작한다. 어쩌면 우리 인간 역시 결국 미리 학습된 문장들 간의 확률 패턴만을 재조합해 서로에게 들려주고 있는지도 모른다는 의혹 말이다."

 

 

 

 

 

기계를 만들 때 기계의 능력이 인간보다 뛰어나다는 것은 본질적인 문제가 아니다. 망치는 인간의 주먹보다 힘이 세고, 자동차는 당연히 인간보다 빠르다. 도구나 기계가 인간보다 세고 빠른 것은 문제가 되지 않는다. 왜? 망치를 쥐고 있는 사람, 운전대를 잡고 있는 사람은 여전히 인간이기 때문이다.