HOME>Tech & Story> 테크 알쓸신잡
챗GPT 대화 실력의 비밀,
딥러닝
지난 2016년은 바둑 천재 이세돌 9단 vs. 알파고 대결에서 인공지능이 승리를 거두면서 인공지능의 무한한 가능성에 감탄한
한 해였습니다. 이후 대화하는 인공지능 챗GPT의 등장으로 산업계 전반에서 인공지능의 존재감이 커졌습니다. ‘알파고’, ‘챗GPT’는 딥러닝이 낳은 걸작품입니다.
과연 딥러닝은 무엇이고, 머신러닝과는 어떻게 다른지 그 개념을 알아볼까요?
| 인공지능의 개념과 생성형 인공지능
인공지능AI의 출현이 우리의 사고를 뒤흔들고 있습니다. 인공지능이란 인간이 만들어낸, 인간처럼 생각하고 추론할 수 있는 지능을 말합니다. 1956년 다트머스 회의에서 컴퓨터 과학자 존 매카시가 인공지능이란 용어를 처음 사용했습니다. 다트머스 회의는 미국의 다트머스대학교에서 수학･심리학･컴퓨터과학 등 다양한 분야의 전문가 10명이 모여 한 회의입니다.
요즘 AI 중에서 특히 챗GPT의 인기가 거셉니다. 2022년 11월 말 세상에 등장한 챗GPT는 알파고의 등장에 버금가는 충격적인 사건이었습니다. 챗GPT는 구글의 알파고처럼 AI의 이름이자 종류입니다. 생성형 AI이죠.
생성형 AI는 예술, 음악, 소프트웨어 코드, 글쓰기 등 새롭고 독창적인 콘텐츠를 만들 수 있는 AI를 말합니다. 사용자가 궁금한 내용을 컴퓨터에 입력하면, AI가 학습한 내용을 기반으로 응답을 생성해 종종 독특하고 창의적인 결과물을 만들어냅니다. 사람이 경험하고 배운 것을 토대로 행동하는 것처럼 AI도 학습한 내용을 가지고 질문에 대한 답을 내놓습니다. 주문하는 대로 막힘없이 결과물을 만들어낸다고 해서 생성형 AI라고 부릅니다.
요즘 AI 중에서 특히 챗GPT의 인기가 거셉니다. 2022년 11월 말 세상에 등장한 챗GPT는 알파고의 등장에 버금가는 충격적인 사건이었습니다. 챗GPT는 구글의 알파고처럼 AI의 이름이자 종류입니다. 생성형 AI이죠.
생성형 AI는 예술, 음악, 소프트웨어 코드, 글쓰기 등 새롭고 독창적인 콘텐츠를 만들 수 있는 AI를 말합니다. 사용자가 궁금한 내용을 컴퓨터에 입력하면, AI가 학습한 내용을 기반으로 응답을 생성해 종종 독특하고 창의적인 결과물을 만들어냅니다. 사람이 경험하고 배운 것을 토대로 행동하는 것처럼 AI도 학습한 내용을 가지고 질문에 대한 답을 내놓습니다. 주문하는 대로 막힘없이 결과물을 만들어낸다고 해서 생성형 AI라고 부릅니다.
미국 스탠퍼드대학 교수이자 컴퓨터 과학자 존 매카시는 1956년 다트머스
회의에서 인공지능이란 용어를 처음 사용했다.(사진 자료: 스탠퍼드대학)
요즘 AI 중에서 가장 주목받는 건 단연 챗GPT다.
2022년 11월 말 세상에 등장한 챗GPT는 알파고의 등장에
버금가는 충격적인 사건이었다. 챗GPT는 구글의 알파고처럼
AI의 이름이자 종류로 생성형 AI다.
| 딥러닝은 어떻게 호랑이를 구별해낼까
AI의 학습에는 머신러닝machine learning과 딥러닝deep learning이 있습니다. 딥러닝은 인간의 신경망을 본뜬 인공신경망을 통해 기계가 스스로 학습하도록 하는 기술입니다. 2006년 캐나다 토론토대학교의 제프리 힌턴 교수가 처음 만들었습니다. 챗GPT도 딥러닝 기술로 훈련을 받고 있습니다.
인간의 뇌에는 수천억 개의 뉴런(신경세포)이 서로 촘촘하게 연결돼 신호를 주고받으면서 작동합니다. 뉴런은 가지돌기에서 신호를 받아들이고, 이 신호가 일정치 이상의 크기를 가지면 축삭돌기를 통해서 신호를 전달하는데, 딥러닝은 바로 이런 인간 뇌의 뉴런 구조를 본떠 만든 모델입니다. 그렇다면 딥러닝은 어떤 메커니즘으로 학습을 할까요.
딥러닝은 입력값과 출력값 사이에 인공신경망이 겹겹이 층layer으로 구성되어 있습니다. 이 여러 층에서 데이터를 걸러냅니다. 입력데이터와 출력데이터 사이의 관계를 자동으로 학습하고 최적의 가중치를 찾아내는 방식입니다. 쉽게 말해 수백만 개 층으로 구성된 인공신경망의 각 층이 간단한 연산을 통해 정보를 처리하고, 그 정보를 다음 층으로 넘기는 식으로 물체를 인식합니다. 이러한 방식을 ‘다층 퍼셉트론perceptron’이라고 합니다.
예를 들어 생김새가 서로 다른 사자와 호랑이 여러 마리가 뒤섞인 사진 수천만 장 중에서 호랑이만 인식하는 학습을 한다고 생각해봅시다. 수백만 개의 층 중 첫 번째 층에선 먼저 갈색 호랑이만 인식합니다. 두 번째 층에선 까만 줄무늬의 호랑이만 인식합니다. 세 번째 층에선 색깔과 관계없이 호랑이만 인식합니다. 계속 이어지는 다음다음 층에선 하품하는 모습, 꼬리 흔드는 모습, 점프력 등 다양한 호랑이의 공통된 패턴을 찾아내 학습합니다.
컴퓨터에 투입된 데이터를 바탕으로 일정한 패턴을 발견해 특정 지도를 형성해나가는 것입니다. 아주 작은 특징부터 큰 특징까지 추출합니다. 그리고 마지막 층에서 호랑이만 분류해냅니다. 이렇게 수없이 많은 단계를 거쳐 특징을 추출하는 딥러닝은 층이 깊다고 해서 ‘심층 학습, 깊은 학습’으로도 불립니다. ‘심층 신경망deep neural network’ 알고리즘을 통해 다단계로 깊은 수준까지 내려가 학습하기 때문에 딥러닝이라는 이름이 붙게 되었고, 상위계층으로 올라갈수록 어려운 내용을 학습할 수 있습니다.
인간의 뇌에는 수천억 개의 뉴런(신경세포)이 서로 촘촘하게 연결돼 신호를 주고받으면서 작동합니다. 뉴런은 가지돌기에서 신호를 받아들이고, 이 신호가 일정치 이상의 크기를 가지면 축삭돌기를 통해서 신호를 전달하는데, 딥러닝은 바로 이런 인간 뇌의 뉴런 구조를 본떠 만든 모델입니다. 그렇다면 딥러닝은 어떤 메커니즘으로 학습을 할까요.
딥러닝은 입력값과 출력값 사이에 인공신경망이 겹겹이 층layer으로 구성되어 있습니다. 이 여러 층에서 데이터를 걸러냅니다. 입력데이터와 출력데이터 사이의 관계를 자동으로 학습하고 최적의 가중치를 찾아내는 방식입니다. 쉽게 말해 수백만 개 층으로 구성된 인공신경망의 각 층이 간단한 연산을 통해 정보를 처리하고, 그 정보를 다음 층으로 넘기는 식으로 물체를 인식합니다. 이러한 방식을 ‘다층 퍼셉트론perceptron’이라고 합니다.
예를 들어 생김새가 서로 다른 사자와 호랑이 여러 마리가 뒤섞인 사진 수천만 장 중에서 호랑이만 인식하는 학습을 한다고 생각해봅시다. 수백만 개의 층 중 첫 번째 층에선 먼저 갈색 호랑이만 인식합니다. 두 번째 층에선 까만 줄무늬의 호랑이만 인식합니다. 세 번째 층에선 색깔과 관계없이 호랑이만 인식합니다. 계속 이어지는 다음다음 층에선 하품하는 모습, 꼬리 흔드는 모습, 점프력 등 다양한 호랑이의 공통된 패턴을 찾아내 학습합니다.
컴퓨터에 투입된 데이터를 바탕으로 일정한 패턴을 발견해 특정 지도를 형성해나가는 것입니다. 아주 작은 특징부터 큰 특징까지 추출합니다. 그리고 마지막 층에서 호랑이만 분류해냅니다. 이렇게 수없이 많은 단계를 거쳐 특징을 추출하는 딥러닝은 층이 깊다고 해서 ‘심층 학습, 깊은 학습’으로도 불립니다. ‘심층 신경망deep neural network’ 알고리즘을 통해 다단계로 깊은 수준까지 내려가 학습하기 때문에 딥러닝이라는 이름이 붙게 되었고, 상위계층으로 올라갈수록 어려운 내용을 학습할 수 있습니다.
| 데이터 분류를 통한 예측이 딥러닝의 핵심
이때 데이터가 많아질수록 학습할 수 있는 능력이 커집니다. 예를 들어 고양이를 정확하게 분류하는 딥러닝 모델을 만들려면 고품질의 고양이 이미지와 고양이를 분류하는 요인이 다양해야 합니다. 쉽게 말해 눈과 코의 모양만으로 분류하는 것보다 눈, 코, 입, 귀, 꼬리 등 많은 변수를 부여해야 가장 정확한 판단을 계산해낼 수 있습니다.
그렇다면 그 많은 데이터는 어디서 구할까요. 우리의 1분1초가 인터넷에 기록되고 있습니다. 전 세계 사람들이 매일 찍어서 올리는 동물과 식물, 새로 산 옷, 가방 등의 사진, 음식을 맛있게 만드는 조리법, 세계 여행 이야기 등 디지털 환경에서 끊임없이 만들어지고 있는 모든 문자나 영상, 이미지가 딥러닝의 데이터가 됩니다. 이렇게 방대한 데이터를 ‘빅데이터big data’라고 합니다.
딥러닝의 핵심은 분류를 통한 예측입니다. 수많은 데이터 속에서 공통점을 스스로 찾아 인간이 사물을 구분하듯 컴퓨터가 데이터를 분류합니다. 데이터를 분류해내는 일은 생각보다 어렵습니다. 예를 들어 강아지의 종류는 무수히 많습니다. 웅크린 모양, 조명, 상황 등에 따라 그 값은 얼마든지 달라질 수 있습니다. 이 때문에 컴퓨터가 강아지를 인지하도록 하는 것은 사실상 불가능했습니다. 하지만 딥러닝은 이런 문제를 해결할 수 있습니다.
우리가 똑같은 물건을 자주 보면, 볼 때마다 눈에서 뇌로 전달된 정보는 신경세포들 사이에서 똑같은 신호 패턴을 반복적으로 일으킵니다. 그 때문에 뇌가 반복학습을 하게 되고 기억하게 됩니다. 딥러닝도 마찬가지입니다. 이미지, 음성인식, 자연어처리 등 다양한 분야를 활용한 반복학습을 통해 공통된 패턴을 인식합니다. 공통된 패턴을 학습하는 과정에서 입력데이터와 출력데이터 사이의 오차를 최소화하는 방향으로 가중치를 조정하게 되고, 최종적으로 학습된 딥러닝 모델은 새로운 입력데이터에 대한 출력을 예측할 수 있게 됩니다.
그렇다면 그 많은 데이터는 어디서 구할까요. 우리의 1분1초가 인터넷에 기록되고 있습니다. 전 세계 사람들이 매일 찍어서 올리는 동물과 식물, 새로 산 옷, 가방 등의 사진, 음식을 맛있게 만드는 조리법, 세계 여행 이야기 등 디지털 환경에서 끊임없이 만들어지고 있는 모든 문자나 영상, 이미지가 딥러닝의 데이터가 됩니다. 이렇게 방대한 데이터를 ‘빅데이터big data’라고 합니다.
딥러닝의 핵심은 분류를 통한 예측입니다. 수많은 데이터 속에서 공통점을 스스로 찾아 인간이 사물을 구분하듯 컴퓨터가 데이터를 분류합니다. 데이터를 분류해내는 일은 생각보다 어렵습니다. 예를 들어 강아지의 종류는 무수히 많습니다. 웅크린 모양, 조명, 상황 등에 따라 그 값은 얼마든지 달라질 수 있습니다. 이 때문에 컴퓨터가 강아지를 인지하도록 하는 것은 사실상 불가능했습니다. 하지만 딥러닝은 이런 문제를 해결할 수 있습니다.
우리가 똑같은 물건을 자주 보면, 볼 때마다 눈에서 뇌로 전달된 정보는 신경세포들 사이에서 똑같은 신호 패턴을 반복적으로 일으킵니다. 그 때문에 뇌가 반복학습을 하게 되고 기억하게 됩니다. 딥러닝도 마찬가지입니다. 이미지, 음성인식, 자연어처리 등 다양한 분야를 활용한 반복학습을 통해 공통된 패턴을 인식합니다. 공통된 패턴을 학습하는 과정에서 입력데이터와 출력데이터 사이의 오차를 최소화하는 방향으로 가중치를 조정하게 되고, 최종적으로 학습된 딥러닝 모델은 새로운 입력데이터에 대한 출력을 예측할 수 있게 됩니다.
| 딥러닝과 머신러닝의 차이는 사람의 개입 여부
딥러닝은 인공신경망을 이용하는 머신러닝(기계학습)의 일종입니다. 딥러닝과 머신러닝은 데이터를 이용해 모델을 학습한다는 공통점이 있습니다. 하지만 데이터를 학습하는 과정에서 큰 차이가 있습니다. 바로 사람의 개입 여부입니다.
머신러닝은 사람이 주어진 데이터를 먼저 처리합니다. 컴퓨터에 강아지, 고양이의 특정 패턴을 추출하는 방법을 사람이 처음부터 끝까지 세세하게 알고리즘을 한 줄 한 줄 코딩해서 입력합니다. 그 이후 이렇게 정의된 알고리즘에 따라 컴퓨터가 스스로 데이터의 개, 고양이의 특징을 분석하고 축적합니다. 이렇게 축적된 데이터를 바탕으로 문제를 해결합니다.
문제는 학습된 상황과 조금만 달라도 알고리즘이 제대로 작동하지 않는다는 것입니다. 예를 들어 사람이 먼저 강아지의 사진을 보고 추출한 특정 패턴과 약간 동작이 바뀐 다른 강아지 사진을 보여주면 고양이라는 엉뚱한 답을 내놓습니다. 머신러닝에서는 왜 이런 문제가 생길까요. 바로 단층 퍼셉트론을 적용했기 때문입니다. 하나의 층에서만 학습을 하니 다양한 정보를 처리하기가 어렵습니다. 반면 다층 퍼셉트론 방식을 따르는 딥러닝은 어려운 내용의 학습이 가능하며 새로운 입력데이터에 대한 출력을 예측할 수 있는 거지요.
머신러닝은 사람이 주어진 데이터를 먼저 처리합니다. 컴퓨터에 강아지, 고양이의 특정 패턴을 추출하는 방법을 사람이 처음부터 끝까지 세세하게 알고리즘을 한 줄 한 줄 코딩해서 입력합니다. 그 이후 이렇게 정의된 알고리즘에 따라 컴퓨터가 스스로 데이터의 개, 고양이의 특징을 분석하고 축적합니다. 이렇게 축적된 데이터를 바탕으로 문제를 해결합니다.
문제는 학습된 상황과 조금만 달라도 알고리즘이 제대로 작동하지 않는다는 것입니다. 예를 들어 사람이 먼저 강아지의 사진을 보고 추출한 특정 패턴과 약간 동작이 바뀐 다른 강아지 사진을 보여주면 고양이라는 엉뚱한 답을 내놓습니다. 머신러닝에서는 왜 이런 문제가 생길까요. 바로 단층 퍼셉트론을 적용했기 때문입니다. 하나의 층에서만 학습을 하니 다양한 정보를 처리하기가 어렵습니다. 반면 다층 퍼셉트론 방식을 따르는 딥러닝은 어려운 내용의 학습이 가능하며 새로운 입력데이터에 대한 출력을 예측할 수 있는 거지요.
| 딥러닝에 자연어처리 접목해 사람에 맞는 결과물 생성
딥러닝은 컴퓨터 프로그래밍 언어(코딩)가 아닌 자연어를 인식합니다. AI에서 가장 중요한 요소 중 하나는 ‘자연어처리’입니다. 자연어처리는 사람이 평소 쓰는 말과 글을 그대로 인식할 수 있는 기술을 말합니다. 즉 사람의 언어인 자연어를 그대로 제공하면 기계(컴퓨터)가 사람의 언어를 처리하여 사람에게 맞게 결과물을 만들어냅니다.
오랜 시간 인간의 전유물로 여겼던 언어를 컴퓨터에게 가르치고, 나아가 컴퓨터가 스스로 언어를 자유자재로 사용할 수 있도록 하는 방법입니다. 단순히 단어나 문장의 형태만 기계가 인식하도록 하는 것이 아니라 ‘의미를 인식하도록 하는 것’을 뜻합니다.
예를 들어 ‘빨강’, ‘분홍’, ‘파랑’이라는 3개의 단어를 컴퓨터에 입력했다고 가정해봅시다. 일반적인 컴퓨터의 경우 자연어처리 과정에서 빨강과 분홍, 파랑이 각각 동일하게 다른 의미를 지닌 정보로 취급됩니다. 하지만 사람인 우리는 빨강과 분홍이 어떤 포함관계에 속하는 유사성을 지닌 단어임을 직관적으로 이해합니다. 이런 단어의 의미를 올바르게 인식하도록 만드는 것이 자연어처리 기술입니다.
딥러닝을 기반으로 하는 자연어처리에서도 사람이 단어를 이해하는 것처럼 빨강과 분홍을 파랑과 비교해 더 가깝고 유사한 관계에 있는 정보라고 처리합니다. 다시 말해 언어에서 연속적인 가치를 발견하고 언어를 처리할 수 있습니다. 문장에서 다음에 나올 단어의 확률을 구해 단어, 문장, 문단에 적용한 패턴을 인식하는 것입니다. 그래서 컴퓨터 프로그래밍을 말하는 코딩과 자연어처리는 동일한 개념이 아닙니다. 앞으로 자연어처리의 비약적인 발전에 딥러닝이 핵심 역할을 하게 될 것입니다.
미국의 물리학자 레이 커즈와일Ray Kurzweil은 2029년쯤이면 인간의 뇌와 다름없는 기계지능이 나타나고, 2045년에는 ‘AI가 인간을 앞지르는 특정 시점(특이점)’인 싱귤래러티Singularity가 온다고 예언했습니다. 심층 학습으로 여러 단계를 쌓아 올라가다 보면 사람만큼 영리한 지능에 도달할 수 있다는 것입니다. 물론 아직은 스스로 학습하는 기계에 사람의 손길이 더욱 필요하지만 말입니다. 인간을 뛰어넘은 AI가 어떤 모습일지 궁금합니다.
오랜 시간 인간의 전유물로 여겼던 언어를 컴퓨터에게 가르치고, 나아가 컴퓨터가 스스로 언어를 자유자재로 사용할 수 있도록 하는 방법입니다. 단순히 단어나 문장의 형태만 기계가 인식하도록 하는 것이 아니라 ‘의미를 인식하도록 하는 것’을 뜻합니다.
예를 들어 ‘빨강’, ‘분홍’, ‘파랑’이라는 3개의 단어를 컴퓨터에 입력했다고 가정해봅시다. 일반적인 컴퓨터의 경우 자연어처리 과정에서 빨강과 분홍, 파랑이 각각 동일하게 다른 의미를 지닌 정보로 취급됩니다. 하지만 사람인 우리는 빨강과 분홍이 어떤 포함관계에 속하는 유사성을 지닌 단어임을 직관적으로 이해합니다. 이런 단어의 의미를 올바르게 인식하도록 만드는 것이 자연어처리 기술입니다.
딥러닝을 기반으로 하는 자연어처리에서도 사람이 단어를 이해하는 것처럼 빨강과 분홍을 파랑과 비교해 더 가깝고 유사한 관계에 있는 정보라고 처리합니다. 다시 말해 언어에서 연속적인 가치를 발견하고 언어를 처리할 수 있습니다. 문장에서 다음에 나올 단어의 확률을 구해 단어, 문장, 문단에 적용한 패턴을 인식하는 것입니다. 그래서 컴퓨터 프로그래밍을 말하는 코딩과 자연어처리는 동일한 개념이 아닙니다. 앞으로 자연어처리의 비약적인 발전에 딥러닝이 핵심 역할을 하게 될 것입니다.
미국의 물리학자 레이 커즈와일Ray Kurzweil은 2029년쯤이면 인간의 뇌와 다름없는 기계지능이 나타나고, 2045년에는 ‘AI가 인간을 앞지르는 특정 시점(특이점)’인 싱귤래러티Singularity가 온다고 예언했습니다. 심층 학습으로 여러 단계를 쌓아 올라가다 보면 사람만큼 영리한 지능에 도달할 수 있다는 것입니다. 물론 아직은 스스로 학습하는 기계에 사람의 손길이 더욱 필요하지만 말입니다. 인간을 뛰어넘은 AI가 어떤 모습일지 궁금합니다.
딥러닝은 컴퓨터 프로그래밍 언어(코딩)가
아닌 자연어를 인식한다. AI에서 가장 중요한
요소 중 하나는 ‘자연어처리’로 자연어처리는
사람이 평소 쓰는 말과 글을 그대로 인식할 수
있는 기술을 말한다.
-
김형자 과학 칼럼니스트청소년 과학 잡지 <Newton> 편집장을 지냈으며, 현재 과학 칼럼니스트와 저술가로 활동 중이다. 문화체육관광부 <K-공감>, <조선일보>, <주간조선>, <시사저널> 등의 매체에 과학 칼럼을 연재하고 있다. 저서로는 <구멍에서 발견한 과학>, <먹는 과학책>, <지구의 마지막 1분> 등이 있다.
이번 호 PDF 다운로드 