Attention Is All You Need: 현대 AI의 시작점을 읽다

들어가며

혹시 긴 글을 읽다가 앞부분 내용을 까먹어서 다시 돌아가 본 적 있으신가요? 과거의 AI 모델들도 딱 그랬습니다. 사람의 언어는 순서가 중요하죠. 그래서 예전의 AI는 문장을 첫 단어부터 끝 단어까지 차례대로(순차적으로) 읽어야만 했습니다. 그러다 보니 문장이 조금만 길어져도 앞부분을 잊어버리거나, 한 단어씩 처리하느라 학습 시간이 엄청나게 오래 걸리는 고질적인 문제가 있었죠.

2017년, 구글 연구진은 이 문제를 해결할 대담한 제안을 내놓습니다. "순서대로 읽는 거, 이제 그만합시다. 그냥 문장 전체를 한꺼번에 보고 중요한 단어에만 집중하면 안 될까요?" 이 아이디어가 바로 그 유명한 **트랜스포머(Transformer)**의 시작입니다.

기존 방식의 답답함: 꼬리에 꼬리를 무는 방식

기존의 RNNRNNRecurrent Neural Network의 약자로, 순차적인 데이터를 처리하기 위해 이전 단계의 정보를 다음 단계로 전달하며 학습하는 신경망입니다.이나 CNNCNNConvolutional Neural Network의 약자로, 주로 이미지 데이터에서 지역적인 특징을 추출하는 데 탁월한 신경망 구조입니다. 모델들은 문장을 처리할 때 마치 릴레이 경주를 하듯 했습니다. 첫 번째 단어를 처리해야 두 번째 단어를 알 수 있고, 그래야 세 번째 단어로 넘어갈 수 있었죠. 이런 방식은 두 가지 큰 문제가 있었습니다.

첫째, 병렬 처리가 불가능합니다. GPU라는 강력한 장비가 있어도 한 번에 한 단어씩만 처리해야 하니 성능을 제대로 활용할 수 없었죠. 둘째, 거리가 먼 단어끼리는 연결하기가 어렵습니다. 문장 앞쪽의 '주어'와 문장 끝의 '동사'가 서로 관계가 있어도, 그 사이의 수많은 단어를 거쳐야 하니 정보가 희석되기 일쑤였습니다.

핵심 아이디어: '집중'하면 모든 것이 보인다

트랜스포머의 핵심은 단순합니다. **'어텐션(Attention)'**이라는 기술 하나만 쓰겠다는 겁니다. 어텐션은 쉽게 말해 '문장의 특정 단어를 처리할 때, 문장 내 다른 단어들 중 어디를 주의 깊게 볼 것인가?'를 계산하는 방식입니다.

예를 들어, "그는 사과를 먹었다, 왜냐하면 그것은 맛있었기 때문이다"라는 문장에서 '그것'이 무엇인지 알려면 '사과'에 집중해야 하죠. 트랜스포머는 문장의 모든 단어가 서로를 동시에 바라보게 함으로써, 거리에 상관없이 단어 간의 관계를 즉각적으로 파악합니다. 이걸 **셀프 어텐션(Self-Attention)**이라고 부릅니다.

어떻게 동작하나: 트랜스포머의 마법

트랜스포머는 크게 인코더인코더입력된 문장의 의미를 압축하여 벡터 형태로 표현하는 모델의 앞부분입니다.와 디코더디코더인코더가 만든 정보를 바탕으로 새로운 결과물(번역문 등)을 생성해내는 모델의 뒷부분입니다.라는 두 개의 블록으로 나뉩니다. 인코더는 입력된 문장을 이해하고, 디코더는 그 이해를 바탕으로 번역문 같은 결과를 만들어내죠. 이 과정에서 핵심적인 역할을 하는 것이 바로 '멀티 헤드 어텐션'입니다.

flowchart TD
  A[입력 문장] --> B[셀프 어텐션] 
  B --> C[멀티 헤드]
  C --> D[병렬 처리]
  D --> E[결과 생성]

멀티 헤드 어텐션은 어텐션을 여러 개(헤드)로 나누어 수행합니다. 어떤 헤드는 문법적인 관계를, 어떤 헤드는 단어의 의미적 유사성을, 또 어떤 헤드는 문장 전체의 흐름을 파악하는 식이죠. 이렇게 다양한 관점에서 문장을 동시에 분석하니 훨씬 더 깊은 이해가 가능해집니다.

그래서 결과는 어땠을까?

결과는 그야말로 혁명이었습니다. 기존 모델들이 며칠씩 걸려 학습하던 번역 작업을 트랜스포머는 단 몇 시간 만에 끝냈습니다. 그러면서도 번역 품질은 훨씬 뛰어났죠. 단순히 번역뿐만 아니라 문법 분석 같은 다른 언어 문제에서도 최고의 성능을 보여주며, 오늘날 우리가 사용하는 ChatGPT 같은 거대 언어 모델의 근간이 되었습니다.

무엇이 중요한가 / 한계

트랜스포머가 중요한 이유는 '순차적 계산'이라는 족쇄를 완전히 끊어냈기 때문입니다. 덕분에 우리는 훨씬 더 방대한 데이터를 AI에게 학습시킬 수 있게 되었죠.

물론 한계도 있습니다. 문장이 길어질수록 계산해야 할 양이 제곱으로 늘어납니다. 단어 100개를 처리할 때와 1,000개를 처리할 때의 계산 비용 차이가 엄청나죠. 그래서 요즘 연구자들은 이 효율성을 높이는 방법들을 끊임없이 고민하고 있습니다. 하지만 분명한 건, 이 논문이 AI 역사의 물줄기를 바꿨다는 사실입니다. 이제 우리는 단어 하나하나를 쫓는 AI가 아니라, 문장 전체를 한눈에 통찰하는 AI의 시대를 살고 있습니다.