[기술면접] 트랜스포머란 무엇인가요?

트랜스포머란 자연어 처리에서 문장 내 단어들의 연관성을 효과적으로 학습하기 위해 만들어진 딥러닝 모델입니다. 특히, 어텐션 메커니즘과 병렬 처리라는 두 가지 핵심 특징을 가지고 있습니다.

먼저 어텐션 메커니즘부터 살펴보면, 어텐션이라는 단어 자체가 “주의”나 “집중”이라는 의미를 가지고 있죠. 이 메커니즘은 문장 내에서 어떤 단어에 더 집중해야 할지 판단하는 역할을 합니다.
예를 들어, “나는 오늘 커피를 마셨다”라는 문장에서 “마셨다”라는 동사를 이해하려면 “커피를”이라는 단어에 더 주목해야 합니다. 반면에 “나는”이나 “오늘” 같은 단어는 상대적으로 덜 중요하겠죠.
이렇게 어텐션 메커니즘은 문장 내 단어들 간의 연관성을 학습하면서 어떤 단어가 더 중요한지 판단하고, 이를 통해 문맥을 더 정확히 이해합니다.

다음으로 병렬 처리를 설명하자면, 트랜스포머는 기존의 RNN(순환 신경망)과 달리 문장을 순차적으로 처리하지 않고 병렬로 처리합니다.
예를 들어, “나는 오늘 커피를 마셨다”라는 문장이 있다면, 트랜스포머는 모든 단어를 동시에 처리하면서, 각 단어가 다른 단어들과 어떤 연관성을 가지는지를 한꺼번에 계산합니다.
“나는”이 다른 단어들과 어떤 관계를 가지는지, “오늘”이 어떤 관계를 가지는지를 한 번에 계산하기 때문에, 처리 시간이 훨씬 단축되면서도 문맥을 쉽게 파악할 수 있습니다.

결론적으로, 트랜스포머는 어떤 단어가 중요하고, 단어들 사이에 어떤 관계가 있는지를 병렬적으로 계산하여 자연어를 더 잘 이해하고 처리할 수 있는 모델입니다.