[기술면접] 본인 프로젝트에서 어떤 파인튜닝 기법을 사용하셨나요?

Q1. 파인튜닝이 뭐고, 왜 필요할까요?

파인 튜닝은 대규모 언어 모델을 특정 작업이나 도메인에 맞게 미세 조정하는 기법을 말합니다.
사전훈련된 대규모 언어 모델은 문장에서 다음 단어가 어떤 다음 단어가 등장할지 예측하는 데는 우수한 능력을 가지고 있지만 특정 작업 예를 들어 번역,요약,챗봇 등 회사에서 요구하는 특정 작업에 맞춰서 추론을 하는 능력은 떨어집니다.
그래서 이런 파인 튜닝 과정이 필요합니다.

 

Q2. 본인 프로젝트에서 어떤 파인튜닝 기법을 사용하셨나요?

저희 프로젝트에서는 파인 튜닝 기법 중에서 이제 Lora라는 기법을 사용했는데요.
이 로라는 전체 파라미터를 모두 학습시키는 것이 아니라 이제 특정 작은 모듈만 부분적으로 학습을 시키는 것을 말합니다.
이 로라는 특히 저차원 행렬이라는 것을 모델 위에 추가를 하는데요. 그래서 이제 모델의 가중치라든지 파라미터는 그대로 두고 이 저차원 행렬만 그 해당 컨텍스트에 맞게 조정을 했습니다.