Q. 파인튜닝된 언어모델을 어떻게 평가하셨나요?언어 모델을 어떻게 평가했는지를 말씀드리기 전에, 저희가 어떤 언어 모델을 만들려고 했는지 말씀드릴게요.저희가 만들려고 했던 모델은 사용자와 일상 대화가 가능한 언어 모델이었습니다. 일상대화가 가능하다는 것을 쪼개서, ‘먼저 싱글턴에서 대화가 되는 가?’를 평가 목표로 잡았습니다.그리고 2가지 평가를 진행했습니다.일단 첫 번째로는 저희가 직접 손수 프롬프트를 넣어서 테스트했어요. 예를 들어 사용자가 오늘 날씨 어때라고 물어봤을 때 오늘 날씨 추워요 이렇게 대답할 수 있는 지 본거예요. 한번씩 이상하게 기호가 섞여서 나오도라고요. 그런 경우는 전처리를 다시 해서, 오류를 잡았습니다.그리고 이제 두 번째 평가는 자동화된 툴을 사용했어요. 언제까지 수작업으로 테스..
'언어모델 성능평가' 태그의 글 목록