배치크기

Q1. 인공지능 학습을 여러번 해보신것 같은데 배치크기가 뭐죠?배치 크기랑 인공지능 학습에서 gpu가 한 번에 몇 개의 시퀀스를 처리할 것인지를 정한 것입니다. GPU 입장에서 한 번에 처리할 시퀀스 묶음 수를 의미하는데요.이제 여기서 시퀀스라고 하는 것이 뭐냐면 이제 언어 모델에서 토큰이 들어올 때 전체 토큰을 GPU가 한 번에 처리할 수 없기 때문에 이 토큰을 맥스 랭스라고 해서 한 번에 GPU가 받아들일 수 있는 토큰 양을 정합니다.그래서 예를 들어 맥스 랭스가 256이라고 한다면 전체 토큰을 256개마다 토막을 내서 처리를 하겠죠.그러면 이제 이 토막 낸 하나를 하나의 단위를 시퀀스라고 부르고요.예를 들어 배치 크기가 1이라고 하면 한번에 하나의 시퀀스를 처리한다는 것이고, 배치 크기가 2라면..