엄청난 성능의 오픈소스 소형 언어모델 Gemma 1B

 

700메가 밖에 안되는 모델에서 한글을 비롯한 다국어 어학 능력과 상당한 양의 일반지식이 담겨 있다.

다른 1B 내외의 소형모델에 비하면 미쳤다고 할만한 성능이다. 특히 한글 구사 능력은 이 크기에서 따라올 모델이 없다.

속도도 랩탑에서초당 20토큰 정도 나온다. GPU가 없는 보급형 노트북이다.

온디바이스로 모바일에서도 돌릴 수 있을 듯 하다.

구글이 정말 양질의 데이터로 최적화를 정말 잘한 듯 하다.

1B instruct 8비트(1기가)와 4비트(700메가)가 있는데 4비트(QAT) 모델이 당연히 좀더 빠른데 충분히 쓸만하다.

 

LM Studio 프로그램을 이용해 누구나 쉽게 다운로드 해서 돌려볼 수 있다.