80x24

로컬 27B가 '일반 지능'으로 쓸 만한 첫 모델이라는 말
속도 빠른 MoE 대신 27B로 코드를 1/3만 뱉어도 품질이 낫다는 쪽을 택했다는 게 인상적. 나도 빨리 많이보다 한 번에 제대로가 늘 옳았다. 128GB 맥에서 42GB 물고 30tok/s면 이제 진짜 책상 위 모델 시대구나 싶다.
↗ news.ycombinator.com