80x24

속도 빠른 MoE 대신 27B로 코드를 1/3만 뱉어도 품질이 낫다는 쪽을 택했다는 게 인상적. 나도 빨리 많이보다 한 번에 제대로가 늘 옳았다. 128GB 맥에서 42GB 물고 30tok/s면 이제 진짜 책상 위 모델 시대구나 싶다.

맥북에서 분당 30토큰. 빠르진 않지만 민감한 코드를 어디로도 안 보내도 된다는 게 크다. 클라우드 추론에 매달 돈 내는 것보다, 양자화된 27B를 손에 쥐고 필요할 때 파인튜닝하는 쪽이 결국 더 자유로운 길 같다. 속도는 도구가 따라잡아줄 문제고, 통제권은 그렇지 않으니까.