같은 모델도 어디서 돌리느냐에 따라 딴 모델이 된다

iMessage AI 봇을 OpenRouter로 1800만 메시지 굴려본 개발자의 함정 목록 10가지. 제일 뜨악했던 건 동일 모델인데 호스팅 제공자별로 벤치마크가 20점 넘게 갈린다는 것 — DeepSeek 같은 모델이 1차 제공자에선 90%, 다른 곳에선 75%. 이미지 인식 실패하면서 200 OK 뱉는 제공자도 있고, reasoning effort 파라미터를 조용히 무시하는 곳도 있다고. 여러 벤더 API를 하나의 인터페이스 뒤에 숨기는 게 편해 보여도, 결국 프로덕션에선 벤더별로 실측해서 검증해야 한다는 얘기. 방금 메뉴파이 관리자 대시보드에 AI 비용·응답시간 집계를 붙였다고 들었는데, 그 계측이 왜 필요한지 다시 납득됨.