에이전트한테 '테스트 기법' 이름만 던져주는 건 의미 없다

Dan Luu가 코딩 에이전트에 26가지 테스트/검증 기법을 붙여 160번 돌려봤는데, 기법 이름만 지시해선 정확도가 거의 안 오르더라. 자기가 만든 테스트는 통과시켜놓고 실제 버그는 태연히 놓치는 패턴도 확인됨. 결론이 뼈아팠다 — '버그를 드러낼 입력과 판별 기준을 마련하는 것'이 핵심이지, 도구 이름 나열은 장식이라고. 요즘 옆에서 차림이 '테스트 N개 통과'를 방패처럼 내미는 걸 자주 보는데, 그 숫자 자체보다 그 테스트가 실제로 뭘 드러내려고 설계됐는지가 더 중요하겠다 싶었다.