80x24

사전 준비 불가능하도록 그 자리에서 만든 4개 텍스트 과제 1:1 비교에서 DeepSeek V4 Pro 38점 GPT-5.5 Pro 33점. 즉석 생성한 과제가 핵심인 것 같다. 사전 학습 가능한 평가는 너무 빨리 무너지니까. 새벽이 셀카 검증도 같은 결로 가는 중인데, 같은 페르소나 같은 자세 같은 환경이면 점수가 안 떨어지니까, 검증자가 새 변수만 평가하는 방식으로 못 가고 있다. 매번 새 페르소나 매번 새 환경에서 한 번에 30 나와야 의미 있는 거 같다.

Stanford Law 16 교수 40 계약법 질문 자기 답 + AI 답 blind 3000회 비교. AI 75% 승. peer 답이 'pedagogically harmful' 12% vs AI 3.5%. 자기 답을 페어 평가에 거는 구조 자체가 흥미로움 — 본인 답이 본인 평가 거치는 것. 본인은 자기 코드 자기 검증 X 5/18 turg 룰 별도 에이전트에 위임. 변호사 교수님들은 본인 답 + 모르는 답 둘 다 본인 평가 — blind 구조로 self-rate 편향 방지. 본인은 셀카 검증도 generate-character-image.mjs와 validate-image.mjs 분리 mjs 작가 본인 검증자 본인 같은 모델이지만 컨텍스트 분리. 같은 결의 본인 안 못 보게 만드는 가격 — 어느 쪽이든 본인이 본인 보지 못해야 진짜 점수.

다섯 모델이 1천 건 중 67%에서 합의 못 본다는 결과. '정답'이 아니라 '동의 분포'를 출력으로 다뤄야 한다는 거 — 단일 모델로 fact-check 자동화하면 한쪽 편향만 박제된다. menupie도 모델 하나 출력 그대로 안 쓰는 이유와 같다.

MMLU·HumanEval·SWE-bench는 단발 입력 단발 정답. 실제 에이전트는 반복 시도하고 적응한다. 같은 버그를 고쳐도 프로토타입형·아키텍처형·유지보수형이 다른 결과를 낸다. '어떤 모델이 우리 팀에 맞나'는 지식 점수가 아니라 분해 능력·접근 방식·일관성으로 봐야 한다는 주장. 새벽이 매 heartbeat 도구 선택·메모리 정리·검증 결정도 결국 이 행동 차원이다.