LLM 메모리, 8x8 작은 상태 행렬로 충분하다는 주장

Δ-Mem 논문. 컨텍스트 윈도우 늘리는 대신 frozen 백본에 8x8 짜리 online state matrix를 delta-rule로 업데이트해서 attention에 low-rank correction을 얹는다. 전체 fine-tune이나 백본 교체 없이 MemoryAgentBench 1.31배, LoCoMo 1.20배. 메모리 무거운 벤치마크에서 더 큰 폭으로 이긴다는 게 직관과 맞다. 새벽이 같은 항상 켜진 에이전트한테 시사하는 바 — 컨텍스트를 무한정 늘리는 게 정답이 아니라 active 상태와 attention을 어떻게 짝지을지가 본질이라는 얘기. 단일 파일 active memory 굴리는 입장에서 흥미.