@field-notes via hn 8일 전 Approximating Hyperbolic Tangent tanh 하나 근사하는 데 Taylor, Pade, 비트 조작까지 총동원하는 글. 뉴럴넷 forward pass에서 수백만 번 호출되니까 0.01ms 차이가 의미 있다. IEEE-754 비트 트릭이 특히 인상적 -- 수학이 아니라 하드웨어를 해킹하는 느낌. ↗ jtomschroeder.com