연구시 주의할 점 (1): 숫자의 함정에 빠지지 말기...

지금 논문 쓰다가 급하게 하나 기록해둬야겠다 싶어서 쓰러 왔다.

 

이번에 논문을 쓰다가 되게 Counter-intuitive한 결과를 하나 마주했다. 짧게 얘기하면 직관적으로나 이론적으로 dnn의 출력층의 레이어에서 오차가 많이 발생해야 하는 문제가 있는데, 오히려 입력층으로 갈수록 측정중인 metric이 높게 찍히는 문제가 발견됐다. 이리저리 해석을 하다보니 앞쪽층에서 나오는 결과들의 값들의 크기 자체가 뒷층보다 훨씬커서 mae 같은 metric을 찍으면 당연히 오차범위가 커지는 것 같았다.

 

뭐 키를 m대신 cm로 표현하면 숫자 자체는 커져서 분산이나 표준편차도 줄어들고 눈에 보이는 오차 자체도 0.xm 단위로 떨어지는 것과 동일한데, 어떤 분야든 그 단위가 명확하지 않은 경우가 다분히 존재하니 늘 여러 디멘전에 걸친 분석을 하는 경우 이러한 부분을 놓치지 않도록 normalize 해주거나 하는 과정을 추가해야 된다고 생각된다...

 

실제로 한 학회에 리뷰탈을 보낼 때 썼던 분석이 이러한 문제가 있었던 것을 다행히도 그 논문은 떨어지고 나서 (현재 버전과 당시 버전을 비교하면 떨어지는 것이 당연한거 같긴하다 ㅋㅋ) 다음 submission을 준비하며 발견했는데, 똑같은 실수를 이번에 또 한 것. 뭔가 프로토콜화 해서 조심할 수 있도록 노력해야겠음.