Research Note (4) 썸네일형 리스트형 (한국어 번역) - i sensed anxiety and frustration at NeurIPS’24 역주 - (아래의 글은 필자가 ChatGPT에게 조경현 교수님의 "i sensed anxiety and frustration at NeurIPS’24"를 한국어 번역을 요청하여 얻은 결과로 원본과 내용이 다를 수 있습니다) 지난주 NeurIPS '24에서 특히 두드러졌던 점은, 졸업을 앞둔 박사 과정 학생들과 박사 후 연구원들이 느끼고 표현한 불안과 좌절감이었습니다. 이들은 5년 혹은 그 이상 전에 박사 과정을 신청할 당시 예상했던 것과는 크게 달라 보이고 느껴지는 현재의 취업 시장에 혼란스러워하고 있었습니다. 그중 일부는 제가 지도하고 있는 박사 과정 학생들이나 박사 후 연구원들이기도 해서, 저는 최근 인공지능 연구와 개발 분야에서 무슨 일이 벌어지고 있었는지, 혹은 벌어지고 있는지에 대해 고민해보게 .. 연구시 주의할 점 (1): 숫자의 함정에 빠지지 말기... 지금 논문 쓰다가 급하게 하나 기록해둬야겠다 싶어서 쓰러 왔다. 이번에 논문을 쓰다가 되게 Counter-intuitive한 결과를 하나 마주했다. 짧게 얘기하면 직관적으로나 이론적으로 dnn의 출력층의 레이어에서 오차가 많이 발생해야 하는 문제가 있는데, 오히려 입력층으로 갈수록 측정중인 metric이 높게 찍히는 문제가 발견됐다. 이리저리 해석을 하다보니 앞쪽층에서 나오는 결과들의 값들의 크기 자체가 뒷층보다 훨씬커서 mae 같은 metric을 찍으면 당연히 오차범위가 커지는 것 같았다. 뭐 키를 m대신 cm로 표현하면 숫자 자체는 커져서 분산이나 표준편차도 줄어들고 눈에 보이는 오차 자체도 0.xm 단위로 떨어지는 것과 동일한데, 어떤 분야든 그 단위가 명확하지 않은 경우가 다분히 존재하니 늘 여러.. Computer Science 논문 찾기 사이트: DBLP https://dblp.org/ dblp: computer science bibliography case-insensitive prefix search: default e.g., sig matches "SIGIR" as well as "signal"exact word search: append dollar sign ($) to worde.g., graph$ matches "graph", but not "graphics"boolean and: separate words by spacee.g., codd modelboolean or: connect wo dblp.org 많은 경우 google scholar에서 키워드 기반을 논문을 찾기는 하지만 종종 어떤 학회를 중점적으로 논문을 찾고 싶을 때가 있고, Go.. 연합학습 (Federated Learning) LEAF 데이터셋 사용법 (1) - FEMNIST 데이터셋, pytorch loader 구현 Federated Learning Dataset? 최근 FL 공부를 다시 좀 하면서 직접 framework를 구현하고 있다. 관련하여서 가장 귀찮은게 일반적인 데이터셋을 그대로 사용하기가 어렵다는 점이다. 실제 FL의 목적은 여러 device에서 학습을 진행하고 이를 server에 보내서 aggregation을 하는 과정을 거치지만, 많은 연구들에서는 하나의 플랫폼(일반적으로 충분한 연산 능력을 갖춘 서버나 데스크톱)에서 시뮬레이션과 같은 형태로 FL을 구현한다. 따라서 하나의 플랫폼에서 데이터를 적절히 분류하여서 FL에 적합한 형태로 정리할 필요가 있다. 여기서 이 '적절히'라는게 정말 애매한 조건이다. FL을 제안한 논문에서 FL에서 기본적인 FL을 위한 데이터셋의 구성에 대해서 언급을 하고 있다. .. 이전 1 다음
