삽질 노트 (6) 썸네일형 리스트형 텐서보드 로그 파일 .csv로 정리하기 (Tensorboard log to csv) 최근에 급하게 프로젝트 하나에 조인해서 일주일 정도 급하게 실험을 왕창 돌렸습니다. 저는 보통 학습과 관련된 정보들을 텐서보드를 통해서 기록해두는 편입니다. 텐서보드를 사용하는 이유로는 역시 학습중에 학습이 어떻게 되고 있는지 시각화도 잘 해주고 같은 metric에 대해서 다른 세팅을 한 실험들간 직관적인 비교가 가능한 것도 좋은 것 같습니다 WandB같은 다른 우수한 MLOps 툴들이 있지만 공부를 시작하던 당시에 텐서보드로 시작했기에 역시 익숙한 텐서보드에 손이 가는 것 같습니다. 아무튼 저렇게 많은 수의 실험을 돌리다 보니 나중에 실험 결과를 정리할 때 하나하나 수작업으로 처리하는 것은 절대로 불가능해 보였고, 이걸 .csv로 떨어뜨려서 작업을 해야겠다고 생각했는데, 텐서보드에서 csv를 다운 받으.. CT image의 Axial, Coronal axis 분류하기 반갑습니다... 요즘 몸도 안좋고 이리저리 바빠서 블로그는 쳐다볼 시간이 없네요. 최근 연구실에서 CT image 데이터셋을 다룰 일이 생겨서 작업하다 매우 귀찮은 작업이 있음을 인지하였습니다. CT 이미지는 아래 이미지 처럼 어떤 축을 기준으로 촬영되느냐에 따라서 볼 수 있는 구조가 달라지고, 따라서 목적에 따라 사용되는 이미지가 달라집니다. 따라서 '일반적인' 어디 공개되어 있는 CT 데이터들은 axial, coronal, sagittal인지 명시하거나 아예 다른 폴더에 저장되어 있는 경우가 많았던 것 같습니다. Kaggle과 같은 곳에서 볼 수 있는 오픈 데이터셋에서 여러 방향에서 촬영된 CT 이미지의 경우 대부분 그렇게 정리되어 있을 것 같습니다. 그런데 제가 병원으로부터 받은 데이터는 환자의 C.. TCP, HTTP, etc 터널링 with ngrok 오랜만에 또 기록해둘만한 것이 생겨서 키보드를 두드린다. 상황이 어찌저찌 잘 맞아서 핀란드 헬싱키에서 열린 Mobisys에서 데모를 발표할 기회가 생겼다. DNN offloading이 기본적으로 들어가는 연구여서 서로 다른 기기간의 소켓 통신이 들어가 있었는데, 컨퍼런스가 열린 헬싱키 대학의 wifi가 외부 접속을 위한 포트들을 싹다 막아둬서 구현해둔 코드가 동작하지 않았다. 덕분에 학회 첫날 숙소에서 해결책을 찾다가 발견한 것이 터널링, ngrok이라는 프로그램을 통해서 막혀있는 포트를 외부 서버를 통해 우회하여 접속할 수 있었다. 간단하게 사용했던 방법만 기록해두려고 한다. 기본적인 설치 및 실행 방법은 아래의 블로그를 참고하였다. https://yunwoong.tistory.com/131 ngrok.. 박사학위과정 전문연구요원 준비 (1) - 한국사능력검정시험 준비 후기 오랜만에 올리는 게시물인데 내용은 학업과 관련된 이야기는 아니라 죄송하다. 각설하고 지금 본인은 석박사통합과정 3학기를 보내면서 박사학위과정 전문연구요원 (이하 전문연) 준비를 슬슬 시작하고 있다. 전문연을 지원하기 위해서 2가지 정도의 외부 시험과 대학원 학점 관리를 해야하는 신세이다. 대학원 학점이야 그냥 평소에 성실히 코스웍 과제를 하면 되는 일이지만 외부 시험은 별도로 준비를 해야 한다. 오늘은 그 중 하나인 한국사능력검정시험 준비를 했던 내용을 대충 정리 해두려 한다. 누군가는 궁금해 할 만한 내용이 아닐까 싶고, 본인은 이런 자격증(?), 능력검정시험(?) 같은걸 태어나서 처음봤기 때문에 이런저런 걱정이 많았었기에... 우선 전문연이 요구하는 기준은 한국사능력검정시험 3급 이상이다. 한능검은 .. 윈도우 caps lock -> 한/영 키로 만들기 본인은 연구실 컴퓨터는 windows 그리고 노트북은 mac을 사용하는 편인데, 이리저리 수업을 듣거나 집에서 작업을 하는 경우, 가벼운 업무는 mac으로 처리하는 버릇이 들어서 mac의 단축키가 손에 익어버렸다. 나머지는 그냥 그러려니 하고 사용하는데(신기하게 cmd 키랑 ctrl 키가 스위치 껐다 키는거 마냥 전환이 잘된다. 인간의 뇌는 신비하다) 한/영 전환 키가 정말 손에 익지 않아서+caps lock 키의 사용 용도도 크게 없고(영어로 neutral한 글을 쓸 일이 별로 없으니...) 윈도우도 그냥 caps lock으로 한영 전환을 한다. 그러다가 전 게시글이랑 비슷한 이유로 연구실 컴을 포맷하면서 이걸 다시 설정해줘야 했다. 이것도 다시 찾아서 할려니 어지러워서 그냥 정리해두려고 한다. 1. .. 윈도우 Terminal 꾸미기 (Windows terminal theme 설정, Oh-My-Posh, 배경이미지 넣기) 작년 8월 중순부터 갑자기 연구실 컴퓨터에서 microsoft 관련 프로그램들이 모두 인증 관련 문제로 작동하지 않는 문제가 발생했다. 당시에 5시간 정도 삽질을 하고 학교 부서에 연락을 해서 문제를 해결하려고 했지만 결국 해결하지 못했고, 모든 slide 작업과 word, excel 같은 작업을 모두 mac에서 처리해야 했다. 데스크톱을 포맷해서 문제를 해결하려 했지만 당시에 논문을 쓰고 있어 시간을 내기도 귀찮았고, 파일을 백업하거나 정리하다가 논문 데이터를 날려버릴까 걱정되어서 포맷하지 못했다. 12월초에 논문도 냈고 학기도 종료되어서 코스웤 관련 자료들도 이제 대충 정리되었겠다 신년 맞이 데스크톱 포맷을 진행했고, 다행히 데이터도 잘 보존되었고 문제가 되었던 microsoft 프로그램들도 잘 작동.. 이전 1 다음
