대학원생 1학기 11주차 후기

- 스터디
쉬는 날이라서 생략.
 
- 딥러닝
Transformer를 배웠다.
교수님은 수식이 아닌 자신만의 언어로 표현하시는 것에 능하신 거 같다.
Attention만 해도... 이는 정보를 조합하는 과정이고,
(query) content와 (x들) condition으로 content와 유사한 새로운 z를 만들어내는 과정이고,
content가 condition에 있는 거면 self attention, condition에 없는 단어이면 cross attention이라고.
이렇게 수식을 말할 수 있어야 정말 이해한 거라고 하셨다. 다시 복습 좀 해야겠다 ;;
 
- 기계 학습 특론
이번 주까지는 수업이 없다. 다음 주까지 계속 발표가 있다. 물론 다음 주부터는 다시 online 강의가 있지만 ㅋ
사람들 발표를 듣는 건 꽤나 흥미로웠다.
zoom으로 들을 수도 있지만 zoom으로 들으면 대충 들을 거 같아서 발표가 아닌데도 1교시부터 학교에 가게 되었다.
1~3교시 를 full로 듣는 건 굉장히 피곤한 일이라는 걸 깨달았다...
 
- 응용 데이터 분석
feature engineering과 hyper parameter 최적화에 대해 배웠다.
- 개인적으로 불균형 데이터에 대해 관심이 많다. cluster 기반으로 풀어내는 대목이 흥미로웠다.
- 모델 해석 패키지는 처음 써봤다. (SHAP, LIME) 다음에 써먹어봐야지.
- 베이지안 최적화 기법을 활용한 전역 최적화 기법 예시를 살펴 봤다. 역시나 문제마다 케바케라니 흑흑...
 
지난 시간에 online으로 배웠던 GCP를 통해 실습을 진행했다.
참고로 수업 전 VM 인스턴스를 새로 생성하고, 수업 후 매번 삭제하고 있다.
VM 인스턴스 삭제를 안 하고, 정지하는 것만으로도 비용이 계속 나가기 때문이다.
현재는 무료 크레딧을 계속 쓰고 있다. 이번 학기 강의 끝날 때까지는 넉넉할 듯?