반응형 대학원45 대학원생 2학기 15주차 후기 (Feat. 자연어 처리 기말고사) 진짜 오래간만에 학교에 갔다.저번 학기에는 3과목 다 16주차에 시험을 봤는데,원래는 지금처럼 15주차에 기말고사를 보는 게 정석인 듯 싶다. 1. 자연어 처리 기말고사를 봐서 수업은 따로 없었다. 중간고사 때, 시험 문제가개념, 모델 구조, 수식 위주로 나오는 걸 봤기 때문에그때 보다는 당황하지 않았다. ㅋㅋㅋㅋ하지만 서술형은 쉬운 문제도 뭔가 역시 어렵게 느껴지는 건 어쩔 도리가 없다. ^^; 2. 인공지능을 위한 수학 - 다음주 월요일이 기말고사라 수업이 없었음.12/14, 이제부터 공부할 생각이다. ㅎㅎ;; 3. 다변량 통계 - 시험은 없고, 기말고사 대체 과제가 주어졌다. 17...일 까지였나?분석하고 싶은 걸 분석해도 되고, ML을 써도 상관없고, 뭐 자유도가 높은 과제이다. - 그전에 이 얘.. 2024. 12. 22. 대학원생 2학기 13주차 후기 1. 자연어 처리 1) 수업 내용 - online 강의 Pretrained Language Models에 대해 배웠다.사전학습 언어 재표현에는 feature-based approach와 fine-tuning approach가 있다. (전자 ELMo, 후자 GPT, BERT.) ELMo는 biLSTMpre-training part, ELMo part로 나뉜다.Multi-layer bidirectional Transformer Encoder가 있고, 모델 맨 위층에는 task specific layer가있다. cf. WordPiece embeddingscf. Segment embeddings - zoom 강의 Multihead attention과 CNN Filter를 비유한 부분이 인상적이었다.(하단 논문 .. 2024. 12. 18. 대학원생 2학기 12주차 후기 (Feat. 인공지능을 위한 수학 출석지정일) 학교에 갈 일이 없을거라 생각했는데, 그거는 대입 관련해서 토요일에 한정된 조치였다.월요일 online인 인공지능을 위한 수학은 해당되지 않았다.ㅋㅋㅋ 1. 자연어 처리 1) 수업 내용 - online 강의지난 주에 이어 딥러닝기반의 SequenceLabeling-6,7 강의를 이어 들었다.transformer의 core ideas에 대해 배우게 된다.지난 학기 딥러닝 수업과 내용이 겹치는 부분인데, 분명 공통적으로 설명이 같은 부분이 있긴 한데..attention의 3가지 방법이라든지,multihead attention에서 차원 축소인데, 그 만큼 다양한 표현을 학습..하게 된다는 표현처럼같은 내용인데... 뭔가의 의의를 표현하는 데 있어 관점아 미묘하게 다른 느낌이 없잖아 있다. 기분 탓인가? - z.. 2024. 12. 14. 대학원생 2학기 11주차 후기 11,12,13주차는 토요일에 오프라인 수업을 하지 않는다.뭐.. 대학 입시와 관련된 이유라고 한다. (맨 밑에 있는 이미지 캡처본 참고) 1. 자연어 처리 1) 수업 내용 - online 강의 BIO notation으로 각 단어를 DSE와 ESE로 분리하고자 여러 방식으로 접근함이전의 모든 단어들을 고려하는게 RNN인데, vanishing gradient 문제가 있다.vanishing gradient 문제를 완화해 장기 의존성 문제를 더 잘 캡처하게 해서 성능을 올리려고개발된 모델로는 GRU와 LSTM이 있다. - zoom 강의 2) In-Context Learning 관련 논문 발표 내용 요약 Language Models are Few-Shot Learners>- 전통적인 fine-tuning 방식은.. 2024. 12. 3. 이전 1 2 3 4 ··· 12 다음 반응형
