반응형 전체 글77 대학원생 2학기 15주차 후기 (Feat. 자연어 처리 기말고사) 진짜 오래간만에 학교에 갔다.저번 학기에는 3과목 다 16주차에 시험을 봤는데,원래는 지금처럼 15주차에 기말고사를 보는 게 정석인 듯 싶다. 1. 자연어 처리 기말고사를 봐서 수업은 따로 없었다. 중간고사 때, 시험 문제가개념, 모델 구조, 수식 위주로 나오는 걸 봤기 때문에그때 보다는 당황하지 않았다. ㅋㅋㅋㅋ하지만 서술형은 쉬운 문제도 뭔가 역시 어렵게 느껴지는 건 어쩔 도리가 없다. ^^; 2. 인공지능을 위한 수학 - 다음주 월요일이 기말고사라 수업이 없었음.12/14, 이제부터 공부할 생각이다. ㅎㅎ;; 3. 다변량 통계 - 시험은 없고, 기말고사 대체 과제가 주어졌다. 17...일 까지였나?분석하고 싶은 걸 분석해도 되고, ML을 써도 상관없고, 뭐 자유도가 높은 과제이다. - 그전에 이 얘.. 2024. 12. 22. 대학원생 2학기 13주차 후기 1. 자연어 처리 1) 수업 내용 - online 강의 Pretrained Language Models에 대해 배웠다.사전학습 언어 재표현에는 feature-based approach와 fine-tuning approach가 있다. (전자 ELMo, 후자 GPT, BERT.) ELMo는 biLSTMpre-training part, ELMo part로 나뉜다.Multi-layer bidirectional Transformer Encoder가 있고, 모델 맨 위층에는 task specific layer가있다. cf. WordPiece embeddingscf. Segment embeddings - zoom 강의 Multihead attention과 CNN Filter를 비유한 부분이 인상적이었다.(하단 논문 .. 2024. 12. 18. 대학원생 2학기 12주차 후기 (Feat. 인공지능을 위한 수학 출석지정일) 학교에 갈 일이 없을거라 생각했는데, 그거는 대입 관련해서 토요일에 한정된 조치였다.월요일 online인 인공지능을 위한 수학은 해당되지 않았다.ㅋㅋㅋ 1. 자연어 처리 1) 수업 내용 - online 강의지난 주에 이어 딥러닝기반의 SequenceLabeling-6,7 강의를 이어 들었다.transformer의 core ideas에 대해 배우게 된다.지난 학기 딥러닝 수업과 내용이 겹치는 부분인데, 분명 공통적으로 설명이 같은 부분이 있긴 한데..attention의 3가지 방법이라든지,multihead attention에서 차원 축소인데, 그 만큼 다양한 표현을 학습..하게 된다는 표현처럼같은 내용인데... 뭔가의 의의를 표현하는 데 있어 관점아 미묘하게 다른 느낌이 없잖아 있다. 기분 탓인가? - z.. 2024. 12. 14. 모두콘 2024 컨퍼런스 모두콘 2024 (MODUCON 2024)주제: AI for Next Impact일시: 2024년 12월 15일(일) 10:00~17:00장소: 양재 aT센터 3층, 4층주최: 모두의연구소비용: 무료지피티는 요약도 잘 해준다 ㅎ https://moducon.modulabs.co.kr/?utm_source=modulabs&utm_medium=gnb_modu_user MODUCON 2024 | 모두콘 2024모두콘 2024 Ai for next impact 에 초대합니다moducon.modulabs.co.kr p.s.올초에 한번 가봤어서 신청하긴 했는데...16일이 기말고사라서 잘 모르겠다. ㅠㅋㅋㅋ 2024. 12. 4. 대학원생 2학기 11주차 후기 11,12,13주차는 토요일에 오프라인 수업을 하지 않는다.뭐.. 대학 입시와 관련된 이유라고 한다. (맨 밑에 있는 이미지 캡처본 참고) 1. 자연어 처리 1) 수업 내용 - online 강의 BIO notation으로 각 단어를 DSE와 ESE로 분리하고자 여러 방식으로 접근함이전의 모든 단어들을 고려하는게 RNN인데, vanishing gradient 문제가 있다.vanishing gradient 문제를 완화해 장기 의존성 문제를 더 잘 캡처하게 해서 성능을 올리려고개발된 모델로는 GRU와 LSTM이 있다. - zoom 강의 2) In-Context Learning 관련 논문 발표 내용 요약 Language Models are Few-Shot Learners>- 전통적인 fine-tuning 방식은.. 2024. 12. 3. 대학원생 2학기 10주차 후기 11/29, 10월 말이 되자 1년 전 이맘 때쯤 대학원에 붙었으면 이라는 생각을 했던 게 생각나서대학원 그 네이버 카페에 들어가서 이번 후기 대학원 면접 후기를 찾아 봤다.평일 수업을 하는데 괜찮냐는 질문을 했다는 말에 학과에 문의를 했는데,26년도부터인가 평일 수업을 한다는 답변을 받았는데, 왜 아직까지 공지가 없는건지 모르겠다.학과 일처리 속도 진짜 노답 ㅂㄷㅂㄷ 대체 왜 공지를 안 해줌? 8월에 수요조사 하셨잖아요 ^^! (당시 게시글 참고) 학교 복도를 거니는데, 복도 벽에는 다음 주부터 대입 때문에 토요일 학교 건물 출입을 통제한다는 포스터가 붙어 있었다.통제 일정이 확실해지면 재공지를 해준다고 한다. 1. 자연어 처리 1) 수업 내용 - online 강의 단어의 문장에 대한 확률을 계산하는 .. 2024. 11. 29. 대학원생 2학기 9주차 후기 11/26, 더 미루면 기말고사 준비한다고 글 안 쓸 거 같아서 이어서 올려본다.아니 왜 대외기관이란 것들은 일을 한 번에 못 처리하는 걸까.어째서 프로젝트 마무리 이후의 a/s가 더 빡센거지...? 내 이럴 줄 알았어...늦게 올리는 대신에 조금 더 자세하게 써본다. 12주차 글까지만 올리고 11/22에 zoom으로 외부 특강 들은 건 대충 정리해서 올려야겠다.. 흑흑일단, 10/26에 다변량 통계 중간고사 대체 과제를 했다. 1. 자연어 처리 - 중간고사 성적이 뜬 거 같은데.. 안 보고 싶다. ㅎㅎ.. 스킵 1) 수업 내용 - zoom 강의Word2Vec에서 CBOW와 skip gram의 차이를 여러 차례 강조하시는 거로 봐서 이걸 아는 것은 중요해 보인다... GloVe에서 loss functio.. 2024. 11. 26. 대학원생 2학기 8주차 후기 (Feat. 중간고사) 일 년 전 이 맘 때 면접을 봤었다는 게 생각이 난다.회사랑 병행을 하려니까 탄력근무제를 시행하는 회사임에도변수가 너무 많다...졸업까지 힘내 봐야지.. ㅡ.ㅡ 1. 자연어 처리 금요일에 시험을 봤다. 조진 건 확실하다 ㅋㅋㅋㅋㅋ정의와 예시를 쓰라고 나오고, 개념과 공식을 쓰라고 나오고,논문의 모 아키텍처의 구조를 그리라고 나오고, 뭐 그런 식이었다.어렵다는 후기가 무성한데, 하필 이번 주까지 물리적 시간이 너무 너무 너무 부족해서...공부를 못 하게 됐는데, 역시나.. 어려웠다.그래도 시험 공부를 하면서 강제로 공부가 된 느낌(?)이다. 2. 인공지능을 위한 수학 월요일에 시험을 봤다. 목요일인가 성적이 떴다.1/2 가량이 거의 만점에 가까우니... 시험은 역시나 쉬웠다.교수님이 사전에 알려주신 기출과.. 2024. 11. 9. 이전 1 2 3 4 ··· 10 다음 반응형
