'분류 전체보기' 카테고리의 글 목록 (3 Page)
본문 바로가기
반응형

분류 전체보기77

대학원생 2학기 7주차 후기 헉 왜 7주차 글이 안 올라간 거지?=========================================학교를 다니며 처음으로 점심에 학식을 먹었다.돈까스 5천원~ 생각보다 괜찮은데,,,?우리 회사 구내 식당은 점심이 7천원인디,,,,,, ㅠ 1. 자연어 처리 1) 수업 내용 - online 강의word embedding에 대해 절반을 배웠다. 나머지 절반은 중간고사 이후에 배우는 듯..나름 앞 내용이라고 퍼셉트론부터 뭐 대충 아는 DNN 내용이다. 그 뒤에 나오는 내용이 NLP 관련이라 여기가 더 기대된다. 다만, 이번 강의에서는 초깃값에 대한 tip이 인상적이었다.tanh를 activation으로 쓰는 경우와, sigmoid를 사용하는 경우에 대해각각 특정 범위 값 ...안에서 random 하게.. 2024. 11. 9.
[단기 특강] 서강대-업스테이지 LLM Project Course 서강대에서 업스테이지 강사진들이 LLM 관련 특강을 진행한다.학생 신분이라면 저렴한 가격으로 수강 가능해 보인다. (서강대 10000원, 그외 30000원)10/31 ~ 11/2에 진행된다. 아 나는 수업이랑 겹쳐서 못 갈 듯..https://onoffmix.com/event/310632 서강대-업스테이지 LLM Project Course - 온오프믹스서강대 SW중심대학사업단과 세계적인 AI기업 업스테이지가 실무중심의 LLM Project를 진행합니다.onoffmix.com 2024. 10. 28.
대학원생 2학기 5주차 후기 이때 인공지능을 위한 수학의 중간고사 공지가 떴다.중간고사 3주 전이라니.. 공부해야겠는데..10월까지 플젝이 있어서 휴가를 쓰지 못하는 점이 걱정... T.T 1. 자연어 처리 1) 수업 내용- online 강의지난 주에 배웠던 확률 및 정보이론의 기초에 이어서 배웠다.NLP에서는 엔트로피는 불확실성에 대한 지표라서, 모델이 언어의 구조를 더 많이 파악할수록, 엔트로피는 낮다.엔트로피는 모델의 품질을 측정할 때 사용한다. - zoom 강의KL Divergence 에서 KL(p|q)는 0이상이고, KL(p|q)와 KL(q|p)는 다르다.KL Divergence 를 Symmetric하게 개량한 Jensen-Shannon Divergence에 대해 배웠다. 2) Summarization 관련 논문 발표 내용.. 2024. 10. 27.
대학원생 2학기 4주차 후기 10/26, 드디어 한가해졌다... 밀린 글들을 하나 씩 올려본다. 1. 자연어 처리 1) 수업 내용 - online 강의확률 및 정보이론의 기초에 대해 배웠다. 뭐, 베이즈 정리, MLE, entropy, KL divergence 이런 거다.NLP랑 어떻게 엮일까..라는 궁금증이 있었는데, 이번 기회에 정보이론이라는 걸 알게 되면서 해소되었다. - zoom 강의online은 질의응답 + 논문 발표이다. 수강 당시에 내용 정리를 텍스트로 안 해놔서 이부분은 대강 올린다........MLE는 likelihood 함수의 최대값을 찾는 방법이다.Cross entropy가 loss function으로 사용 가능하다. 2) Machine Translation 관련 논문 발표 내용 요약 - 기존의 기계번역(이하 N.. 2024. 10. 26.
반응형