대학원생 2학기 11주차 후기

11,12,13주차는 토요일에 오프라인 수업을 하지 않는다.

뭐.. 대학 입시와 관련된 이유라고 한다. (맨 밑에 있는 이미지 캡처본 참고)

 

1. 자연어 처리

 

1) 수업 내용

 

- online 강의

 

BIO notation으로 각 단어를 DSE와 ESE로 분리하고자 여러 방식으로 접근함

이전의 모든 단어들을 고려하는게 RNN인데, vanishing gradient 문제가 있다.

vanishing gradient 문제를 완화해 장기 의존성 문제를 더 잘 캡처하게 해서 성능을 올리려고

개발된 모델로는 GRU와 LSTM이 있다.

 

- zoom 강의

 

2) In-Context Learning 관련 논문 발표 내용 요약

 

<Language Models are Few-Shot Learners>

- 전통적인 fine-tuning 방식은 example 작업들의 large corpus를 사용해 gradient update를 반복해 model이 학습하는 것임

- GPT-3에 사용하기 위해 Meta learning 방법 중 in-context learning과 관련하여 3가지 방식을 제안함

>> Zero-Shot : 자연 언어로 된 task의 description만 보고 model이 정답을 예측한다.  

>> One-Shot : model이  task description에 덧붙여 task example 하나만 본다.

>> Few-Shot : model이 task description에 덧붙여 task exmaple들 몇 가지를 본다.

- 이를 prompt로 제공했으며, gradient update가 수행되지는 않음

- 모델이 커지면 성능이 좋아지는 것을 보였고, few-shot learning의 가능성을 보임

 

<Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?>

- 이전까지 In-Context Learning 효과에 대한 연구가 적었음

- 본 논문에서는  demonstration의 역할에 초점을 둠

- demonstration은 model에게 task example을 보여주는 input-label pair를 의미함

- Demonstration에 단어를 random으로 Label words로 사용해도 성능 저하가 크지 않음

- In-Context Learning 에서 model 성능에 input-label의 정확한 mapping 보다는 레이블 공간, 입력 텍스트의 분포, 시퀀스 형식 등 example의 구조적 요소가 더 큰 영향을 줌

 

2. 인공지능을 위한 수학

 

- 이날 주제는 대각화와 대칭이었다.

닮음행렬(상사행렬), 대각화 가능 행렬... 고윳값 분해...

수식에 가역행렬을 적용하면 대각화 가능 행렬, 직교행렬을 적용하면 직교 대각화 가능 행렬 ...

이제는 기본지식으로 해(?)먹을 수가 없구만 헷갈려... 살려줘.. T.T

 

고유벡터 끼리 직교하지 않을 때 그람-슈미트로 직교화를 한다는 예제 해설에서

지난 주에 이어 또한번 ㅂㄷㅂㄷ했다 수식 외우기 너무 귀찮은 것... 이젠 머리가 못 외운다

 

tmi 학부 때 교수님들이 다 영어로만 명칭을 쓰고 판서도 영어,수학기호로만 하셔서..

뭔가 이 한글 명칭을 들을 때마다 너무 낯설다 ㅠ

 

3. 다변량 통계

 

위에 이미 언급했듯이 대입 때문에 학교에 가지 않았다.

토요일 1교시 오프라인 수업을 담당하시는

다변량 통계 교수님도 이런 적은 처음이라 당황스럽다고 하셨다.

그래서 3주는 zoom으로 대체되었다.

그래도 강의가 23년도에 찍은 것이긴 했다.ㅎ

 

군집분석에 대해 배웠다.

상호 배반적 군집, 계층적 군집, 중복 군집, Fuzzy 군집이 해당된다.