대학원생 2학기 9주차 후기

11/26, 더 미루면 기말고사 준비한다고 글 안 쓸 거 같아서 이어서 올려본다.

아니 왜 대외기관이란 것들은 일을 한 번에 못 처리하는 걸까.

어째서 프로젝트 마무리 이후의 a/s가 더 빡센거지...? 내 이럴 줄 알았어...

늦게 올리는 대신에 조금 더 자세하게 써본다.

 

12주차 글까지만 올리고 11/22에 zoom으로 외부 특강 들은 건 대충 정리해서 올려야겠다.. 흑흑

---

일단, 10/26에 다변량 통계 중간고사 대체 과제를 했다.

 

1. 자연어 처리

 

- 중간고사 성적이 뜬 거 같은데.. 안 보고 싶다. ㅎㅎ.. 스킵

 

1) 수업 내용

 

- zoom 강의

Word2Vec에서 CBOW와 skip gram의 차이를 여러 차례 강조하시는 거로 봐서 이걸 아는 것은 중요해 보인다...

 

GloVe에서 loss function 내 가중치 함수는 조건부라는 듯... 관련 논문에 서술돼 있다.

 

- online 강의

 

8주차 중간고사를 보게 되었으니, 전 주에는 강의 대신 아래 특강을 봤다...

https://youtu.be/5ndbqo4ngHs?feature=shared

자연어 처리 교수님

 

그래서 7주차에 이어 word embedding에 대해 배운 건 9주차다.

어떤 내용을 배우기 위해 관련된 기본적인 정의를 배우고, nlp까지 접목해 개념을 확장(?)해 나가는 방식은 인상적이다.

 

CBOW와 Skip Gram이라는 알고리즘과

Hierarchical softmax, Negative Sampling이라는 학습 방식을 각각 배웠다.

 

거기에 count 기반과 predict 기반의 장점을 결합한 word embedding 기법인 GloVe까지 배웠다.

학습이 빠르고, 적은 data로도 좋은 성능을 낸단다.

 

word vectors의 관점에서 word vector와 context words 사이를 예측하는 모델을 정의한다는 말로 nn에서의 word embedding이 정의한 게 명확한 느낌을 받았다.

그나저나... 아직도 한 번씩 머리에서 개념이 reset 되면서

대체 자연어처리는 무엇을 배우는 학문인가 ??? 라는 의문이 생기는데 개념을 자주 보는 게 답인 듯 싶다.ㅠ

 

2) Persona Dialogue 관련 논문 발표 내용 요약

 

<You Impress Me: Dialogue Generation via Mutual Persona Perception>

- Persona Dialogue는 2000년대 초반부터 연구됨

- persnoa를 고려해서 dialogue를 지원하는 모델을 제안함

- transmitter는 지도학습 기반으로 대화를 생성하고, 강화학습을 기반으로 Self-play model fine tuning하여 Agent의 파라미터를 학습시킴

- 여러 번의 대화를 통해 상호 이해를 형성하고 transmitter가 일관성 있게 자연스러운 대화를 생성하게 최적화함

- Receiver로 reward를 계산해 이해에 기반한 말을 한 건지 평가함

 

<BoB: BERT Over BERT for Training Persona-based Dialogue Models from Limited Personalized Data>

- 제한된 개인화 데이터로 인해 persona 기반으로  일관된 dialogue를 만드는 model을 학습하는데 한계가 있음

- 페르소나 기반 대화 생성을 응답 생성과 페르소나 일관성 이해 2가지로 분류함

- BERT 기반의 encoder, 그리고 응답 생성과 일관성 이해를 위한 two BERT 기반의 decoder들로 구성된 모델을 제안함

- 각 decoder 별로 Attention Mask가 활용되는데 역할이 상이함 : 응답 생성에서는 이미 생성된 단어만 참고하며, 일관성 이해에서는 응답의 모든 단어와 페르소나의 정보와 비교하여 일관성이 있는지 판단함

 

2. 인공지능을 위한 수학

 

- 중간고사 성적이 떴다. 흠 100점이 꽤 있고, 95점 이상도 꽤 있고.. 뭐 그렇다. 점수 인플레 그 자체...

교수님이 사전에 제공해주신 기출 문제와 흡사하다.

 

- 이번주 7장은 고윳값과 고유벡터에 대한 챕터였다.

아무래도 6장까지가 중간고사였는데 과제 제출 기한이 중간고사 이후이고 뭐 그래가지고...

중간고사 공부한다고 이번 꺼는 과제만 빨리 풀고 좀 대충 들어가지고...

기말고사 준비할 때가 되면 가물가물할 거 같다 ;;

 

배우는 개념은 뭐... 고윳값과 고유벡터, 특정다항식, 고유공간... + 주성분 분석, 차원 축소

여기까지의 개념을 기억한다면 이 수업은 안 들어도 괜찮을...거 같기도 하고?

근데 뒤에서 계속 써먹을 거라 잘 기억해둬야 함.

 

tmi 수학과 나온 주제에 학부 때 선형대수학 배운게 10년이 넘었고.. 선대1,2 다 들었는데,

데사융 학과의 선형대수학 수업 듣긴 그렇고, 안 들으니 복습을 안 해서, 이 과목으로 듣게 되었음ㅎㅎ

 

3. 다변량 통계

 

- 중간고사 대신 대체 과제를 하게 되어서 지난 주에는 학교를 안 갔었고..

이번 주부터 다시 학교에 가게 되었다.

참고로 교수님은 늦게 와도 출석체크를 다 해주시지만 제때 가는게 학생의 도리라 생각함.

 

이 날은 대응 분석에 대해 배웠다.

범주형 자료에 대한 정준상관분석, 이라는 표현이 와닿았다.

범주 내 여러가지 카테고리가 있을 때 사용한단다.

 

교재에서는 지역별 정당 투표수에 대한 자료가 샘플이었다.

분할표와 카이제곱검정은 그래도 좀 익숙한데,

대응분석 행렬도 같은 건 생소했다. 다중대응분석까지 배웠다.

앗 특잇값 고윳값이 여기서도 나오는 군... 선형대수학, 아니 인공지능을 위한 수학에서 특잇값 13주인가 또 배움