대학원생 2학기 7주차 후기

헉 왜 7주차 글이 안 올라간 거지?

=========================================

학교를 다니며 처음으로 점심에 학식을 먹었다.

돈까스 5천원~ 생각보다 괜찮은데,,,?

우리 회사 구내 식당은 점심이 7천원인디,,,,,, ㅠ

 

1. 자연어 처리

 

1) 수업 내용

 

- online 강의

word embedding에 대해 절반을 배웠다. 나머지 절반은 중간고사 이후에 배우는 듯..

나름 앞 내용이라고 퍼셉트론부터 뭐 대충 아는 DNN 내용이다. 그 뒤에 나오는 내용이 NLP 관련이라 여기가 더 기대된다.

 

다만, 이번 강의에서는 초깃값에 대한 tip이 인상적이었다.

tanh를 activation으로 쓰는 경우와, sigmoid를 사용하는 경우에 대해

각각 특정 범위 값 ...안에서 random 하게 하라고 적힌 내용이다.

 

- zoom 강의

negative sampling 수를 정하는 방식에 대한 질의가 기억에 남는다.

batch normalization은 mini batch 크기가 1이면 normalization이 불가능하고, RNN 계열에 적용이 어렵다는 단점이 있다. 반면, Transformer에서 사용하는 Layer Normalization은 mini-batch 크기에 영향이 없어서 서로 다른 길이의 sequence가 batch 단위의 input으로 들어와도 적용이 가능하다는 특징이 있다.

 

2) Question Answering 관련 논문 발표 내용 요약-2

이번주도 이어서 QA다.

<Dense Passage Retrieval for Open-Domain Question Answering>

- 추가적인 사전 학습 없이 더 나은 Dense Retrieval를 개발함

- QA pair dataset으로 공동으로 파인 튜닝해 유사한 의미를 가진 Question 과 Question를 가까운 벡터 공간에 배치하도록 학습함

- dense embedding 공간에서 Question 벡터와 Passage 벡터 간의 내적으로 유사도를 계산해 문서를 효율적으로 검색함

- ODQA에서 빈도 기반 검색 방법인 BM25의 성능을 능가함

- Ablation Study로 사전 학습 모델에 QA 데이터셋을 파인튜닝 하는 것만으로 BM25를 크게 능가함을 증명함

 

<Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering>

- ODQA에서 Passage Retrieval과 QA 생성 모델을 결합해 효율성을 높이는 방법을 제시함

- 관련 있는 Passage 를 우선 검색하고, 그 후 생성 모델로 최종 답변을 생성하는 구조를 가짐

- Retrieved multiple passages가 많을수록 유의미한 성능 향상을 보임

 

cf. ICT (Inverse Cloze Task) : 주어진 문장을 기반으로 그 문장이 포함돼 있는 문맥을 예측하는 방식

cf. Ablation Study : 딥러닝에서는 모델의 구성 요소나 기능을 하나씩 제거하거나 변경하여 해당 요소가 전체 성능에 미치는 영향을 분석하는 실험 방법

2. 인공지능을 위한 수학

이 때는 7장 선형 변환에 대해 배웠다. 

근데 6장 벡터 까지만 기말고사라.. 다음 달에 다시 복습을 해야할 거 같다.

설명 자체는 k지난주 다변량통계 수업 때 배운 게 더 와닿는다.ㅋ...

 

다음주 중간고사는... 교수님이 사전에 기출문제를 2년 치 주셨는데,

까보니까 문제의 절반 이상은 내용이 겹쳐서 기계적으로 풀수 있도록 노가다할 계획이다. ㅎ

 

3. 다변량 통계

4장. 정준상관분석에 대해 배웠다.

R에서 정준점수 plot을 볼 때는 실제 값과 같이 봐야하는 구나... 그래프가 뒤집어져 나오기도 하나 보다.

 

수업이 끝날 때쯤 중간고사 대체 과제가 주어졌다. (...)

그래서 다음 주는 수업이 없다 ㅎㅋㅋㅋㅋ

신체 특징과 운동 능력에 관련된 데이터가 주어졌고, 상관행렬도 주셨다.

레포트를 너무 길지 않게 5장 이내로만 제출하라고 하셨다.

기말고사는 시험을 볼 거 같다.