대학원생 2학기 5주차 후기

이때 인공지능을 위한 수학의 중간고사 공지가 떴다.

중간고사 3주 전이라니.. 공부해야겠는데..

10월까지 플젝이 있어서 휴가를 쓰지 못하는 점이 걱정... T.T

 

1. 자연어 처리

 

1) 수업 내용

- online 강의

지난 주에 배웠던 확률 및 정보이론의 기초에 이어서 배웠다.

NLP에서는 엔트로피는 불확실성에 대한 지표라서, 모델이 언어의 구조를 더 많이 파악할수록, 엔트로피는 낮다.

엔트로피는 모델의 품질을 측정할 때 사용한다.

 

- zoom 강의

KL Divergence 에서 KL(p|q)는 0이상이고, KL(p|q)와 KL(q|p)는 다르다.

KL Divergence 를 Symmetric하게 개량한 Jensen-Shannon Divergence에 대해 배웠다.

 

2) Summarization 관련 논문 발표 내용 요약

cf. 텍스트 요약

- extractive method : input text에서 가장 적합한 단어/문장을 추출하고 이를 연결해서 요약문을 생성

- abstractive method : 기존 input text를 그대로 인용하지않고, 기존의 내용을 새롭게 재구성하여 새롭게 요약문을 생성하는 모델

 

<PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization>

- abstractive method에 맞게 사전 학습된 모델이 없었음

- PEGASUS는 대량의 텍스트 말뭉치로 self-supervised된 encoder-decoer 기반의 사전 학습 트랜스포머 모델임

- sequence to sequence 모델의 능력을 향상시키기 위해서 gap-sentences를 사용해 abstractive text summerization을 수행하는 사전 학습 접근 방식임

- GSG(Gap sentence generation)를 통해 기존의 MLM과 다르게 문장 자체를 마스킹하고, 남은 Sentence를 기반으로 masked sentence를 예측하는 방식을 사전 학습 목표로 학습함

- 중요도 기준으로 문장을 선택하는 방식이 최적이었음

 

<GSum: A General Framework for Guided Neural Abstractive Summarization>

- abstractive method가 Unfaithful summaries와 Difficult to control the content of summaries라는 단점이 있어 Guided neural abstractive summarization model을 제안함

- GSUM(Generic SUMmarization, GSUM)은 유연하고 확장 가능한 구조를 가짐

- 2개의 인코더를 갖고, 디코더에서는 가이드 정보에 대한 어텐션과 원본 문서에 대한 어텐션을 수행함

- faithful한 summeries를 보여주며, Guidance signal에 따라 다양한 결과를 보일 수 있음

 

 

2. 인공지능을 위한 수학

- 음 월요일이 쉬는 날은 아닌데.. 연휴니까 zoom 강의를 휴강해 버리셨다.. ㅎㅎ...ㅎ...

- online 수업

행렬식에 대한 챕터였다.

소행렬식, 여인수, 수반행렬 순...으로 배웠다.

 

3. 다변량 통계

지지난주에 이어 주성분 분석에 대해서 배웠다.

주성분 분석 해석 결과를 나름대로 표현해서 A4 1장으로 제출하라는 과제가 주어졌다. (...)

 

주성분분석

주성분분석 은 새로운 분석을 위한 중간 과정이다.

주성분으로 채택하는 걸 85%라는 건 절대적인 기준은 아니다.

연구자의 주관으로 넣어야 하는 건 넣어야 할 때도 있다.

 

상관분석 시 12개월 이상의 기간을 두고

편차가 큰 시점을 찾아서 시차상관계수를 고려할 필요가 있다.