대학원생 2학기 10주차 후기

11/29, 10월 말이 되자 1년 전 이맘 때쯤 대학원에 붙었으면 이라는 생각을 했던 게 생각나서

대학원 그 네이버 카페에 들어가서 이번 후기 대학원 면접 후기를 찾아 봤다.

평일 수업을 하는데 괜찮냐는 질문을 했다는 말에 학과에 문의를 했는데,

26년도부터인가 평일 수업을 한다는 답변을 받았는데, 왜 아직까지 공지가 없는건지 모르겠다.

학과 일처리 속도 진짜 노답 ㅂㄷㅂㄷ 대체 왜 공지를 안 해줌? 8월에 수요조사 하셨잖아요 ^^! (당시 게시글 참고)

 

학교 복도를 거니는데, 복도 벽에는 다음 주부터 대입 때문에 토요일 학교 건물 출입을 통제한다는 포스터가 붙어 있었다.

통제 일정이 확실해지면 재공지를 해준다고 한다.

 

1. 자연어 처리

 

1) 수업 내용

 

- online 강의

 

단어의 문장에 대한 확률을 계산하는 LM..

하나 또는 두개의 이전 단어를 고려해 확률을 추정하게 된다.

n개의 연속적인 단어를 나열한 게 n-gram인데,

전통적인 LM에서 여러 기법은 n-gram 기반 모델 성능 향상에 도움이 될 수 있다.

 

- zoom 강의

 

int/out에 따라 다양한 형태의 sequence modeling이 존재한다.

sparse problem을 보완하기 위해 쓰이는 smoothing 기법에는 여러가지가 있다.

 

2) Controllable Text Generation 관련 논문 발표 내용 요약

 

<Exploring Plug and Play Language Models: A Simple Approach to Controlled Text Generation>

input sentence의 방향에 상관없이 원하는 방향으로 문장이 생성되게 하고자 함

이를 위해 기본 언어 모델과 속성 모델을 결합한 PPLM (Plug and Play Language Model)을 제안함

사전 학습된 언어 모델을 수정하지 않고, 속성 조정을 통해서 텍스트 생성을 제어하는 방식임

 

<FUDGE: Controlled Text Generation With Future Discriminators>

생성할 때 속성을 조건부로 적용할 수 있게 제어된 유연한 텍스트 생성 모델을 개발하려고 함

모델 재학습 없이 속성을 고려한 제어된 문장을 생성하고자 FUDGE를 제안함

Future Discriminator D가 존재하여 사용자의 의도가 반영된 속성에 따라 단어 쌍의 관계 평가한다

Fine-Tuing보다 경제적이며, Gradient method보다 빠르고, 전통적인 Weighted Decoding보다 경제적이다.

 

2. 인공지능을 위한 수학

 

- 직교성이 주제였다.

직교기저, 직교행렬... 그람-슈미트 과정 .... 거기에 QR 분해에다가 최적근사해까지 배웠다.

그람-슈미트 과정은 정규직교기저를 통한 직교기저를 구하는 과정이라는데, 계산이 너무 귀찮다.

슬슬 과제 문젯수가 줄어드는게 풀이가 복잡해져서 그러는 거 같단 생각이 든다 -.- ㅂㄷㅂㄷ

 

- 기말고사 공지가 떴다. 으악. 12/16이니까 16주차이다...!

아 물론 첫주차에 시험 날짜 못 박은 자연어처리도 있으니 뭐 크게 놀랍진 않다.

12/13까지 자연어처리에 올인하고 이후에 이거 벼락치기 해야겠다 ㅋㅋㅋㅋ

 

3. 다변량 통계

 

- 뭔가 기말고사가 없을 거같기도 하단 생각이 든다.

수업에 와서 듣고 이해가 중요한 거라는 교수님 말씀 때문이다.

 

- 다차원 척도법에 대해 배웠다.

상대적인 개념의 거리를 표현하는 방식으로 유사성과 비유사성을 기준으로 배웠고,

계량형, 비계량형 다차원척도법도 배웠다.

텍스트 분석에서 쓰인다는 Hamming Distance는 이날 처음 들어 봤다.

그리고 Russell-Rao 유사성 계수도 마찬가지로 처음 들어봤다. Minkowski Distance나 자카드 계수 정도는 아는데.. 쩝

 

예재로 있던 화장품의 이미지에 대한 설문 결과 데이터를 분석해 보고서를 제출하는 과제가 주어졌다. 2-3주에 한 번 정도는 이따금 이렇게 과제를 주시는 거 같다. 학기 초에 제공받았던 R 소스코드만 적당히 수정해서 돌려보면 되니까, 이 과제는 복습 차원이 맞는 듯.