대학원생 2학기 2주차 후기 (Feat. 자연어처리 수업은요.)

2주차. 추석이 있어 다행이었다. 이번주 평균 수면 시간이 4시간일 듯?
그와중에 업스테이지 강의까지 들으려고 고생 고생했다 ㅂㄷㅂㄷ

이번 글은 자연어 처리 빼고 배운 게 없는 지라 이거 위주로 설명한다.

1. 자연어 처리

1) 수업 방식
수업은 플립러닝 방식이라 온라인 사전학습 반, 실시간 zoom 반이다.
온라인 사전학습 후 학습 내용에 대해 질문을 남기는 게 과제이고,
zoom에서는 그 과제(질문) 중 일부에 대해 답변을 하시면서 30분 가량 설명해 주시고,
2인 1조로 각 논문 당 15분 정도로 발표를 하게 되고, 이후에 교수님이 추가적으로 설명을 해주신다.

2) 수업 내용

<중의성 문제>

ambiguity resolution ~ classification ~ MLP

- number로 단어의 의미를 표현하는 knowledge representation이 중요한데, 이 수치를 표현하는 게 word embedding

- word embedding에도 중의성 문제가 해결이 안 된다. = ELMo(Embeddings from Language Models)

 

<Sequential Labeling>

 

3) sentiment analysis 관련 논문 발표 내용 요약

 

BERT는 자연어처리 모델의 기본이다.

근데, 일단 BERT를 디테일하게 몰라서 논문 이해를 위한 사전 학습이 필요했다. ^^..

아니 강의 계획서 상으로는 한참 뒤에 나오는 내용이거늘 다 안다고 치고 시작하는 이 강의 무엇...ㅠ

 

<Multi-Task Deep Neural Networks for Natural Language Understanding>

- Multi Task Learning(MTL)과 pretrained Language Model이 상호보완적이라 보고, 이 둘을 결합한 MT-DNN을 제시함.

- MT-DNN 모델 내부에서 하위에는 shared Layer로 BERT를, 상위에는 NLU task 별로 layer를 각각 가짐.

- 결과적으로 text representation 성능을 개선하여, 그 당시 GLUE 벤치마크 9개 중 8개에서 SOTA 달성했음.

- 또한, 새로운 도메인의 데이터가 더 적은 상황에서 BERT 대비 더 뛰어난 성능을 보임.

 

<BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis>
- BERT의 pre-training 과정 이후에 특정 도메인에 대한 추가적인 post-training을 통해 성능 개선 방식 제시.

- post-training에는 Domain Knowledge(DK)와 Machine Reading Comprehension(MRC) 가 있음.

- DK에서는 MLM(Masked Language Model)과 MSP(Next Sentence Prediction) 기법을 활용해 도메인 지식 주입함.
- MRC는 정보 기반으로 응답하여 응답 속도에 시간이 걸리고, 비형식적/주관적 감정에 대한 이해가 부족할 수 있음.
- 그 결과, post-trained BERT가 도메인-특화된 읽기 이해와 감정 분석 작업에서 더 우수한 성능을 보임.

2. 인공지능을 위한 수학

인공지능융합전공의 과목이지만, 학점 인정이 되어서 들을 수 있다.
월요일 저녁에 시험 제외 거의 zoom으로 진행된다.
 
과제 답안지도 미리 올려주시고, 시험도 기출문제를 올려주신다는 거 보면,
수강생 평균 성적이 높지 않을까 생각된다. 뭐라도 놓치지 않고 해야하지 않을까 싶군.
교수님이 날을 정해주시면 하루 정도는 학교에 가면 된단다. 거의 online이다.
OT인 건가? 강의 중간에 갑자기 학부생과 따로 통화를 하신다.. 연구실로 들이시려는걸까 (뇌내망상)
이번 주차에 실시간 zoom으로는 딱히 배운 건 없다.

3. 다변량 통계

오프라인으로만 수업하는데, 이번 주차에는 수업이 없었다. 교수님 경조사 때문에...
보강은 추후 공지라고 하니 아직은 언제일지 잘 모르겠다.

그래서 아무 말 몇 자 주절주절 마저 쓰면서 글을 마무리 하자면,
토요일에 학교를 덜 갈 수 있는, 데이터분석언어를 들을까 하다가..
그래도 스터디원들과 점심을 먹고 그러는 건 해야 하니까... 오프라인 수업을 선택했다.
아마 중간고사 지날 때 쯤이면 힘들다고 ㅠㅠ거리고 있을지도... ㅎㅎ;;
오프라인 수업이고 노트북을 들고 학교에 가야한다. 귀찮군..