대학원생 2학기 4주차 후기

10/26, 드디어 한가해졌다... 밀린 글들을 하나 씩 올려본다.

1. 자연어 처리

1) 수업 내용

- online 강의

확률 및 정보이론의 기초에 대해 배웠다. 뭐, 베이즈 정리, MLE, entropy, KL divergence 이런 거다.

NLP랑 어떻게 엮일까..라는 궁금증이 있었는데, 이번 기회에 정보이론이라는 걸 알게 되면서 해소되었다.

- zoom 강의

online은 질의응답 + 논문 발표이다. 수강 당시에 내용 정리를 텍스트로 안 해놔서 이부분은 대강 올린다........

MLE는 likelihood 함수의 최대값을 찾는 방법이다.

Cross entropy가 loss function으로 사용 가능하다.

2) Machine Translation 관련 논문 발표 내용 요약

<Simple, Scalable Adaptation for Neural Machine Translation>

- 기존의 기계번역(이하 NMT)은 도메인 외 데이터나 저자원 언어에 대한 번역 성능이 낮아, 저자원 작업의 번역 성능을 개선하기 위한 적응 접근 방식을 제안함

- 사전 학습된 네트워크 계층 사이에 가벼운 어댑터 계층을 삽입하고 적응 데이터셋에서 미세 조정을 수행하는 방식으로 적응시키는 것임

- Global pre-training을 Base로 타겟 도메인/언어 별 Adapter를 생성해 전이학습 효과를 냄

- Pre-trained 모델 각 Layer 사이에 adapted layer를 추가해 학습 시 parameter를 freeze하여 자원 효율적으로 학습하게 함

- adapter의 output을 residual 방식을 사용해 Pre-trained 모델의 성능을 유지시켜서 catastrophic forgetting 문제를 방지함

- 언어 이해 작업에서 BERT는 fne-tuning으로 사용함

- BERT를 NMT에 적용한 BERT-fused NMT 모델을 제안함

- NMT 분야에서 BERT를 contextual embedding 방식으로 사용하는 게 더 나은 성능을 보임

- BERT의 강력한 문맥적 이해 능력을 NMT의 번역 작업에 융합하여 번역 품질을 높임

2. 인공지능을 위한 수학

- 사실 상의 선형대수학 수업...

온라인 인강을 통해서는 역행렬에 대해 배웠다. LU분해와 블록행렬 말고는 뭐... 그냥저냥이다.

오프라인 수업 때 수업을 안 하고 자습만 시킨답시고 zoom 켜놓고 아무것도 안 하시는 교수님...

자연어 처리 복습을 하는 나..이렇게라도 정신승리(?)를 해본다 ㅋ

올해 과목이 재미있는게 별로 없어서 어쩔 수 없이 골랐는데, 쓰잘데기 없군...

3. 다변량 통계

전주에 말씀하셨던 대로 이 날은 오프라인 수업이 없었다.
그래서 토 수업이 이거 하나라 학교에 가지 않았다..ㅎ

From the data