대학원생 2학기 14주차 후기

2/3, 헉 14주차 예약을 걸어놨는데 14주차가 안 올라갔다 당황스럽군;;

 

1. 자연어 처리

 

1) 수업 내용

 

- online 강의

 

BERT의 변종들에 대해 배웠다.

페이스북이 만든 RoBERTa는 BERT와 유사한데 더 많은 data로 학습해 성능이 더 좋다고.

BERT가 느리고 메모리를 많이 쓴다는 단점이 있는데,

ALBERT는 경량화된 모델로 이 BERT의 단점을 개선되었다.

 

- zoom 강의

 

MLM mismatch의 의의에 대한 질의가 기억에 남는다.

 

2) Instruction Tuning 관련 논문 발표 내용 요약

 

<Finetuned Language Models Are Zero-Shot Learners>

- LLM의 zero-shot 학습 능력을 향상시키는 간단한 방식을 고안함

- Instruction Tuning 방식임

- 이는 단순히 input에 자연어 지침(instruction)을 추가하고, 모델을 미세조정(fine-tuning) 하는 것을 뜻함

 

<SELF-INSTRUCT:Aligning Language Models with Self-Generated Instructions>

- 기존의 모델은 사람이 작성한 지시문 데이터에 의존함

- 사람이 생성한 데이터다 보니, 데이터의 양, 다양성, 창의성 부족으로 인한 모델의 일반화에 한계가 존재함

- 인건비와 같은 비용 문제도 존재함

- 모델이 자체적으로 학습할 지시문을 self로 생성하는 SELF-INSTRUCT 방식을 제안함

 

2. 인공지능을 위한 수학

 

- 정규 분포, 이항 분포... 여러 확률 변수의 분포에 대해 배웠다.

아, 주변 분포 (Marginal distribution) 는 처음 들어봤다.

 

3. 다변량 통계

 

- 그간 배운 내용을 정리하는 시간을 가졌다.

기말고사 시험이 없어서... 필기를 하면서도 편한 마음으로 들었다.

cf. 기말고사 대체 과제 - 분석하고 싶은 데이터로 최소 1가지 방법으로 분석하고 레포트 제출하는 것

 

기승전 출석인 거 보면, 직장인이 학교 와서 듣는거 자체를 대견하게(?) 여기시는 느낌이다.

 

cf. time regression

회귀 모델에 시간(Time)을 독립 변수(Feature)로 포함시키는 것...

 

cf. galton board

중심극한정리(Central Limit Theorem)와 정규분포(Normal Distribution)를 시각적으로 보여주는 확률 실험 장치

중간에 재미있는 영상을 봐서 메모

https://www.youtube.com/watch?v=EvHiee7gs9Y