대학원생 2학기 13주차 후기

1. 자연어 처리

 

1) 수업 내용

 

- online 강의

 

Pretrained Language Models에 대해 배웠다.

사전학습 언어 재표현에는 feature-based approach와 fine-tuning approach가 있다. (전자 ELMo, 후자 GPT, BERT.)

 

ELMo는 biLSTMpre-training part, ELMo part로 나뉜다.

Multi-layer bidirectional Transformer Encoder가 있고, 모델 맨 위층에는 task specific layer가있다.

 

cf. WordPiece embeddings

cf. Segment embeddings

 

- zoom 강의

 

Multihead attention과 CNN Filter를 비유한 부분이 인상적이었다.

(하단 논문 내용 참고) PEFT 중 하나인 LoRA가 언급되었다.

self-supervised learning의 접근법 중 self-prediction은 데이터 샘플 내 한 파트로 다른 파트를 예측하는 task인데, 그 예로 BERT의 MLM, GPT의 Autoregressive generation가 있고,

contrastive-learning은 데이터 샘플 간 유사성, 차이를 학습해 관계를 예측하는 task다.

 

2) Chain-of-Thoughts 관련 논문 발표 내용 요약-2

 

<Least-to-Most Prompting Enables Complex Reasoning in Large Language Models>

C.O.T에 적힌 예시보다 어려운 걸 해결할 때는 성능에 저하를 보임

복잡한 문제를 간단한 하위 문제들로 나누고, 이를 순차적으로 해결하게 하는 Least-to-Most (L2M) Prompting을 제안함

decomposition & SubproblemSolving으로 구성됨

 

<Self-Consistency Improves Chain of Thought Reasoning in Language Models>

가장 높은 가능성을 가진 추론 경로와 정답 단 하나만을 생성하는 greedy decode는 복잡한 문제에서 성능에 한계를 보임

이에 self-consistency를 제안함

단일 모델이지만 self-consistency 있는 답변을 찾는 self-ensemble 기법을 통해 성능 향상에 기여함

self-consistency에서는 Top-k, Temperature 등 다양한 설정으로 여러 추론 경로와 답변을 생성하며,

최종 정답을 집계하고자 비가중된 다수결 방식으로 가장 일관된 결과를 도출함 ( Marginalizing out )

 

 

3) 그외 논문 발표 내용 요약

2인 1조로 발표하는데, 1명이 수강철회를 해서... 한 분이 발표를 하게 되었다. ;;

 

<PEFT-Parameter Efficient Fine Tuning>

 

최소한의 파라미터 조정으로도 fine tuning과 유사하거나 더 우수한 성능을 낼 수 있는 방법이 필요해짐

Prefix-tuning, P-tuning이 제안됐는데, 각각 NLG task, NLU task에 특화돼 있는 게 특징임

fine-tuning에는 메모리 소모 문제, in-context learning, prompting에는 성능 편차가 있는 문제가 있음

별개 자연어 토큰으로 구성된 discrete prompt를 찾는 연구가 진행됨

Prefix-tuning은 기존 언어 모델의 파라미터를 고정한 상태에서 특정 작업에 최적화된 연속적인 벡터(prefix)를 입력 시퀀스 시작 부분에 추가하여 모델을 조정하는 방법임

P-tuning은 입력 시퀀스에 연속적인 프롬프트를 역할을 하는 파라미터를 추가하여 모델의 핵심 구조를 변경하지 않고, 리소스를 최적화하는 방법임

 

2. 인공지능을 위한 수학

 

- 오늘은 zoom 수업도 없었다. ㅋ

 

- 온라인 수업

지난 주차에 이어 확률론에 대해 계속 배웠다.

순열과 조합... 이항 계수... 확률 분포... 복원 추출...

근데 드므와브르 - 라플라스 정리 나 적분을 곁들인... 확률론 그 어딘가이다ㅋㅋㅋㅋ

 

tmi 위 수업 내용과 관련 없음

개인적으로는 학부 때 조합론이라는 과목명으로 배웠던 내용이 재미있었다.

뭔가 알고리즘 푸는 느낌 같기도 하고?

Domino tiling 이라고 불리던 거 같은데 이것도 배운지 10년이 넘어가지고 가물가물하다.ㅠ

* 출처 : https://math.stackexchange.com/questions/4242678/relation-between-fibonacci-numbers-and-combinations-counting

 

3. 다변량 통계

 

- 오프라인 수업이 없어서 지난주에 이어서 판별분석에 대해 배웠다.

 

- 그나저나 다음주에 다시 학교를 가게 되니까

10주차에 전달 받았던 다차원 척도법에 대한 과제를 해놓아야겠군.