대학원생 2학기 12주차 후기 (Feat. 인공지능을 위한 수학 출석지정일)

학교에 갈 일이 없을거라 생각했는데, 그거는 대입 관련해서 토요일에 한정된 조치였다.

월요일 online인 인공지능을 위한 수학은 해당되지 않았다.ㅋㅋㅋ

 

1. 자연어 처리

 

1) 수업 내용

 

- online 강의

지난 주에 이어 딥러닝기반의 SequenceLabeling-6,7 강의를 이어 들었다.

transformer의 core ideas에 대해 배우게 된다.

지난 학기 딥러닝 수업과 내용이 겹치는 부분인데,

 

분명 공통적으로 설명이 같은 부분이 있긴 한데..

attention의 3가지 방법이라든지,

multihead attention에서 차원 축소인데, 그 만큼 다양한 표현을 학습..하게 된다는 표현처럼

같은 내용인데... 뭔가의 의의를 표현하는 데 있어 관점아 미묘하게 다른 느낌이 없잖아 있다. 기분 탓인가?

 

- zoom 강의

 

Teacher Forcing

BART에서의 noising 기법 5가지

 

2) Chain-of-Thoughts 관련 논문 발표 내용 요약-1

 

<Chain-of-Thought Prompting Elicits Reasoning in Large Language Models>

언어 모델 크기가 커지는 것만으로는 추론 능력 향상에 한계가 존재함

특히 더 부족한 산술 추론, 상식 추론, 기호적 추론 등 수행 능력 향상을 목적으로 함

LLM에서 Few-shot Prompting은 간단한 작업에만 도움되는 한계를 보임

여기에 C.O.T (Chain-of-Thought) 도입을 제안함

즉, Input-C.O.T-Output 이 세 가지 요소로 구성된 프롬프트를 사용해 LLM이 Few-Shot Prompting이 가능하도록 제안함

모델 크기가 커질수록 C.o.T 프롬프트의 성능 향상이 돋보임을 확인함

 

<Large Language Models are Zero-Shot Reasoners>

LLM은 Few-shot Prompting에 강점을 보임

C.O.T는 복잡한 추론 등 System-2 작업에서 (그당시) SOTA를 달성함

단계적 사고 과정을 이끄는 단일 Zero Shot Cot를 제안함

모델의 파라미터가 크지 않을 때는 Zero-shot과 Zero-shot-CoT는 유사한 성능을 보이나, 크면 CoT가 성능이 우수함

단순한 프롬프트 추가가 LLM의 추론 능력 향상을 활성화시킴을 보임

 

2. 인공지능을 위한 수학

 

- 오프라인 출석

 

뭐랄까.. 이 수업은 특이하게도 오프라인 1회 출석 체크를 하는 날이 몇 일 정도 지정돼 있는데, 이를 출석 지정일이라 한다.

출석 지정일에 학교에 가면, 학점이 A0가 나오는 사람이면 최종적으로 A+로 준다고 하셨다.

의무는 아닌데 뭔가 안 가면 손해 보는 거 같고... ㅎㅎ;

학점을 어떻게 주신다는 보장도 없고,

혹시 모르니까 지정일에 학교에 가게 되었다.

 

그래서 오늘 처음으로 학교에 갔다. (zoom을 켰을 때와 동일) but 가서 자율 학습을 해야 했고...

아무래도 마지막 출석 지정일이라 십여명의 수강생들이 와있었다.

역시나 수업은 따로 없었고... 여느 때처럼 각자 자율학습...

그래서 다음주까지 제출해야 하는 과제를 풀었다.

 

아, 교수님께서는 새로운 강의를 구상하고 있으시다며

이 강의의 수강 사유에 대해서 물으셨다.

흠 이번 학기부터 빠진 내용인 최적화 부분은 안 살려주시나요 교수님 ㅠㅠ?

 

- online 수업

특잇값 분해가 주제였다.

이어서 확률론에 대한 강의가 일부 있었다. 14주차까지 이어지는 것 같다.

 

먼저, 특잇값 분해에서는

A가 대칭행렬일 때 A^T A의 고윳값에 대한 양의 제곱근..이 특잇값...이었군 기억이 안 나네 ;;

그람-슈미트 또 나온다 이제 그만 ㅠ

특잇값 분해에 이어 낮은 계수 근사와 데이터 압축... 이어서 (무어-펜로즈) 의사 역행렬까지 배웠다.

영향력이 큰 특잇값 일부로만 낮은 계수 근사로 표현한 이미지가 인상적이었다. 

 

그리고 확률론 쪽에서는

확률론 앞부분이라 줄기 잎 그림, 히스토그램 같은 데이터 재표현과 기초통계 내용 위주로 배웠다.

사건과 집합 확률론 독립 사건 기본적인 내용 머 이런거...ㅎㅎ

 

3. 다변량 통계

 

- 이 날은 판별분석에 대해 배웠다.

데이터는 그룹화 돼 있는데,

새로운 데이터가 들어올 때 이 데이터는 어디에 속하게 되는 것인가- 에 대한 내용이다.

...해리포터 입학식 모자라는 비유가 너무 찰떡이었다;;

 

정준 판별분석, 로지싁 판별분석 등도 배웠다.