대학원생 2학기 3주차 후기 (Feat. 첫 스터디 모임)

3주차 토요일에야... 이번 학기 처음으로 학교를 가게 되었다.

회사갈 때보다 더 일찍 일어나야 1교시 수업을 들을 수 있다 보니, 혜화까지 통학하는 게 굉장히 힘들다.

하지만, 역시 오프라인을 하나는 들어야 하는 거 같다. 학교 오니까... 좋다!ㅎ

 

다변량 통계 (토요일 1교시) 수업이 끝나고 나서 다같이 점심을 먹었다.

이날 없는 분도 있었지만, 일단 대략적으로 슬슬 계획을 세워야 하니까

점심 먹고 나서 교내 도서관으로 향했다. 스터디룸이 생각보다 잘 돼 있다. 도서관에 이날 따라 사람이 많았다.

 

일단은 인당 상관없이 2회 씩 발표하기로 했다.

뭐.. 방학 전에 발표 다 못 하게 된다면, 방학에도 킵고잉 하기로 ㅇ...

대충 CV를 좋아하면 비전을 발표하고, NLP를 좋아하면 자연어를 발표하는 식이다.

다 같이 모일 만한 시간을 정하기가 애매했는데, 일단 10월부터 토요일 12시에 하는 거로 정해졌다.

선 스터디 후 점심 을 하려나 싶다.

책은 비전 위주인 분들은 저번에 언급했던 책 < 만들면서 배우는 생성 AI>을,

자연어 처리 위주인 분들은 책 <트랜스포머를 활용한 자연어처리>을 구매했다.

 

난 비전 1 자연어 1 이라는 목표를 세워본다.

회사에서 플젝이 10월에 끝나니까 그 뒤에 체력단련휴가도 소진하면서 시간을 좀 많이 써봐야겠다. ㅎ

 

...그나저나 논문 졸업하려면 슬슬 컨택을 시작해야 하는걸까..?

타과 교수님 컨택하신 분이 있는 듯 싶은데..

9월 말에 쉴 때 한번 생각해 봐야지. ㅠㅠ 진짜 이제 슬슬 찾아봐야한다 !!!!!!!!

 

1. 자연어 처리

1) 수업 내용

- online 강의에서는 자연어처리를위한수학(벡터와행렬, 함수와미분)을 배웠다.

코사인 유사도와 선형 변환, chain rule, 그리고 gradient descent 정도가 기억에 남는다.

 

- zoom 강의에서는, 질의응답 시간에서는...

코사인 유사도에 대해 배웠다.

gradient descent에 대한 질문이 있어 Momentum, AdaGrad, 그리고 Adam을 배웠다.

 

2) sentiment analysis 관련 논문 발표 내용 요약

 

<SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics>

- 기존의 감정 분석의 경우, 단어 또는 문장에 대한 감정 태그를 학습하는 방식은 구성적 의미론을 반영하지 못해 감정 결합에 대한 이해도가 낮았음

- SentiBERT는 감정 분석 작업을 위해 설계된 Transformer 기반 모델임.

- BERT + Semantic Composition Module(attention network 기반) + Phrase Node Prediction의 모델  아키텍처로,

- BERT 에서는 self-attention 메커니즘으로 단어 간 문맥적 관계를 학습함.

- Semantic Composition Module 에서는 효과적인 Phrase 획득함.

- Phrase Node Prediction 에서는 각 phrase가 긍정/부정/중립 예측함.

- 전이학습을통해 감성 외 감정 분류에도 이용 가능 확인

- binary constituency tree 구조로, word embedding한 vector를 tree구조로 변경하는 추가적 전처리가 필요함

 

cf. 참고 내용

Compositional Semantics 구성적 의미론

예) The dog chased the cat. vs The cat chased the dog.

Compositional Sentiment Semantics 구성적 감성 의미론

예) The cake is too sweet. 부정적 또는 중립적

SST (Standard Sentiment Treebank)

binary constituency tree 구조로, 긍정/부정/중립 labeled dataset

 

<SentiLARE: Sentiment-Aware Language Representation Learning with Linguistic Knowledge>

- 기존의 NLP 모델은 감성 정보 반영에 한계가 있었고, 기존의 감성 분석은 문맥과 감정 극성(긍정, 부정, 중립)에 대한 종합적 이해에 한계가 있었음

- SentiWordNet의 문맥 인식 감정 극성과 레이블 인식 마스킹 언어 모델을 사용하여 감정 인식 표현을 학습하는 SentiLARE 모델을 개발함.

- SentiLARE 에서는 감정적 맥락을 더 잘 이해하기 위해 감정적으로 중요한 단어들에 대해 더 많은 가중치를 부여함.

- 문장 수준 및 측면 수준 감정 분석 작업에서 SOTA 달성.

- Linguistic Knowledge Integration : POS tags와 Sentiment Polarity 정보를 사전 학습된 모델에 통합하여 감정 분석 작업 성능을 향상시키는 효과를 입증함.

 

cf. 참고

POS(part-of-speech) tag

동사(v), 명사(n), 형용사(a), 부사(r), 기타(o)

Sentiment Polarity

단어의 긍정, 부정, 중립 감정에 대한 극성 정보

SentiWordNet

감성 극성을 점수화한 감성 사전

 

2. 인공지능을 위한 수학

 

계속 행렬을 배우고 있다. 크게 의미는 없다.

 

월요일 저녁에 시험 제외 거의 zoom으로 진행된다.

아니 근데 zoom을 평소처럼 핸드폰으로 접속했는데 ㅋㅋㅋㅋ 처음으로 강의가 안 보인다 ㅠ 이날 이거 대체 뭐였을까?

핸드폰을 바꿔야 하나... 하.

 

3. 다변량 통계

처음으로 오프라인 수업을 했다.

근데 다음주인 9/28이 공자의 제삿날이라며 (...) 수업을 안 하신다고 한다.

 

그래서 지난주도 쉬었고, 다음주도 쉬게 되는데,

수업 못 했던 건 보강을 따로 안 하시고, 수업 진도를 빠르게 빼겠다고 하시는 듯.

수업 중간 중간에 R로 실습을 한다. 노트북을 들고 가기 귀찮은데, 안 들고 가면 뭐라 하시니까 들고 다녀야겠다.. ㅠ