대학원생 2학기 1주차 후기 (Feat. NLP 논문 목록)

1주차는 학교에 가지 않았음. but 영상이 있으니 주말에 부랴부랴 영상을 봤다.

고로 이번주는 스터디도 x

 

차차 거의 비대면으로 전환되는 느낌적인 느낌이군..ㅠ

 

자연어처리

NLP 개요에 대한 간단한 이야기였다.

일련의 파이프라인으로 되기 때문에 중간에 망하면 망치는 게 단점인 게 포인트

 

그나저나 형태소 음절 음소... 와 고1 때 언어 공부했던 때 이후로 (이후 이과생됨)

이렇게 언어를 파본 적은 없는데... 핳핳 신기하다(?)

디테일하게 들어가면 역시 언어학 전공한 사람들이 유리할 수 밖에 없겠군...

 

컴퓨터비전과 자연어처리는 2학기에만 열리는데, 둘다 논문...을 보는 과목인 듯 싶다. 딥러닝보다 사악(?)하려나?

하지만 학점보다는 어려운거 듣는게 내 희망이라... 각오하고 수강해본다.!

근데... 한 주..정도는 논문 발표를 해야 하는데, 누구랑 해야하나.... 그것이 고민이다.

셀털 방지 때문에... 아마 발표하는 주차에는 글을 좀 더 늦게 올리지 않을까 싶다. ㅎㅎ;

※ pdf에서 표가 복붙이 안 되어서 하나 하나 그렸습...ㅠㅠㅠㅠ

 

<논문 목록>

...이런 수업을 듣지 않아도 졸업은 가능합니다. ^^! 최근에 포스팅한 졸업요건 완화 게시물을 참고하세요.

중간고사 전까지는 캡스톤 주제로 할 만한 내용, 중간고사 후부터는 요즘 트렌드(?)에 맞게 선정했다고.

분류	논문명	연도	학회
Sentiment Analysis (1)	Multi-Task Deep Neural Networks for Natural Language Understanding	2019	arXiv
	BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis	2019	NAACL
Sentiment Analysis (2)	SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics	2020	ACL
	SentiLARE: Sentiment-Aware Language Representation Learning with Linguistic Knowledge	2020	EMNLP
Machine Translation	Simple, Scalable Adaptation for Neural Machine Translation	2019	EMNLP
	Incorporating BERT into Neural Machine Translation	2020	ICLR
Summarization	PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization	2020	ICML
	GSum: A General Framework for Guided Neural Abstractive Summarization	2021	NAACL
Question Answering (1)	Latent Retrieval for Weakly Supervised Open Domain Question Answering	2019	ACL
	REALM: Retrieval-Augmented Language Model Pre-Training	2020	arXiv
Question Answering (2)	Dense Passage Retrieval for Open-Domain Question Answering	2020	EMNLP
	Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering	2021	EACL
Persona Dialogue	You Impress Me: Dialogue Generation via Mutual Persona Perception	2020	ACL
	BoB: BERT Over BERT for Training Persona-based Dialogue Models from Limited Personalized Data	2021	ACL
Controllable Text Generation	Plug and Play Language Models: A Simple Approach to Controlled Text Generation	2020	ICLR
	FUDGE: Controlled Text Generation With Future Discriminators	2021	NAACL
In-Context Learning	Language Models are Few-Shot Learners	2020	NeurIPS
	Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?	2022	EMNLP
Chain-of-Thoughts (1)	Chain-of-Thought Prompting Elicits Reasoning in Large Language Models	2022	arXiv
	Large Language Models are Zero-Shot Reasoners	2022	NeurIPS
Chain-of-Thoughts (2)	Least-to-Most Prompting Enables Complex Reasoning in Large Language Models	2023	ICLR
	Self-Consistency Improves Chain of Thought Reasoning in Language Models	2023	ICLR
Instruction Tuning	Finetuned Language Models Are Zero-Shot Learners	2022	ICLR
	Self-Instruct: Aligning Language Models with Self-Generated Instructions	2023	ACL

 

 

인공지능을 위한 수학

내용의 시작은 easy하다. 문과생도 따라갈 수 있는 수학..이라는 강의 소개에 맞게.. 이래서 비전공 TO가 많았군?

 

이전에는 강의 커리큘럼에 최적화까지 있었다는데...

선형대수+확률 통계로 범위가 줄었다는 점이 아쉽다. 최적화는 따로 공부해야겠군...

시험 빼고는 온라인이 가능한데, 다만 1번 이상은 오프라인 출석을 하면 된단다.

 

사실, 학부가 수학과라 과목명에 선형대수/기초통계 이런 건 못 듣겠는데,

저번 학기에 1도 복습은 안 했으니까 이거라도 들어보려고 한다.

비전/자연어처리가 강의와 별도로 논문을 보는 형태니까,,, 하나는 평이한 걸 골라본다.

1학기에 2개만 듣는 분들도 있는데, 돈을 많이 냈는데 2개 듣는 건 내 돈이 아까워서... 3개 들을란다.

 

다변량 통계

내 주변에서 R 쓰는걸 별로 못 봐서... 안 내키는데 수강해보기로 했는데...

교수님 말투랑 비유가 뭔가 찰진다(?) 1.4배속으로 들으니까 딱 좋다(?)

내용은 통계다.

회귀분석도 물론 중요하지만, 현업에서는 시계열분석과 다변량통계를 많이 쓰는 거 같다고 생각하신다.

 

강의 시간 보니까 OT를 풀로 하셨네.. 심상치 않다.(?)