대학원생 1학기 14주차 후기

중간고사가 늦게 끝나서 기말고사가 너무 빨리 다가오는 거 같다 ㅂㄷㅂㄷ

 

- 기계 학습 특론

RNN, 그리고 LSM과 GRU에 대해 배웠다.
RNN으로 IMDB 리뷰 분류를 실습하는 시간을 가졌다.

 

- 응용 데이터 분석

prompt engeering.

LLM의 할루시네이션 문제를 보완하는 RAG를 배웠다.

성능 향상 기법과 관련해서 top K, HyDE 등에 대해서도 배웠다.

 

신형 LLM에 대한 얘기 중 미스트랄이라는 회사를 알게 되었다.

온톨로지 개념과 관련해 팔란티어 소개해 주셨다.

그리고 claude 3도 알게 되었다. 오픈ai에 있었던 사람들이 나와 하나 씩 창업을 하는 가보다.

여기서 올리는 글도 봐볼까 싶다.

https://www.anthropic.com/news/mapping-mind-language-model

 

- 딥러닝

Small CNN Model과 Efficient Net에 대해 배웠다.

Mobile Net에도 Residual link 개념이 있다. ResNet 그는 대체...

 

지금까지도  ResNet 다음으로도 Efficient Net이 생각보다 쓸모있게 쓰인다고 한다.

Efficient Net 논문에서는 depth, width, resolution의 최적의 조합에 대한 서술돼 있다고.

온디바이스AI 기조에 맞춰 경량화도 앞으로도 계속 필요로 하지 않을까 싶다.