대학원생 3학기 6주차 후기 (Feat. 만남)

컴퓨터 비전 중간고사가 4/25라니 와 헬게이트 열렸다

출퇴근 길에라도 공부 해야겠다 ㅠㅠ

최적화 중간고사 5/10인 점은 그나마 다행... 하지만 과제는 계속 주어진다 ㅠ

 

1. 컴퓨터 비전

 

1) 온라인 수업

feature descriptor에 대해 배웠다.

point descriptor는 invariant하고 distinctive해야 한다.

SIFT, SURF, HOG 그리고 BRIEF, ORB 를 배우게 된다.

SIFT에서는 DoG로 keypoint를 찾는다. 주축을 찾고 같은 위치를 바라보게 조정하게 된다.

SURF는 Haar filter와 Integral Image를 사용해서 계산이 감소하여 SIFT 대비 SURF가 빠르다.

SURF에서는 Hessian, Haar wavelet을 사용한다.

HOG는 형태를 추출하는 descriptor이다.

BRIEF는 특징 점 중심으로 이진 처리를 해 빠르다.

SIFT/SURF가 특허 이슈가 있어 opencv에서 ORB를 만들었다.

ORB에서는 rotation에 대한 단점이 보완됐다.

 

2) 실시간 수업

 

이번 주차도 3명이 발표 해야 하는데, 교수님이 이 중 1명은 개인 사정 상 불참하였다고 한다.

나중에 발표를 몰아서 하게 되면, 수업이 늦게 끝날 거 같은... 불안감이 든다.

이러다가 중간고사 이후부터는

9시에 수업이 끝날 지도 모른다며 사전 경고(?)를 날리시는 교수님...

 

다음 주에 컴퓨터 비전 과제가 또 나온다고 하여 걱정이 태산이다..

프로그램 돌아가는데 시간이 걸려 당일 벼락치기가 불가능하다고 한다.

다음 주에는 이번에 제출한 과제에 대한 설명, 중간고사 설명도 포함돼 있단다.

 

- descriptor가 description하는 방법을 배움

- invariant 한 조작을 배웠고, 논문 발표에서도 DNN 기반이 나옴

- 보통은 SIFT (아니면 SURF...)와 비교를 하게 됨

- BRIEF는 빨리 찾는데 rotation에 약함

- FAST 기법을 쓰는 ORB에서 보완됨

 

논문 발표와 관련해서는 이번에는 전체적인 부분도 중요한데, key point를 좀더 잘 설명해달라는

교수님의 바람이.. 요건으로 추가되었다 ..

근데 답변 못 했던 거 보강한다더니, 왜 답변이 안 올라 오냐며 ㅠㅋㅋㅋㅋ

 

두 논문 둘다 transformer / attention 개념이 중간에 나온다.

 

<FeatureBooster: Boosting Feature Descriptors with a Lightweight Neural Network>

- 논문에서는 기존 feature descriptor의 성능을 경량 신경망으로 향상시키는 방법을 소개함

- 소형 MLP 기반 신경망 모델인 FeatureBooster을 제안함

- feature point를 비선형적으로 강화한 self-boosting,

영상 내 서로 다른 point의 관계를 고려한 cross-boosting, 이 두 가지 보정 방식이 주요 아이디어임

- 기존 feature descriptor를 input으로 받아서 학습 파라미터로 보정된 descriptor를 출력함

- 네트워크 구조는 구조가 단순하고 연산 비용이 낮음

- 계산 비용이 가벼워 실시간 또는 모바일 적용이 가능할 정도로 효율적임

- 일반화 성능이 좋지만, 각 descriptor 별로 학습을 시켜야 하는 단점이 있음

 

2025 accepted 최신 논문... wow네

 

<RDD: Robust Feature Detector and Descriptor using Deformable Transformer>

- feature matching은 동일 지점을 찾기 위해 feature point를 detect하고, 이를 descriptor로 표현해 매칭하는 과정임

- Sparse matching, Dense matching이 있음

- 논문에서는 RDD는 Deformable Transformer와 CNN을 결합해 정확한 keypoint 검출과 강건한 descriptor 추출을 동시에 수행하는 end-to-end 특징점 추출 모델을 제안함

- Keypoint는 CNN, Descriptor는 Transformer로 분리 설계하여 각 강점 극대화함

- sparse, semi-dense 모두 적용 가능함

- 다양한 환경에 대한 일반화 부족함

- semi-dense는 여전히 sparse correspondence에 의존적임

 

 

2. 최적화

 

Linear Programming에는 2가지 방식이 있는데,

Simplex method로 배웠다.

feasible region의 각 EP 돌고 돌면서 최적해를 찾는 접근 방식이 정말 신선하다.

 

LP가 feasible할 때, feasible region은 convex set이라 할 수 있다.

Simplex method에서는 어떤 EP를 벗어나 objective function 값이 줄어들면 해당 EP가 optimal EP이다.

행렬-벡터를 이용해 제약식을 분석하는데, 여기서 canonical form을 사용한다. 

아, 여기서도 선형대수학의 개념이 나온다. 기저 해, 선형 독립, 가우스 조단 역행렬... ㅎ

 

maximization 기준 simplex algorithm까지 배웠다.

이번 주에는 matrix를 이용하는 방법에 대해 배웠는데,

다음 주에는 simplex tableau... 표를 통해서 표현하는 방법을 배우게 된다.

 

그나저나 이번 주에도 과제를 주신다는데,

이게 지난 주꺼보다 더 어렵대서 그게 걱정이다..ㅠ

 

3. 만남 후기

 

블로그에 합격자 분의 댓글이 달려... 어쩌다 감히 만나게 되었다 (?)

 

사람과 소통하거나 뭔가 컨택하거나

그럴 일이 없을 거라고 생각해서

티스토리에 블로그를 시작한 것...인데.. 그렇게 되었다 ㅎ...

 

해당 대학원 과 정보를 찾는 사람이

이 블로그의 주된 방문자 층이라

내 동기들은 내가 블로그를 하는 것을 모르지 않을까 싶다...ㅋㅋㅋㅋ