대학원생 3학기 9주차 후기

컴퓨터 비전 과제2 하고 최적화 예상 시험문제 풀고 나니까..

연휴가 다 가버렸다. T.T

 

1. 컴퓨터 비전

 

1) 온라인 강의

 

이번 주차 주제는 Stereo Vision이었다.

 

Stereo vision은 하나의 피사체를 두 카메라로 촬영한 이미지에서 epipolar geometry를 기반으로

대응점을 찾아 깊이를 추정하는 기술이다.

이때 적용되는 epipolar constraint는 stereo vision에서 핵심적인 개념에 속한다.

Epipolar matrix, Essential matrix, 그리고 Fundamental Matrix 등의 개념이 있고,

이들은 Eightpoint algorithm으로 추정할 수 있다.

실제 3D 복원 과정은 Stereo Rectification을 통해 epipolar line을 정렬한 뒤, Stereo Matching으로 대응점을 찾고, Triangulation을 통해 3차원 위치를 계산하는 순서로 진행된다.

 

2) 실시간 강의

 

<HITNet: Hierarchical Iterative Tile Refinement Network for Real-time Stereo Matching>

- HITNet은 딥러닝 기반 스테레오 매칭 모델임

- 빠르고 정확하게 깊이를 추정 가능하게 함

- 본 논문에서는 이미지를 작은 타일 단위로 분할하여 효율적으로 깊이를 추정하는 방법을 제안함

- 타일 크기를 조절하여 얇은 구조물 및 경계선을 복원 가능하게 설계됨

 

<Deep Stereo Video Inpainting>

- 본 논문에서는 Stereo Video Inpainting 문제에 대해 최초로 딥러닝 기반 접근 방식을 제안함

- 공간-시간-입체적 일관성을 모두 고려하는 새로운 프레임워크를 설계함

- stereo consistency loss 개념을 도입해 양쪽 뷰의 일관성을 효과적으로 유지함

- 다양한 비교 실험으로 효과를 입증했으나, 높은 메모리/연산 비용이 소모된다.

 

2. 최적화

 

10주차는 중간고사가 있어 9주차 수업이 없었다.

시험이 5시간 이상 주어지니까 휴강을 하셨단다. ㅎㅎ....