대학원생 3학기 3주차 후기

1. 컴퓨터 비전

1) 온라인 강의

- linear filter에 대해 배웠다.

linear shift invariant filter라는 특성부터 시작해 kernel의 개념과 

현재까지도 잘 쓰인다는 혁명적인(?) gaussian filter...  seperability의 장점

non linear filter와 noise의 종류

cnn에서 나오는 convolution filter

Sobel 같은 edge detecting과 DoG( Derivative of Gaussian filter), LoG(Laplacian of Gaussian)

뭐 이렇게 배웠다.

 

2) 실시간 zoom 수업

- 지난 주에 이어 조교님이 opencv, sklearn에 대해 알려주셨다.

 

- 2,3,4주차를 주제로 하는 첫 번째 과제가 주어진다.

조교님이 주의사항을 설명해주셨다.

보고서 작성이 필수이고, 주석의 내용은 채점에 고려하지 않는다는 점이 point인 듯

물론 표절은 0점 처리다.

과제 설명 file에 문제의 정답 예시가 캡처돼 있어 좋군(?)

 

- 그리고 이날부터 논문 리뷰 발표가 시작되었다. 주제만 정해주셨고, 논문은 자유 선택이었다.

이번 주차 발표 주제는 linear filter였는데,

발표자 3명 중 1명의 발표 주제가 다음 주가 적합하다고 교수님이 발표를 다음주로 미뤄 버리셨다.

지난주차 내용의 발표까지는 허용하지만, 예습은 안 된다는 모양...ㄷㄷ

그리고 논문의 실험결과에 대한 표를 첨부해 달라고 하셨다. 역시 늦게 발표할 수록 요건이 늘어난다. 

 

그래서 2개만 작성한다.

<Exploring the Low-Pass Filtering Behavior in Image Super Resolution>

- ISR (Image Super Resolution) 은 저해상도의 이미지를 복원하여 고해상도로 바꿔주는 기술임

- Deep learning 기반은 어떤 과정을 통해서 더 좋은 결과물이 생성되었는지 설명하지 못 하는 단점이 있었음

- Impulse 신호는 하나의 샘플만 1.0의 값을 갖고 나머지는 모두 0의 값을 갖는 신호임

- 임펄스(Impulse) 신호가 LPF (Low Pass Filter)를 통과할 때 sinc 패턴이 생기는데, ISR 중 NN ISR만 sinc 패턴이 생김

- 전통적인 신호처리 방식을 이용해 ISR의 NN을 해석하여 내부 네트워크 동작을 이해하는 기반을 마련함

- Hybrid Response Analysis(이하 HyRA) 이라고 선형/비선형 필터 조합으로 NN 모델링하는 방식임

- 비선형 필터 의 값이 0이라고 가정하면 input에 대한 output = linear system이 됨

- HyRA를 통해 NN ISR를 기존 신호 처리 기법인 선형(LPF)+비선형(고주파 복원) 필터 모델링 가능함

- 이미지의 전체적인 평균을 측정하는 기존 평가지표( PSNR, SSIM  등) 는 고주파 영역 차이 복원도 반영이 어려움

- 주파수 도메인 차이를 분석하는 새 평가지표 FSDS를 제시함

- FSDS를 통해 미세한 고주파 정보를 NN ISR 모델이 잘 복원했는지 정확하게 평가함

- 다만, HyRA가 NN ISR의 구조를 자세히 모델링하였다 보기는 어려움

 

<Guided Image Filtering>

- linear invariant system은 이미지를 고려하지 않는 고정된 필터를 사용함

- Bilateral filter는 Edge preserving smoothing 동작하나 윈도우 반지름 r의 제곱에 비례하는 O(N^2)의 연산량이 단점임 

- 거기에 확장성에 제약이 있는 단점과 엣지 주변에 왜곡이 일어나는 Gradient Reversal Artifact 단점이 있음

- 본 논문에서는 이 양방향 필터의 단점을 상쇄하는 Guided Image Filter를 제안함

- 출력 이미지가 가이드 이미지의 선형 함수라고 가정하는 데에서 시작함

- 원본 또는 원본과 다른 이미지를 Guided Image로 설정 가능함

- 선형 회귀 귀반이라 속도가 O(N)으로 빠르고, 출력 이미지가 edge preserving smoothing 한 결과를 냄

- upsampling, joint filtering 등 다양한 분야에서 활용 가능하고, Gradient Reversal Artifact도 해결된 부분을 보임

- local filter 기반이라 global 정보 포함을 하지 못 하는 단점과 Halo artifact가 발생할 수 있다는 점에 단점이 있음

 

2. 최적화 수업

- 최적화는 Operations Research(OR) 분야로 시작되었고, 산업공학에서 주로 다룬다고 한다.

- 최적화에는 objective function, Constraints가 늘 포함돼 있고, 항상 Conflicts, Trade-off를 고려해야 한다고 한다.

- organization과 entity와 interaction 모두 있어야 system이라 할 수 있다.

- 이 system은 최적화의 대상이 된다.

- system의 modling으로 model이 만들어지면, 최적화

- 시스템 최적화에는 human의 decision-making이 포함돼 있다.

- 일반화에 대한 유효성 검증이 완료되면 model로 fix되는 셈

... 중간에 시간 관계상 다음 주에 하게 된다.