대학원생 3학기 4주차 후기

4/8, 돌이켜 보니 4주차는 상당히 혼란스러운 나날이었다.

유난히 야근이 많았던 지라 졸업시험 공부를 거의 하지 못 했다. ㅋ

컴퓨터 비전 첫 번째 과제하고 글 쓰라고 했더니 4일이나 더 지연돼 버렸군....

 

1. 컴퓨터 비전

 

1) 온라인 강의

- 이번에는 image pyramid가 주제이다.

down sampling한 이미지를 확대하면 픽셀화 내지는 aliasing이 있다는 문제점이 있어서

smoothing filter 적용 후 sub sampling 하는 방식이 anti-aliasing의 solution으로 제시되었다.

반복적으로 gaussian smoothing filter 적용 후 sub sampling을 적용하니까 점차 이미지 크기가 줄어든 게

마치 gaussian pyramid라 한다. pyramid라는 호칭은 신박하다.(?)

반대로 커지는 건 laplacian pyramid 이다.

이어서 4구역? 별 filter 위치가 정해져 있는 wavelet transform에 대해 배웠다.

몇 가지 image interpolation 에 대해 배웠다.

 

2) 실시간 zoom 수업

- Gaussian Image Pyramid에서는 scale이 증가하면 전체 구조를 한 번에 볼 수 있음

- minimum sampling rate를 Nyquist rate라고 부름

- Wavlet Transform에서는 원하는 정보를 가져올 수 있고, 압축 / 복원 모두 활용 가능함

- 요새 들어 푸리에 변환 자주 쓰임

- 과거에는 nearest를 많이 썼는데, 요즘은 연산이 좋아져 cubic도 잘 씀

 

수업은 참고로 논문 리뷰 발표가 먼저 진행된다. 이번 주차 발표 주제도 image pyramid이다.

<Making Convolutional Networks Shift-Invariant Again>

- CNN은 image shift invariant 할 거 같지만,

사실 pooling이나 stride 등 down sampling 과정에서 aliasing 문제가 발생함

- 논문에서는 Anti-aliasing 을 위해 down sampling 적용 전 로우패스 필터링 적용을 제안함

- Visioin Inspection System에서도 detection rate 및 정확도 향상이 확인됨

- 일반화 성능, 적은 계산량 등에도 강점을 보임

- 다만 과도한 smoothing은 정확도 감소로 이어질 수 있는 trade-off가 존재함

 

나머지 2개 논문은 공교롭게도 이미지 위조 탐지가 주제라는 공통점이 있지만, 논문의 결은 다른 듯 싶다.

 

<Hierarchical Fine-Grained Image Forgery Detection and Localization>

- 이미지 생성 기술이 발전하면서 다양한 이미지 위조 방식에 대해 탐지 및 대응이 필요해짐

- 기존 방법들은 Image Editing 방식에만 특화돼 있거나, CNN 기반 위조 탐지에 한정된 경우가 많았음

- 논문에서는 위조 영역의 분포 및 패턴 정보를 계층적으로 분석해 위조 탐지 및 국소화 성능을 향상시킨 HiFi Net을 제안함

- 계층적으로 속성 분류를 4단계에 걸쳐 진행해 미세한 위조 영역도 탐지함

- Laplacian of Gaussian (LoG) 필터를 적용해 이미지의 고주파 영역을 강조해 위조 단서를 포착함

- 다양한 벤치마크에서 SOTA를 달성하는 등 전반적으로 우수함

- 일부 고급 inpainting 또는 최신 위조 방식에 한계를 보임

 

<SPAN: Spatial Pyramid Attention Network for Image Manipulation Localization>

- 기존에는 이미지 조작에 대해 특정 유형에 특화돼 있어 다양한 조작을 탐지하는 데 한계가 있었음

- 논문에서는 이미지 피라미드와 Self-attention과 결합된 SPAN 모델을 제안함

- 피라미드 구조로 다중 스케일 Patch 정보를 추출하고 각 스케일에 Local self-attention block을 적용함

- 기존 CNN 모델 대비 정밀도 및 국소화 성능에서 높은 성능을 보임

- 높은 연산량 및 낮은 해상도의 이미지에 대한 성능 저하라는 한계를 보임

 

근데 발표 후 질문하는 이가 아직 없다. 온라인 수업 1시간 30분을 너무 가득 채워서 그런건가?

 

2. 최적화 수업

 

지난주에... 교수님이 5주차부터 수식이 나온다 하셨으나

이번 주차까지 진전되었어야 할 내용까지 수업 진도를 다 나가지 못 했다.

 

- 최적화는 Operations Research(OR) 분야로 시작되었고, 산업공학에서 주로 다룬다고 한다.

- 최적화에는 objective function, Constraints가 늘 포함돼 있고, 항상 Conflicts, Trade-off를 고려해야 한다고 한다.

- organization과 entity와 interaction 모두 있어야 system이라 할 수 있다.

- 이 system은 최적화의 대상이 된다.

- system의 modling으로 model이 만들어지면, 최적화

- 시스템 최적화에는 human의 decision-making이 포함돼 있다.

- 일반화에 대한 유효성 검증이 완료되면 model로 fix되는 셈

... 중간에 시간 관계상 다음 주에 하게 된다.