생성형 순환 신경망 모델을 이용한 영상 개선과 학습데이터 생성을 통합하는 방법 및 그 장치
중앙대학교 산학협력단
백준기
173
요약생성형 순환 신경망 모델을 이용한 영상 개선과 학습 데이터 생성을 통합하는 방법 및 그 장치가 개시된다. 생성형 순환 신경망 모델을 이용한 영상 개선과 학습 데이터 생성을 통합하는 방법은, (a) 타겟 영상을 입력받는 단계; 및 (b) 상기 타겟 영상을 학습이 완료된 생성형 순환 신경망 모델에 적용하여 상기 타겟 영상의 유형에 따라 화질 개선된 고화질 영상 및 저화질 영상 중 어느 하나를 선택적으로 생성하는 단계를 포함한다.
대표 청구항(a) 타겟 영상을 입력받는 단계; 및(b) 상기 타겟 영상을 학습이 완료된 생성형 순환 신경망 모델에 적용하여 상기 타겟 영상의 유형에 따라 화질 개선된 고화질 영상 및 저화질 영상 중 어느 하나를 선택적으로 생성하는 단계를 포함하되,상기 생성형 순환 신경망 모델은,제1 영상과 제2 영상 중 저화질 영상을 입력받은 후 화질 개선된 고화질 영상을 생성하는 영상 개선 신경망 모듈;상기 영상 개선 신경망 모듈의 후단에 위치되되, 화질 개선된 고화질 영상을 입력받은 후 저화질 영상을 생성하는 열화 영상 신경망 모듈;상기 제1 영상과 상기 제2 영상 중 고화질 영상과 상기 화질 개선된 고화질 영상에 대한 제1 일관성 손실이 최소가 되도록 상기 영상 개선 신경망 모듈의 가중치를 조정하는 제1 판별 모듈; 및상기 제1 영상과 상기 제2 영상 중 저화질 영상과 상기 열화 영상 신경망 모듈에서 출력된 저화질 영상을 이용하여 제2 일관성 손실을 계산한 후 상기 제2 일관성 손실이 최소가 되도록 상기 열화 영상 신경망 모듈의 가중치를 조정하는 제2 판별 모듈을 포함하고,상기 영상 개선 신경망 모듈과 열화 영상 신경망 모듈은 각각, 복수의 트랜스포머 기반 인코더와 복수의 컨볼루션 레이어를 이용한 디코더로 구성되되, 상기 복수의 트랜스포머와 상기 복수의 컨볼루션 레이어는 서로 대칭 구조를 가지도록 구성되며, 상기 트랜스포머는 각각, 입력 영상의 특징맵을 추출하는 컨볼루션 레이어;상기 추출된 특징맵을 분리하는 분리(split) 레이어;상기 분리된 특징맵을 입력받아 제1 글로벌 특징맵을 추출하는 제1 스윈 트랜스포머 블록(swin transformer);상기 제1 스윈 트랜스포머 블록 후단에 위치되며, 상기 제1 글로벌 특징맵을 입력받아 제1 로컬 특징맵을 추출하는 제1 잔차 블록(residual block);상기 분리된 특징맵을 입력받아 상기 분리된 특징맵에 대한 제2 로컬 특징맵을 추출하는 제2 잔차 블록;상기 제2 잔차 블록 후단에 위치되며, 상기 제2 로컬 특징맵을 입력받아 제2 글로벌 특징맵을 추출하는 제2 스윈 트랜스포머 블록; 및상기 제1 잔차 블록에서 출력된 상기 제1 로컬 특징맵과 상기 제2 스윈 트랜스포머 블록에서 출력되는 상기 제2 글로벌 특징맵을 결합한 후 컨볼루션 레이어를 통과하여 특징맵을 출력하는 것을 특징으로 하는 생성형 순환 신경망 모델을 이용한 영상 개선과 학습 데이터 생성을 통합하는 방법.
