요약본 발명은 깊이 정보 기반 경계선 생성 행렬을 활용한 영상 스티칭 장치 및 방법에 관한것으로, 본 발명의 일실시예에 따르면 영상 스티칭 장치는 복수의 입력 영상을 수신하여 상기 복수의 입력 영상에 대한 공통 영역 영상을 처리함에 따라 스티칭 대상 영상을 등록하는 영상 등록부, 상기 처리된 공통 영역 영상에 대하여 가로축 및 세로축에 대한 픽셀 변화량 크기를 통해 에너지 함수를 계산하고, 상기 계산된 에너지 함수를 에너지 정보로 추출하는 에너지 정보 추출부, 상기 복수의 입력 영상에서 동일한 지점 간의 위치 차이를 통해 상기 처리된 공통 영역 영상에서 깊이 정보를 추출하는 깊이 정보 추출부, 상기 추출된 에너지 정보와 상기 추출된 깊이 정보에 기반하여 합성 경계선을 생성하는 경계 깊이 에너지 행렬을 구성하는 경계선 생성 행렬 구성부 및 상기 생성된 합성 경계선에 기반하여 상기 복수의 입력 영상을 합성하는 영상 합성부를 포함할 수 있다.
대표 청구항복수의 입력 영상을 수신하여 상기 복수의 입력 영상에 대한 공통 영역 영상을 처리함에 따라 스티칭 대상 영상을 등록하는 영상 등록부; 상기 처리된 공통 영역 영상에 대하여 가로축 및 세로축에 대한 픽셀 변화량 크기를 통해 에너지 함수를 계산하고, 상기 계산된 에너지 함수를 에너지 정보로 추출하는 에너지 정보 추출부; 상기 복수의 입력 영상에서 동일한 지점 간의 위치 차이를 통해 상기 처리된 공통 영역 영상에서 깊이 정보를 추출하는 깊이 정보 추출부; 상기 추출된 에너지 정보와 상기 추출된 깊이 정보에 기반하여 합성 경계선을 생성하는 경계 깊이 에너지 행렬을 구성하는 경계선 생성 행렬 구성부; 및 상기 생성된 합성 경계선에 기반하여 상기 복수의 입력 영상을 합성하는 영상 합성부를 포함하고, 상기 경계선 생성 행렬 구성부는 상기 깊이 정보에 기반하여 상기 공통 영역 영상에서 기준 값으로 근거리 영역 및 먼 거리 영역을 구분하고, 상기 깊이 정보를 N비트로 양자화하며, 상기 에너지 정보에 기반하여 상기 계산된 에너지 함수의 최댓값(Emax)에 상기 양자화된 깊이 정보의 크기(DQ)를 곱하여 상기 계산된 에너지 함수의 값을 더하여 깊이 에너지 행렬(DE)을 구성하고, 상기 양자화된 깊이 정보의 크기(DQ)의 변화를 깊이 경계 임계치(θth)와 비교하여 이진행렬을 깊이 경계 가중치(Dboundary)로 설정하는 것을 특징으로 하는 영상 스티칭 장치.
