요약영상 부호화 장치 및 방법에 대하여 개시된다. 본 발명의 일실시예에 따른 영상 부호화 장치는 향상 계층에서 부호화 하고자 하는 픽처의 시간 계층 정보 및 부호화 하고자 하는 제 1 PU 블록에 대응하고, 기본 계층에 존재하는 제 2 PU 블록의 예측 모드에 대한 정보를 획득하는 정보 획득부; 상기 시간 계층 정보 및 상기 예측 방법에 대한 정보에 기반하여, 상기 제 1 PU 블록에 대한 부호화를 수행할 후보 예측 모드들을 결정하는 후보 예측 모드 결정부; 및 상기 결정된 후보 예측 모드들 각각의 율-왜곡 비용 값을 계산하고, 상기 율-왜곡 비용 값이 최소 값이 되는 예측 모드를 최적 예측 모드로 결정하는 최적 예측 모드 결정부를 포함한다.