요약카메라 센서에 취득한 정보와 라이다 센서에 의해 취득한 정보를 융합하여 라이다 센서의 폐색 여부를 분류하는 라이다 센서의 폐색 분류 장치 및 이를 갖는 자율주행 자동차가 개시된다. 라이다 센서의 폐색 분류 장치는, 카메라 센서가 촬영한 이미지 정보와 라이다 센서가 측정한 라이다 포인트 클라우드를 입력받는 입력부; 상기 이미지 정보와 상기 라이다 포인트 클라우드를 융합하여 상기 라이다 포인트 클라우드에서의 반사강도 정보 및 거리 정보를 추출하는 정보 융합부; 사전에 학습된 딥러닝 아키텍처 모델과 인공신경망을 포함하고, 상기 이미지 정보, 상기 반사강도 정보 및 거리 정보 각각을 상기 딥러닝 아키텍처 모델에 입력하여 특징들을 추출하고, 상기 각각의 특징을 다시 상기 딥러닝 아키텍처 모델에 입력하여 특징을 추출한 후 상기 인공신경망의 입력으로 넣어 연산하는 특징 추출부; 및 상기 인공신경망의 연산 결과에 기초하여 라이다 센서의 폐색 여부를 출력하는 출력부를 포함한다. 이에 따라, 카메라 센서에 취득한 정보와 라이다 센서에 의해 취득한 정보의 융합을 통해 라이다 센서의 폐색 여부를 분류하여 라이다 센서로부터 들어온 정보가 신뢰성이 있는지를 판별할 수 있다.
대표 청구항카메라 센서가 촬영한 이미지 정보와 라이다 센서가 측정한 라이다 포인트 클라우드를 입력받는 입력부; 상기 이미지 정보와 상기 라이다 포인트 클라우드를 융합하여 상기 라이다 포인트 클라우드에서의 반사강도 정보 및 거리 정보를 추출하는 정보 융합부; 사전에 학습된 딥러닝 아키텍처 모델과 인공신경망을 포함하고, (i) 상기 이미지 정보, 상기 반사강도 정보 및 거리 정보 각각을 상기 딥러닝 아키텍처 모델에 입력하여 이미지 특징, 반사강도 특징 및 거리 특징을 추출하고, (ii) 상기 이미지 특징, 상기 반사강도 특징 및 상기 거리 특징을 다시 상기 딥러닝 아키텍처 모델에 입력하여 결합 특징을 추출한 후 상기 결합 특징을 상기 인공신경망에 입력하여 연산하는 특징 추출부; 및 상기 인공신경망의 연산 결과에 기초하여 라이다 센서의 폐색 여부를 출력하는 출력부를 포함하는 것을 특징으로 하는 라이다 센서의 폐색 분류 장치.
