요약실시예는, 신경망을 위한 배치놈 파라미터 학습 방법 및 이를 위한 장치에 대한 것이다. 실시예에 따른 학습 방법은, 신경망에 포함된 제1 레이어의 출력되는 활성화 데이터와 제1 레이어에 연결되는 제2 레이어의 양자화 스케일을 이용하여 채널 별 양자화 오류를 계산하는 단계; 채널 별 양자화 오류에 기초하여 결정되는 규칙화(regularization) 손실항을 이용하여 최종 손실 함수를 도출하는 단계; 및 최종 손실 함수의 결과가 감소하도록 제1 레이어의 배치놈 파라미터를 업데이트하는 단계를 포함할 수 있다.
대표 청구항신경망을 위한 배치놈(Batch Norm) 파라미터 학습 방법에 있어서, 상기 신경망에 포함된 제1 레이어의 출력되는 활성화 데이터와 상기 제1 레이어에 연결되는 제2 레이어의 양자화 스케일을 이용하여 채널 별 양자화 오류를 계산하는 단계; 상기 채널 별 양자화 오류에 기초하여 결정되는 규칙화(regularization) 손실항을 이용하여 최종 손실 함수를 도출하는 단계; 및 상기 최종 손실 함수의 결과가 감소하도록 상기 제1 레이어의 배치놈 파라미터를 업데이트하는 단계 를 포함하는, 배치놈 파라미터 학습 방법.
