NRF-TCC : 한국연구재단 기술사업화센터

기술 세부내용 본 기술은 복잡한 교사 모델의 지식을 경량화된 학생 모델에 전달하는 지식 증류 학습 방법에 관한 것으로, 교사 및 학생 네트워크로부터 도출된 정보 엔트로피 간의 거리를 기반으로 증류 손실의 온도 파라미터를 적응적으로 변화시키고, 초기의 불안정한 교사 모델 예측은 소프트 레이블로, 학습이 진행된 후의 신뢰할 수 있는 예측은 하드 레이블을 통해 전달하는 것을 특징으로 함

첨부 파일
엔트로피 기반 적응형 지식 증류 학습 기술.pdf

지재권 구분 특허
전략기술 분류 기타
특허 출원번호 10-2022-0126921 KIPRIS
IPC 코드 G06N3/08
특허 출원일
특허 등록번호
TRL 단계 4단계(실험실 규모의 소재/부품/시스템 핵심성능 평가)
연구실 홈페이지 https://idealab.skku.edu/