bfloat16 - 하드웨어 숫자 정의

설명

인텔® Deep Learning Boost(인텔® DL Boost)는 bfloat16 형식(BF16)을 사용합니다. 이 문서에서는 bfloat16 부동 소수점 형식에 대해 설명합니다. BF16은 FP16에 비해 몇 가지 장점이 있습니다: FP32의 짧은 버전으로 볼 수 있으며, 가장 중요하지 않은 16비트의 가수를 건너뜁니다. 비정상을 지원할 필요가 없습니다. FP32 및 BF16은 딥 러닝 훈련 작업에 충분한 범위를 제공합니다. 곱셈 후 FP32 누적은 애플리케이션 수준에서 충분한 수치 동작을 달성하는 데 필수적입니다. 하드웨어 예외 처리는 성능 최적화이므로 필요하지 않습니다. 업계에서는 inf / NaN 검사를 중심으로 알고리즘을 설계하고 있습니다.