Tesla P100還支持在一個FP32里同時進行2次FP16的半精度浮點計算,所以對於半精度的理論峰值更是單精度浮點數計算能力的兩倍也就是達到21.2TFlops 。
半精度、單精度、雙精度這些概念是在IEEE 754標準里定義的,浮點計數是利用浮動小數點的方式使用不同長度的二進位來表示一個數字,與之對應的是定點數。同樣的長度下浮點數能表達的數字範圍相比定點數更大,但浮點數並不能精確表達所有實數,而只能採用更加接近的不同精度來表達。單精度的浮點數中採用4個位元組也就是32位二進位來表達一個數字,雙精度浮點數採用8個位元組也就是64bits來表達,當然半精度浮點數也就是採用16bits了。因為採用不同位數的浮點數的表達精度不一樣,所以造成的計算誤差也不一樣,對於需要處理的數字範圍大而且需要精確計算的科學計算來說,就要求採用雙精度浮點數,而對於常見的多媒體和圖形處理計算,32位的單精度浮點計算已經足夠了,對於要求精度更低的機器學習等一些應用來說,半精度16位浮點數就可以甚至8位浮點數就已經夠用了。