[求助]RTX A6000 fp16性能 和bf16性能？Tensor performance 性能是什么？

liupx17

一、fp16性能  和bf16性能

GPU                 Compute Capability  来源于 https://developer.nvidia.com/cuda-gpus#compute  
RTX 6000                8.9                              
RTX A6000        8.6

根据 https://docs.nvidia.com/cuda/cud ... hmetic-instructions


Compute Capability   8.9  的fp16 性能= fp32性能
Compute Capability   8.6  的fp16 性能= fp32性能*2  《这不知道我理解的对不对》



二、Tensor performance 是什么？LLM 中训练用的性能与这个指标有关系吗？

                     
RTX A6000      Tensor performance      309.7 TFLOPS8   

NVIDIA A100   FP16 Tensor Core                 312 TFLOPS       采用稀疏技术的情况下


RTX 6000                Tensor performance    1457.0 TFLOPS      
这个简介里 “Fourth-Generation
Tensor Cores
Fourth-generation Tensor Cores provide faster AI compute performance, delivering more than 2X the performance of the previous generation. These new Tensor Cores support acceleration of the FP8 precision data type and provide independent floating-point and integer data paths to speed up execution of mixed floating point and integer calculations.”

是说这个只能是FP8的性能，就是用fp8推理时可以使用到的性能？  不能用于训练，哪怕性能减半也不能用于fp16训练？



NVIDIA H100   FP16 Tensor Core                 756 TFLOPS       采用稀疏技术的情况下