目前,NVIDIA 有专门使用 FP8 的 开源库—— Transformer Engine。 Transformer Engine 和 FP8 已经集成到 PyTorch/JAX/Paddle Paddle 等基础深度学习框架中。 在专用于LLM的框架,比如 Megatron/NeMo/DeepSpeed/HuggingFace/Colossal-AI 中也已经集成了 Transformer Engine 和 FP8,并有相应的 FP8 示例。 二、FP16/BF1...
目前,NVIDIA 有专门使用 FP8 的 开源库—— Transformer Engine。 Transformer Engine 和 FP8 已经集成到 PyTorch/JAX/Paddle Paddle 等基础深度学习框架中。 在专用于LLM的框架,比如 Megatron/NeMo/DeepSpeed/HuggingFace/Colossal-AI中也已经集成了 Transformer Engine 和 FP8,并有相应的 FP8 示例。 二、FP16/BF16...