FlashAttention-4 (FA4) foi projetado para aproveitar melhor GPUs Blackwell ao sobrepor operações que, juntas, determinam o custo da atenção: multiplicações em Tensor Cores, softmax e movimentação de dados. Os resultados publicados para o B200 são em BF16. FP4 aparece em um trabalho posterior e separado, com resultados condicionais em GB200 — não é o formato dos benchmarks principais de FA4 no B200.
Por que o Blackwell exige mais do que multiplicações rápidas
A atenção escalada calcula softmax(QKT/√d)V. O kernel combina multiplicações de matrizes com softmax e movimentação de dados. Quando as multiplicações ficam muito mais rápidas, exponenciais e transferências internas podem limitar o tempo total; otimizar apenas o GEMM não resolve necessariamente o gargalo.
As an Amazon Associate I earn from qualifying purchases.
Essa assimetria é um dos motivos para o co-design entre algoritmo e kernel em FA4. A explicação dos autores associada à pesquisa de Princeton compara Hopper H100 e Blackwell B200: o throughput BF16 dos Tensor Cores sobe de 1 para 2,25 PFLOPs, enquanto a contagem de SFUs e a largura de banda da shared memory permanecem inalteradas, segundo a publicação de 12 de março de 2026. Leia a explicação de Princeton sobre o pipeline de FA4.
Quick wins for a faster PC:
Clear out junk files and repair common Windows errorsFree Scan →Scan for outdated or missing drivers - takes under a minuteDriver Scan →Repair Windows errors before they cause bigger problemsFix Now →O que muda no pipeline do FA4
Sobreposição no forward
FA4 usa pipelines assíncronos e tiles maiores para sobrepor o trabalho dos Tensor Cores com softmax e operações de memória. O objetivo é manter as diferentes etapas ocupadas, em vez de deixar uma esperar pela conclusão da outra. O kernel também emula a exponencial em software e aplica reescala condicional online do softmax, técnicas voltadas a reduzir o custo dessa parte do cálculo.
#1 Best Overall
- Professional AI & Creator Workstation: AMD Radeon AI PRO R9700 GPU with 32GB GDDR6 is engineered for AI development, professional content creation, and compute-intensive workloads.
- Massive 32GB Memory Capacity: 32GB of GDDR6 memory on a 256-bit bus provides ample bandwidth for large AI models, 8K video editing, and complex 3D rendering.
- Advanced RDNA 4 with AI Accelerators: 64 Compute Units with 3rd Gen Ray Tracing and dedicated 2nd Gen AI Accelerators for groundbreaking AI performance and visual computing.
- Professional Blower Cooling: Efficient single blower design exhausts heat directly out of the chassis, ideal for multi-GPU workstation and server configurations.
- Enterprise-Grade Thermal Solution: Vapor chamber heatsink with industrial Honeywell PTM7950 thermal interface material ensures reliable cooling under sustained professional loads.
Redução de tráfego no backward
No backward, a implementação usa tensor memory para armazenar intermediários e MMA em modo 2-CTA. O artigo descreve essas escolhas como meios de reduzir o tráfego de shared memory e o trabalho de redução; o modo 2-CTA também reduz pela metade os atomic adds nesse caminho.
Implementação e compilação
O artigo descreve a implementação em CuTe DSL, embutida em Python. Seus autores relatam tempos de compilação até 20–30× menores que os de abordagens tradicionais baseadas em templates C++; essa é uma métrica de compilação, não uma aceleração do kernel em execução. A documentação do CUTLASS apresenta CuTe DSL como interfaces nativas de Python para escrever kernels CUDA de alto desempenho.
Resultados publicados: B200 com BF16
Os números abaixo são máximos reportados pelos autores do artigo FA4 nos Proceedings of Machine Learning and Systems de 2026. São resultados em B200 e BF16, não resultados de FP4 nem garantias para qualquer tamanho de tensor ou carga de trabalho.
Rank #2
- NVIDIA Volta GV100 Architecture — 4,608 CUDA Cores, 640 1st-Gen Tensor Cores delivering 14 TFLOPS FP32 and 112 TFLOPS deep learning performance for AI training, inference, HPC, and scientific computing workloads
- 32GB HBM2 ECC Memory — 900 GB/s Bandwidth — High-bandwidth memory on a 4096-bit bus with ECC error correction provides the memory capacity and throughput required for the largest AI models, simulations, and datasets
- PCIe 3.0 x16 Interface — 250W TDP — Standard PCIe Gen3 connectivity with passive cooling designed for enterprise rack server deployment in HPE ProLiant, Dell PowerEdge, and Supermicro platforms with adequate chassis airflow
- NVLink — Scale to 96GB Unified Memory — Connect two V100 GPUs via NVLink at 300 GB/s bi-directional bandwidth to scale GPU memory from 32GB to 96GB for larger AI training and HPC workloads
- Multi-Precision Computing — Supports FP64 (7 TFLOPS), FP32 (14 TFLOPS), FP16 (112 TFLOPS) and INT8 precision modes for flexible deployment across training, inference, and scientific simulation workloads
| Resultado reportado | Comparação ou contexto | O que mede |
|---|---|---|
| Até 1,3× | Contra cuDNN 9.13 | Desempenho relativo reportado para FA4 em B200 com BF16 |
| Até 2,7× | Contra Triton | Desempenho relativo reportado para FA4 em B200 com BF16 |
| Até 1613 TFLOPs/s e 71% de utilização | B200 com BF16 | Throughput e utilização máximos reportados |
| Até 20–30× menos tempo de compilação | Contra abordagens tradicionais baseadas em templates C++ | Compilação, não execução do kernel |
Consulte o resumo do artigo FA4 nos Proceedings of Machine Learning and Systems. Para interpretar qualquer comparação entre implementações, confira se hardware, formato numérico, direção do cálculo, formas dos tensores, baseline e métrica são equivalentes; os máximos publicados não substituem uma comparação pareada na carga real.
FP4 é uma linha de trabalho separada
O artigo principal de FA4 não deve ser apresentado como um benchmark FP4: seus resultados citados para B200 são em BF16. Em setembro de 2026, Robert Hu publicou o preprint Hardware-Aware FP4 FlashAttention-4, que investiga como aproveitar Tensor Cores FP4 quando conversão do softmax e dependências internas também afetam o desempenho. O próprio preprint ressalta que operações matriciais menores não garantem atenção mais rápida se esses outros custos dominarem.
Direct-P para inferência não causal
O método Direct-P converte os scores diretamente em probabilidades FP4 para inferência não causal. O preprint relata até 2,13× o throughput forward de BF16 em GB200 para esse cenário. Trata-se de um máximo reportado em GB200, não de um ganho universal de serving, nem de um resultado do benchmark BF16 de FA4 no B200.
Rank #3
- Built for Running LLMs Locally: RDNA 4, 128 AI Accelerators, up to 1,531 TOPS (INT4) for fast inference and fine-tuning
- 32GB GDDR6 VRAM for Large AI Models: 256-bit, up to 640GB/s bandwidth, run large language and multi-modal AI models without offloading
- Multi-GPU Scaling for Local AI Clusters: PCIe 5.0 and 2-slot design support dense multi-GPU builds for local AI training and inference clusters
- Diecast Shroud and Backplate: Wave-pattern design cuts memory temperature by up to 16%, keeping clocks steady during long AI training runs
- Phase-Change GPU Thermal Pad: Delivers superior thermal conductivity for consistent performance and longevity under heavy AI loads
Caminho causal e atualização completa
Para o caminho causal, o trabalho transfere a quantização do forward para o backward. Seus autores relatam até 1,14× em uma atualização completa, single-GPU, de um modelo de 8 bilhões de parâmetros. Essa métrica e esse cenário não são diretamente intercambiáveis com throughput forward não causal.
Leia o preprint Hardware-Aware FP4 FlashAttention-4. O repositório de implementação FP4 é uma referência para o código; sua existência, por si só, não demonstra que cada caminho esteja disponível em qualquer aplicação ou build.
Independent reader supportYour contribution helps us test, update, and keep practical guides available for everyone.Precisão limita onde FP4 pode ser usado
FP4 não acelera automaticamente a atenção: reduzir a precisão das multiplicações não elimina custos de conversão do softmax nem dependências on-chip. O preprint também avalia alternativas de formato e escala. FP8 evita o problema de faixa do FP4, mas não usa a instrução PV FP4. MXFP4 pode se alinhar à granularidade do fragmento produtor, porém representa probabilidades de forma mais grosseira.
Rank #4
- 24GB GDDR7 ECC Memory: handles large AI, 3D and rendering files smoothly
- Powerful CUDA Compute - 8,960 CUDA cores for fast graphics and computing power
- AI & Ray Tracing Boost - Tensor of the 5th generation and RT cores of the 4th generation
- PCIe 5.0 x16 interface - fast data connection with modern systems
- 4 × DisplayPort 2.1 - Multi-monitor support for professional workflows
Nos testes descritos no preprint, todas as trajetórias de treinamento testadas com probabilidades e valores MXFP4 divergiram. Isso delimita o que foi observado nesses testes; não demonstra que todo treinamento com FP4 diverge. A escolha do formato precisa considerar a etapa de atenção, a granularidade e a fidelidade numérica exigida.
O que a documentação de software confirma
A matriz de suporte de atenção do cuDNN 9.18.1 lista SDPA para Blackwell B200/B300 em FP8, FP16 e BF16, usando o algoritmo FlashAttention-2, e requer CUDA Toolkit 12.x ou mais recente. Isso documenta suporte da biblioteca para essas combinações; não confirma que o kernel FA4 ou os caminhos FP4 do preprint estejam disponíveis pelo cuDNN. Confira a documentação de atenção do cuDNN.
The Tool Desk
Outbyte Driver Updater FREEFix the driver behind crashes, sound loss and screen glitchesFind Drivers →Outbyte PC Repair FREEClear out junk files and repair common Windows errorsFree Scan →A documentação do CUTLASS inclui os tipos NVFP4 e MXFP4, além de CuTe DSL, mas suporte a tipos e ferramentas não garante que uma aplicação, uma GPU Blackwell ou uma compilação específica ofereça uma implementação de atenção FP4 pronta para uso. Para avaliar um resultado, identifique a GPU exata, o formato e a escala, o modo causal ou não causal, se mede forward, backward ou atualização completa, o baseline e a métrica reportada.
Quick Recap
Product prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on Amazon at the time of purchase will apply.
