Teoricamente fastcgi_keep_conn aumenta o desempenho, pois o soquete entre nginx e PHP-FPM permanece aberto após o processamento da solicitação. Portanto, o tempo gasto para abrir o soquete é salvo.
No geral, isso economizaria alguns milissegundos em cada solicitação, por isso não tem um efeito tão grande.
A documentação simplesmente significa que você precisa ter ambas as opções upstream block com keepalive e fastcgi_keep_conn em seu bloco de script PHP para que a conexão keepalive funcione.
Basicamente, a opção fastcgi_keep_conn diz ao nginx para fazer o PHP-FPM manter a conexão aberta após o pedido, e a keepalive diz ao nginx para manter a conexão aberta.