Use
ffmpeg -i video.mp4 -map 0:v -map -0:V -c copy cover.jpg
As imagens de capa no MP4 não são fluxos de vídeo regulares, mas têm uma disposição de uma imagem anexada.
O que o comando acima faz primeiro é mapear todos os fluxos de vídeo (imagens normais + anexadas) e, em seguida, usar um mapeamento negativo para desativar todos os fluxos de vídeo normais, deixando apenas as imagens anexadas mapeadas.
MP4s podem ter imagens anexadas com codec JPEG, PNG ou BMP. Verifique qual deles seu arquivo possui e corrija a extensão.