A razão pela qual é lento não é por causa da rotação, é porque você reencode o vídeo.
Quando você não especifica um codec de vídeo de saída, o padrão para mp4 é H.264 (libx264), que, dependendo da resolução e do hardware, pode ser lento.
Eu vejo que você tenta contornar isso especificando "-c copy", mas você não pode: girar o vídeo significa modificá-lo, então não há como copiar o stream H.264. A reencodificação não é uma opção no seu caso.
Você pode tentar com uma das predefinições mais rápidas:
ffmpeg -i in.mp4 -vf "transcode=1" -vcodec libx264 -preset veryfast -acodec copy out.mp4
Mas a qualidade / tamanho do arquivo vai sofrer.
Veja link , há uma resposta interessante sobre como alterar os metadados para que os jogadores podem rodar o vídeo.