O pedido deve ser revertido,
ffmpeg -i in -filter:v "setpts=PTS/6,fps=30" out
Com o filtro fps primeiro, o ffmpeg irá inserir 25 quadros duplicados por segundo para converter 5 fps para 30 e, em seguida, acelerar 6x. Com a ordem correta, o ffmpeg comprime o fluxo para ter 30 quadros-fonte por segundo, e então todo o filtro fps acaba fazendo * é alterar os metadados do fluxo para 30 fps.
* assumindo uma fonte de taxa de quadros constante.
Observe também que o YT recodifica todos os vídeos, portanto, o keyint codificado não é transferido pelo YT.
Se você tiver áudio, precisará acelerar também,
ffmpeg -i in -vf "setpts=PTS/6,fps=30" -af "atempo=6" out
Note que atempo até recentemente tinha um limite de 2, então para versões mais antigas do ffmpeg, você usaria
ffmpeg -i in -vf "setpts=PTS/6,fps=30" -af "atempo=2,atempo=2,atempo=1.5" out