Isso deve absolutamente corresponder aos arquivos ocultos. O / no final da fonte diz "todos os arquivos sob este diretório". No entanto, testes e pesquisas confirmam você. Este é um comportamento estúpido.
A " resposta "é acrescentar um ponto ao final da fonte:
scp -rp src/. user@server:dest/
A resposta real é usar o rsync.