Como você configurou o servidor para permitir sua chave? Colocando sua chave pública no .ssh / authorized_keys no servidor? Se for esse o caso, deve funcionar. Você está usando os mesmos nomes de usuários (remotos e locais) quando usa ssh / scp como quando usa o rsync?
Ah, e btw, esta pergunta deve ser feita em serverfault.com em vez disso, eu acho.