Claro. Eu nunca precisei usar "sudo" usando "scp".
Lembre-se: assim como em todas as cópias remotas, os servidores precisam ser configurados para permitir isso. Você pode até mesmo usar "scp" sem ter que usar um usuário e sem fornecer uma senha, se quiser.