Se você tiver acesso de leitura à chave ssh privada de "servidor", use o modificador -i com scp, que diz para usar um arquivo de chave privada específico.
BTW, não é mais curto para escrever isso?
find /home/server/Downloads -type f -iname *document* -exec scp -i pathtokeyfile "{}" "[email protected]:/users/imac/Documents/" ;