Você definitivamente deve conseguir fazer isso em um usuário que não seja do sistema. Escolha / crie um usuário para executar o Hudson e tente conectar-se ao servidor usando ssh user @ host. Se ele pede uma senha, não está encontrando sua chave obviamente.
Nesse caso, verifique novamente se a chave é carregada no concurso (você precisa obter o pageant para carregar a chave relevante do disco toda vez que for iniciado) e se a variável de ambiente GIT_SSH estiver definida.
Uma outra maneira de fazer isso é configurar sua variável de ambiente GIT_SSH para incluir uma referência à chave. Eu atualmente faço isso com tunnelier e SV, então por exemplo minha variável SVN_SSH é "sexec -pk = 1" onde sexec é a CLI ssh do tunnelier e -pk = 1 diz para usar minha chave privada no slot 1.