Você precisa adicionar a chave privada ao ssh-agent, não a chave pública. O nome da chave padrão é id_rsa, então você nem precisa de nenhuma opção:
ssh-add
Se você nomeou sua chave como algo a mais (por exemplo, github_dsa
, use:
ssh-add github_dsa
Nota para os intrusos da internet: se você não usou ssh-keygen para gerar a chave, certifique-se de que sua chave está no formato SSH. Para PuttyGen, por exemplo, há uma opção de exportação que você precisa usar.