600 são as permissões corretas - para sua configuração ssh e sua chave privada. IdentityFile deve apontar para sua chave privada, não para a pública. Então você deveria querer:
Host jumanji
HostName jumanji.gov
User rambo
Port 26000
IdentityFile ~/.ssh/jumanji_rsa
Isso presume que o conteúdo de jumanji_rsa.pub foi anexado ao ~/.ssh/authorized_keys do servidor remoto.