A variável $ SSH_CONNECTION fornece as portas e os endereços IP de origem / destino usados pela conexão do usuário. Então, adicione-o como argumento ao seu comando logger.
Como em:
export PROMPT_COMMAND='RETRN_VAL=$?;logger -p local6.debug "$SSH_CONNECTION $(whoami) [$$]: $(history 1 | sed "s/^[ ]*[0-9]\+[ ]*//" ) [$RETRN_VAL]"
Para mais detalhes, consulte O que são SSH_TTY e SSH_CONNECTION?
Quanto ao nome do host, isso depende da resolução do DNS. Você sempre pode criar scripts para resolver o DNS reverso dos logs. Não há nenhuma diretiva que eu saiba que resolva diretamente o nome DNS.