Meu palpite aqui, com uma conexão estritamente localhost, é que você precisaria de acesso root para ver os dados fluindo para o servidor. Nesse momento, um usuário mal-intencionado pode encontrar os dados usando muitos outros meios.
Se for verdade, acho que você está bem com a conexão "listen only on localhost".
Dito isso, tenha em mente que essas coisas tendem a se expandir, e em breve você pode querer verificar as mensagens de longe. Então você quereria o TLS. Você pode revisitá-lo então, ou morder a bala agora.