Se você for executar o banco de dados remotamente, execute-o no mesmo segmento de rede que seus servidores de aplicativos ou, pelo menos, no mesmo datacenter.
Mesmo se você obtiver baixa latência (ish), como < 10 ms, que podem afetar suas consultas dependendo do tipo de carga de dados que você tem.
Além disso, você acaba adicionando outro ponto de falha ao seu sistema, a comunicação entre seus servidores de aplicativos e servidores de banco de dados pode falhar. O MongoDB não usa nenhuma criptografia em seu protocolo e seus dados estarão em execução entre deus sabe quantos saltos, a menos que você o faça de alguma forma.
E, como você apontou, há o uso da largura de banda. No geral, sugiro que você obtenha outro nó para executar seu banco de dados, mas no mesmo local do seu servidor de aplicativos.