Você está certo de que as tabelas de rotas afetam somente os pacotes de saída, não os pacotes de entrada.
Um host com um IP público não pode usar o gateway NAT. Nesse cenário, você obtém uma rota assimétrica. O pacote do cliente atinge diretamente o servidor, em seguida, o pacote de retorno atravessa a instância NAT e tem seu IP alterado para a instância NAT e retorna para o cliente. O cliente não entende que o pacote de retorno não está associado à conexão solicitada.