Suspeito que seu servidor asterisco esteja configurado para usar o UDP, que é sem conexão, portanto, a solicitação de saída do SIP pode conter o endereço IP de retorno que o usuário final deve usar para se conectar a você.
Verifique a configuração externip
nos arquivos de configuração do seu sip:
Veja também o seguinte, que contém muitas coisas boas nele link
Obter um rastreamento de rede usando wireshark ou tcpdump de eth2 e eth3 também lançará mais luz sobre o problema