A resposta vem em forma de pergunta. Onde está sua regra de NAT que irá traduzir o tráfego de saída? Você deve ter NAT de saída no site do seu servidor configurado assim:
Interface: aquela que você está usando para o seu túnel
Protocolo: qualquer
Fonte: rede de outro site
Destino: qualquer
E sob tradução
Endereço: endereço da interface
Você precisa de NAT de saída porque, caso contrário, não poderá usar o túnel. Simplesmente porque o seu roteador não conhece a rota para a rede no outro site. Mas se você traduzir o endereço de origem para o seu endereço de interface de túnel, ele poderá responder.