A implementação do IPSec pela Cisco não é compatível com nada além da Cisco. Eu sei que o IPSec é um padrão, mas a Cisco tem uma implementação específica que impedirá que você conecte qualquer outra coisa a seus equipamentos.
É possível configurar este túnel no meu Windows Server 2008? Pode ser feito usando apenas ferramentas do Windows, ou eu preciso de um software VPN adicional / comercial?
Sim, você precisa do Cisco VPN Client. É grátis para IPSec e funciona muito bem. Apenas tenha cuidado, pois é feito para clientes desktop. Pode ter algumas funcionalidades irritantes, como tempos de espera curtos.
Se não puder ser feito em uma caixa Linux virtual, terei que comprar e configurar um roteador Cisco para lidar com as tarefas IPSec + GRE?
Você sempre pode comprar uma caixa Cisco que faz o IPSec. Tenha cuidado, você pode precisar de licença específica para fazer o IPSec. Esta será a opção mais confiável e simples de longe. Por outro lado, não é uma solução livre. Um pequeno Cisco ASA 5505 fará o truque.
Além disso, você não precisa ter um endereço IP público extra. Usando o mesmo IP que você usa para todo o resto, tudo bem.