Não sei por que não pensei nisso antes, mas a solução mais simples é simplesmente criar uma regra personalizada no firewall do Windows para bloquear conexões de / para o IP especificado, em uma determinada interface ou tipo de conexão.
ATUALIZAÇÃO: Também não resolve o problema. Isso só faz com que os pings retornem como "falha geral", e não como um tempo limite ou destino inacessível. "Falha geral" causa uma exceção em C #, e eu teria que escrever um manipulador para pegá-lo.
Mais uma vez, eu PODERIA escrever um manipulador de exceções, mas isso não é muito elegante.