Devido à maneira como o Wireshark funciona no Windows, ele não pode inspecionar nenhum pacote, exceto aqueles que saem fisicamente da NIC. Veja loopback no Wiki do Wireshark.
Como os pacotes já estão criptografados no momento em que saem da NIC, não há como usar prontamente o Wireshark para analisar pacotes criptografados IPSEC.
É teoricamente possível descriptografar os pacotes IPSEC depois de terem sido criptografados, se você puder obter as chaves conforme descrito aqui mas não tive sucesso até agora no Windows.