Eu pergunto, como você acha que está usando o IPsec? Entre quais hosts você usaria? As chances são que você tem razão zero para isso. O IP sec é usado em redes internas para garantir que as pessoas não possam usar programas como o Wireshark para capturar e decodificar pacotes. Ela exige que ambas as extremidades da conexão concordem em usá-la.
À medida que você navega na Internet e usa outros protocolos para aplicativos diferentes, esses hosts estrangeiros não estão configurando túneis IPsec com você. Uma VPN pode usar o IPsec, mas acho que é principalmente VPN de site para site, não o tipo que você costuma usar, e eles têm seus próprios métodos de criptografia.
Portanto, se você está em uma rede doméstica, e REALMENTE acha que alguém pode acessar sua rede fisicamente, e REALMENTE tem o desejo de executar um sniffer de protocolo, então, por todos os meios, configure-o. É claro que as chances são de 1 em 1 milhão, então compre um bilhete de loteria também.