Descobri que era um problema de firewall com o pfSense.
Anteriormente, eu tinha uma regra que permitia qualquer tráfego TCP IPv4 da rede VLAN para qualquer destino. Este novo ia ser mudado para permitir o IPv4 com permitir que qualquer protocolo para o ICMP funcione
Além disso, minha VLAN nativa no meu switch foi configurada, mas a porta de tronco que vai para o host ESXi não permitiu a VLAN nativa na porta do tronco.