No OpenVZ, todas as VMs e host compartilham o mesmo kernel, então você não poderá instalar o pfsense (que é baseado no FreeBSD). Mesmo no KVM você terá problemas com o pfsense porque os drivers do virtio ainda não estão portados para o FreeBSD, tanto quanto eu sei. Então você terá degradado o desempenho em comparação com o Linux VM. Se você pode viver com isso eu não sei. Depende provavelmente da carga esperada do firewall.
No KVM, você pode alocar para as VMs mais memória, em seguida, está fisicamente disponível. É chamado de supercomprometimento de memória. Existem várias maneiras de fazer isso: Swapping, Ballooning, compartilhamento de página, Live migration.