Estou planejando instalar o Nagios, mas não tenho certeza se existe um pacote para o pfsense, ou posso instalar separado do pfsense mas na mesma máquina?
Alguém já teve experiência com isso?
Segunda parte da minha pergunta é, onde devo colocar o Nagios, já que estou rodando uma máquina onde instalei o pfsense, por trás dessa mesma máquina está rodando o servidor que está na zona da DMZ.
Não, você não deve fazer isso.
Deixe seu roteador ser um roteador e instale nagios em outro lugar. A instalação de software extra não disponível em um appliance não apenas diminui a segurança da plataforma, mas também introduz muitas complexidades na execução de atualizações.