Na minha experiência usando variantes de 32 e 64 bits do FreeBSD no mesmo hardware, eu tenho visto um benefício mensurável (mas não enorme) na execução de 64 bits. 64 bits existe há tempo suficiente para que projetos ativos não tenham problemas. A única área em que isso não é necessariamente verdade é para aplicativos comerciais compilados (não parece um problema para sua carga de trabalho).
Se você estivesse instalando do zero, eu recomendaria 64 bits para sua carga de trabalho, mas se você tiver uma solução em funcionamento, não acho que valha a pena alterá-la.