Desde que você tenha apenas dois servidores, isso realmente não importa.
Normalmente, coloco a fila em um conjunto separado de servidores ou nos servidores de aplicativos, se houver restrições orçamentárias. Como os trabalhadores devem ser a parte mais fácil de escalar e descer, seria tolo derrubar a fila ao reduzir o número de trabalhadores.