Muitos fãs do servidor aceleram se a CPU aquece, então, em certa medida, isso pode depender de quão duro você vai trabalhar o servidor e da temperatura do escritório.
Se o armário tiver seu próprio resfriamento, há muitas opções para isolá-lo com som; sem o seu próprio AC ou aberturas externas, o armário deve ser ventilado para o escritório principal.
Minha experiência é que um armário bem construído com parede de tachas e uma porta corta-fogo é suficiente para fazer com que outras fontes de ruído em um escritório de plano aberto sejam mais preocupantes do que os servidores. Não me lembro de ter trabalhado em algum lugar em que o barulho da "sala do servidor" fosse mais um problema do que as pessoas tendo reuniões em suas mesas ou longos telefonemas.
Como você já tem os servidores, eu ficaria tentado apenas a descompactá-los e ligá-los para ver como eles soam. O som é muito difícil de prever, por exemplo, ter apenas um carpete no armário do servidor pode ser uma grande diferença devido ao som que ele absorve.