Você mesmo respondeu a pergunta. Se você tem um no-break, pode deixá-los, caso contrário, eles devem estar desligados ou você corre o risco de perder dados.
Na maioria dos servidores no datacenter, eles geralmente usam firmware OEM que usa o cache em um modo somente leitura. (O equivalente a off) As gravações serão armazenadas em cache pela placa RAID com memória de bateria.