Do rack-mounter servers have OS's?
Os servidores montados em rack são os mesmos que os servidores em torre que eles simplesmente ajustam bem em um rack, então sim, eles têm um sistema operacional.
Do i configure these servers directly or from another computer?
Normalmente, para mim, você os configura diretamente, em seguida, usa algum tipo de ferramenta de conexão remota, como a Área de Trabalho Remota, para se conectar a eles e gerenciá-los remotamente.
Say for instance I wanted to incorporate a file server making use of a rack mounted server, would it need an OS?
Sim, veja a resposta para a primeira pergunta.