Primeiramente, você tem dois requisitos conflitantes: você não quer uma abordagem do tipo "faça você mesmo", mas quer barato. Você precisa descobrir qual desses dois é mais importante.
Para que esse servidor é necessário?
Se for possível hospedá-lo fora do site, você poderá criar uma caixa em um datacenter (Rackspace, Cari, etc.). Você pode até mesmo obter um servidor totalmente gerenciado, portanto, só precisa se preocupar com o aplicativo em si. Claro que este serviço extra é mais caro. Para a rota de inicialização super barata, você pode até usar o Amazon EC2. No entanto, o EC2 vai ser mais caro a longo prazo e você vai ficar com as mãos sujas gerenciando-o.
Se não for possível hospedá-lo externamente (ele também funciona como um servidor de arquivos para o escritório, etc), então sim, comprar um servidor da Dell (ou similar) seria sua melhor aposta.
O mais barato que você provavelmente será capaz de encontrar um servidor para venda é de seu revendedor off-lease local, Craigslist ou Ebay. Você pode encontrar servidores muito bons, recentemente desativados por preços incríveis. Esteja ciente de que eles normalmente não vêm com suporte, então mais uma vez você estará pronto para isso.
Editar: se você estiver comprando equipamento usado, verifique se tudo está em ordem com o licenciamento do SO. Se o sistema operacional veio com o hardware (versão OEM), você deve estar ok. No entanto, corporações maiores às vezes adquirem o SO separadamente do hardware (MS Open Licensing). Esse tipo de licença não seria transferível para você quando você comprar a caixa.