O sistema operacional é instalado no disco rígido (HDD) e é executado na unidade central de processamento (CPU). Ele acessa chips de memória interna chamados de RAM (memória de acesso aleatório), cujos chips são fornecidos em módulos de memória simples (SIMMs) ou módulos de memória duplos em linha (DIMMs). A saída visual vem de um chip gráfico na placa-mãe (que basicamente conecta todas essas partes juntas) ou de uma placa gráfica separada que cabe em um slot de expansão na placa-mãe.
Você precisa de uma unidade óptica - CD ou DVD ainda melhor - embora eles estejam se tornando menos importantes, já que a maioria dos softwares pode ser baixada da Internet.
O que você precisa fazer é encontrar as especificações de cada uma das partes para descobrir quais são as "melhores". No entanto, nem todas as partes são compatíveis entre si. Você pode ter uma CPU rápida, mas ela não cabe na sua placa-mãe, por exemplo, ou o seu maior disco rígido tem as conexões erradas (SATA vs IDE).
Outra fonte de incompatibilidade pode ser a placa gráfica. As placas modernas usam o que é chamado de slot de expansão PCIe, enquanto as mais antigas usam um slot AGP. Mesmo os mais antigos usam um slot PCI.
Me desculpe se isso parece confuso, mas há muitos acrônimos e jargões que eu apenas arranhei.
Se você não está confiante em suas habilidades ou não tem certeza do que tem, pode ser mais simples levar as peças para uma loja de informática local. Pergunte ao redor do seu bairro primeiro, mas você deve ser capaz de encontrar um que não vai arrancar você. Peça uma cotação de quanto eles vão cobrar por você construir uma máquina com suas peças. Se você tiver alguma dúvida, é necessário pensar sobre isso e postar outra pergunta aqui para mais conselhos.
Depois de ter seu computador, você poderá reinstalar o Windows nesse computador. Pode haver problemas de ativação (abordados em perguntas aqui no Superusuário), mas uma chamada para a Microsoft pode resolver isso.