Cygwin é o que você quer. Ele tem todas as ferramentas unix padrão e muitas outras empacotadas para o Windows, com uma GUI razoavelmente fácil de usar para selecionar, baixar, instalar e atualizar pacotes.
Há uma breve visão geral dos recursos em Wikipedia