Parece haver apenas um ovo para o Python 2.5 no Windows. Tente com o Python 2.5 no Windows por agora, e isso deve funcionar, mas eu concordo que ter duas versões do Python pode realmente colocá-lo em uma situação horrível, às vezes. Além disso, o pacote é MySQL-python
e não MySQLdb
.
Veja esta outra pergunta sobre SU respondida para obter uma solução alternativa para obtê-la no Python 2.6