A maneira mais simples é provavelmente usar o item de menu de contexto "novo > documento de texto", alterar o nome do novo arquivo e adicionar uma extensão .py
.
Para estender o explorador, você precisará de uma extensão do shell .
Há um menu de contexto configurável em software livre disponível. Tenha cuidado com os instaladores do windows a partir do sourceforge. A palavra é que o sourceforge agora bundles adware com eles!
Editar: Adicionar um novo tipo ao menu de contexto pode, de fato, ser feito por mexendo com o registro .