Tudo o que você precisa fazer é "compartilhar" a impressora no Samba. Existem muitos HOWTO's na Internet para fazer isso, aqui está um: link
Você já instalou a impressora no Ubuntu. Você pode já ter instalado o Samba; se não, esse seria o próximo passo. Em seguida, compartilhe a impressora. Certifique-se de que ambos os computadores possam efetuar ping uns aos outros e pertencer ao mesmo "Grupo de trabalho". A impressora deve agora estar visível no seu computador Windows na janela "Rede", para que você possa imprimir nela.