É certamente possível infectar o Windows através do Ubuntu. Isso pode acontecer se você tiver um arquivo infectado transferido de um sistema operacional para outro; no entanto, um arquivo infectado que resida apenas na partição do Linux provavelmente não afetará o sistema operacional Windows.
A maneira mais fácil de manter o Windows limpo é usar um aplicativo antivírus no Windows. Pode ser um pouco exagerado também instalar um aplicativo antivírus no Ubuntu; no entanto, se você quiser, você pode usar algo como ClamAV para digitalizar arquivos antes de transferi-los para o Windows. Há mais informações sobre o ClamAV em esta pergunta no Superusuário.
O bom do ClamAV é que ele é um mecanismo de varredura por demanda, por isso não consome recursos quando não é necessário. Dessa forma, quando você transfere arquivos do Ubuntu para o Windows, tudo o que você precisa fazer é digitalizá-los antes de copiá-los para o outro SO.