Sim, você pode criar CDs e DVDs do Ubuntu. Você pode baixar os arquivos .iso aqui .
Você também pode criar pen drives USB inicializáveis - veja aqui um tutorial sobre como fazer isso com o Windows e aqui para um em como fazer isso com o Ubuntu.
Você pode usar qualquer CD ou dispositivo inicializável para teste do sistema ao vivo. Em pen drives USB você pode até criar uma área para armazenar configurações alteradas e software instalado adicionalmente. Mas não se esqueça de que o uso de um sistema ao vivo sempre será significativamente mais lento que uma versão instalada do sistema operacional.
Se você quiser instalá-lo junto com o Windows, consulte aqui para obter informações sobre inicialização dupla.