Use o Ubuntu mini ISO de aqui e copie para o drive USB.
Na tela inicial do menu, escolha a opção install (deve ser selecionada por padrão) e siga os passos para configurar como desejar.
Após a instalação do sistema básico, ele solicitará que você escolha um DE e outros recursos. Selecione Instalação mínima do Xubuntu e continue, seguindo os prompts conforme necessário.
Agora você tem uma nova instalação do Xubuntu Core!
Você pode tentar isso primeiro em uma máquina virtual, se estiver preocupado.