Você está obtendo um loop de inicialização porque o Linux inicializa esperando o hardware original com o qual configurou o sistema durante a instalação inicial.
it is possible to work on different computers with the usb stick?
Sim, mas não do jeito que seu thumbdrive está configurado no momento.
Se você quiser que seu pen drive inicialize (e execute corretamente) em diferentes configurações de hardware, você precisa usar uma configuração do tipo USB . Você pode fazer isso com persistência de configuração e armazenamento adicional para seus arquivos no pen drive. Dê uma olhada no Linux Live USB e UNetbootin para fazer isso.
Editar re. Limite do sistema de arquivos de 4 GB:
Há um excelente artigo sobre a Persistência Pendrive do Live Usb aqui. Explica como passar a limitação do sistema de arquivos de 4GB.
Trecho do link:
Note that the maximum space that can be allocated for persistence is limited to 4GB (maximum file size on a FAT32 filesystem is 4GB). This limit can be overcome and is explained later on.
Note também: Nada impede que você crie uma partição de armazenamento no seu USB (supondo que tenha espaço disponível). O sistema de arquivos de persistência destina-se à configuração do sistema: personalizações, como layout de teclado, numlock, preferências, pacotes adicionais salvos na unidade , etc.