Eu faria algumas coisas:
- Verifique se você não tem problemas de 32 bits versus 64 bits (use 32 bits se não tiver certeza
- Use uma versão do Ubuntu que seja atual com a máquina. Eu estou em um MacBook Pro de 2011 e comecei com 12.10. Procure listas de compatibilidade online para sua versão do Ubuntu
- Verifique a unidade USB em outro computador para ter certeza de que funciona, pode haver problemas de formatação. Ou tente um stick USB diferente
- Talvez dê o tempo que você quiser, meu antigo computador demorou 15 minutos para inicializar o Ubuntu no passado.
Boa sorte, espero que isso ajude!