Regra número um sobre conversão de vídeo: demora muito tempo. Adicionar mais recursos de hardware à operação (RAM, processador, etc.) pode acelerar, mas a conversão de vídeo ainda será uma das operações mais lentas que um usuário comum de computador pode executar.
Com isso dito, você já tentou usar o Handbrake ? Seus fóruns têm muitos tópicos relacionados à conversão e à reprodução do PSP.