Normalmente, deve funcionar fora da caixa. Apache e MySQL precisam ser iniciados.
Você pode tentar usar a versão portátil do xampp: Portable Version
Dica: Para usar a versão portátil, o servidor apache e o servidor mysql devem ser interrompidos antecipadamente.