Se você deseja que o mplayer seja executado no console X do servidor, adicione:
putenv("DISPLAY=:0.0");
Antes da sua chamada system() . Você também precisará dar permissão no seu console X. Dê uma olhada no link para saber como fazer isso.