Se você deseja que o mplayer seja executado no console X do servidor, adicione:
putenv("DISPLAY=:0.0");
Antes da sua chamada system()
. Você também precisará dar permissão no seu console X. Dê uma olhada no link para saber como fazer isso.