OPTIMIZE TABLE é uma instrução SQL - execute-a em um cliente MySQL.
Na linha de comando do servidor, você deve ter o cliente de linha de comando instalado; você pode se conectar ao seu banco de dados no cliente com mysql -u username -p .
Consulte a documentação sobre OPTIMIZE TABLE para obter mais informações.