Existem MUITAS coisas que podem ser feitas no seu caso, mas são muito dependentes do que exatamente acontece no aplicativo e quais consultas são executadas no banco de dados.
Se for mais aprofundado não é possível, então essas três opções são as mais importantes se você não puder mudar outras coisas. Eles usarão sua RAM com mais eficiência se uma das limitações for a velocidade do disco.
key_buffer_size = 1G
read_buffer_size = 64M
read_rnd_buffer_size = 128M
Se os próximos dois não melhorarem, defina-os como 0. Depende se o seu servidor executar as mesmas consultas o tempo todo.
query_cache_size = 128M
query_cache_limit = 2M