Você não deve ter problemas com um servidor que não tenha um compilador instalado.
Normalmente, um compilador não pertence a um servidor LAMP por motivos de segurança. Isso "ajuda" um invasor a digitar algum código, compilá-lo em um programa, executá-lo e causar muito mais danos.
Uma possível exceção é se você tiver um driver de dispositivo que não faz parte da distro padrão. Toda vez que você atualizar o kernel, você teria que recompilar esse driver.