Ele é desativado por padrão porque muitas configurações do LAMP estão em ambientes compartilhados que podem ou não gostar de seus usuários carregando extensões aleatórias sem permissões de administrador.
Você parece saber o que está fazendo, portanto, não deve haver nenhum risco de segurança, a menos que você use a mesma configuração em um servidor da Web do servidor em que você tenha usuários não confiáveis.