Sua suposição de que carregar módulos do Apache não quebrará nada está errada. Um simples contra-exemplo seria:
<IfModule module_safe>
# Break things for fun and profit.
</IfModule>
Assumindo que module_safe
está perfeitamente bem, sua configuração ainda pode mudar ao carregar esse módulo.