O LibreOffice aplica um frame style denominado Formula aos objetos de fórmula. Tem AutoSize ativado por padrão e também um preenchimento padrão. Deve ser suficiente para modificar esse estilo de quadro.
Para fazer isso, abra o estilista usando F11 e selecione o Frame Styles . É o terceiro botão da esquerda:

Agora,selecioneoestiloFormula,cliquecomobotãodireitoeModify:
Agora, você pode editar os detalhes aplicados a cada objeto de fórmula no documento atual, por exemplo, o espaço ao redor da fórmula:
Além disso, você pode modificar o objeto da fórmula diretamente; sob a guia Wrap , ele possui alguns valores de espaçamento padrão.