Primeiro, sugiro corrigir a configuração de forma apropriada no Puppet. Você pode escrever uma linha que só se aplica a esse servidor e adiciona uma entrada para seu usuário específico.
A outra coisa que você pode fazer é chattr +i
(marcar como imutável) o arquivo depois de fazer as alterações desejadas. Vamos ver o Puppet mudar o arquivo.
O arquivo resultante real é /etc/limits.conf