Acontece que é um problema de propriedade com esse arquivo específico.
Estes dois comandos corrigiram-no:
sudo chown pi ~/.config/leafpad
sudo chown pi ~/.config/leafpad/leafpadrc
Agora desapareceu completamente.
A melhor parte é agora que ele se lembra de onde estava na área de trabalho quando foi fechado pela última vez.