Você está procurando por ftplugins. Esse é o propósito deles.
E não esqueça de definir seus mapeamentos, configuração, abreviação, comandos, ... como locais. Caso contrário, eles parasitarão outros buffers depois de carregados.
Aqui estão algumas respostas mais completas: