Em tex.vim
Altere todos os seus comandos set
para setlocal
comandos para que as configurações sejam locais para o buffer tex.
Altere todos os comandos *map
para *map <buffer>
para que os mapeamentos sejam locais para o buffer do tex.
(Este é apenas um palpite, mas isso soa como o problema se não for post tex.vim)