Em tex.vim
Altere todos os seus comandos set para setlocal comandos para que as configurações sejam locais para o buffer tex.
Altere todos os comandos *map para *map <buffer> para que os mapeamentos sejam locais para o buffer do tex.
(Este é apenas um palpite, mas isso soa como o problema se não for post tex.vim)