map <F10> :set number!
< - Deve fazer o truque (AFAIK, o! no final faz com que seja uma alternância, em vez de uma sempre ativa).
EDIT: desculpas, eu esqueci uma nota importante (que você pode já ter conhecido, mas foi uma falta de consideração para esquecer): para tornar isso persistente, adicione essa linha ao seu arquivo .vimrc
.
Dê uma olhada em esta página para referência, e esta questão SO para mais.