set background não altera o plano de fundo; Ele diz vim se o seu fundo é escuro ou claro (claro).
Você pode usar o arquivo .gvimrc para definir cores específicas para o gvim. Eu configurei meu esquema de cores para ardósia, desertos ou à noite, porque gosto de esquemas de cores claras sobre o escuro:
colorscheme slate
Ou você pode adicionar isso ao seu .gvimrc ou .vimrc para definir as cores como branco sobre preto:
highlight Normal guifg=white guibg=black