Basta adicionar windo ao seu comando set no seu arquivo vifmrc , desta forma;
windo set viewcolumns=-{name}..,6{size},11{perms}
A opção viewcolumns é local para a janela, é por isso que é necessário usar o windo prefixo a ser aplicado a configuração para ambas as janelas.
Um exemplo de configuração de viewcolumns para ambos os painéis provavelmente deve ser adicionado à documentação.
P.S. Isso é necessário para versões de até 0,8, em versões futuras. Os comandos set e filter em vifmrc atuam nas duas janelas por padrão.