Meu palpite é que o VirtualBox não está alocando memória de vídeo suficiente para o sistema operacional convidado? Se você vai para Configurações - > Exibição - > Memória de vídeo, quanto é alocado? Talvez dê um impulso. O Windows sempre desativará a opção para quaisquer resoluções que o 'hardware' não possa suportar.
Isso provavelmente deve ser um comentário, mas eu sou muito pobre em reputação para fazer isso:)