Não, atualmente não é possível. Seria teoricamente possível portar o VirualBox para algum outro backend gráfico, como o framebuffer bruto. A razão para isto não ser feito é provavelmente que o X é a única solução gráfica para Linux com um bom suporte de aceleração. Mas esperamos que o VirtualBox possa rodar sob o Wayland em um futuro próximo.