O Docker é uma ferramenta de virtualização de aplicativos. VirtualBox é uma ferramenta Virtual Machine .
O VB simula todo um ambiente de hardware enquanto o Docker isola as leituras / gravações do aplicativo incluído do restante do sistema operacional.
As despesas gerais de uma VM inteira podem ser consideráveis, enquanto os aplicativos do Docker não precisam replicar todo o sistema operacional, portanto, em teoria, você pode obter mais do seu ambiente de host.
Por outro lado, pode ser muito complicado fazer com que os aplicativos funcionem bem com o Docker devido ao isolamento do aplicativo.
Além disso, o Docker ainda não é executado no Windows (que deve ocorrer em breve), portanto também há limitações de plataforma.