Acredito que isso ocorre porque as adições ao convidado do VirtualBox 5.2.6 estão quebradas, como mencionado no site do VirtualBox :
Important: The Guest Additions which come with VirtualBox 5.2.6 and 5.1.32 do not work properly on Linux guests with 3D enabled. Here are updated versions for 5.2.6 and 5.1.32.