Sim, eu instalei na minha máquina debian squeeze tanto o VMWare Player quanto o VirtualBox OSE, não há problema de incompatibilidade entre eles.
Eu só nunca executo uma máquina virtual com o VirtualBox e outro com o VMWare Player ao mesmo tempo, para problemas relacionados ao desempenho, mas sim eles podem ser instalados juntos no mesmo sistema e sem etapas especiais a seguir.