Estou usando o GNOME 3.10 mais recente no fedora 20 e StartupWMClass=VirtualBox
parece fazer o truque.
Talvez tenha sido corrigido desde o momento em que você fez a pergunta?
De qualquer forma, o VirtualBox ainda tem uma desvantagem - todas as janelas têm o mesmo WM_CLASS. Então, se você estiver executando várias máquinas, elas serão agrupadas. Eu enviei um relatório de bug para isso: link . Esperamos ver isso resolvido em breve.