Depende do que você quer dizer com "seguro".
O VirtualBox é uma maneira de abstrair o hardware por meio da virtualização completa (é um hypervisor tipo 2: link ). Por isso, fornece um grau de proteção contra qualquer vírus em execução no sistema operacional convidado. Até que ponto você está seguro, é provável que você seja paranóico, mas o sistema operacional do seu host provavelmente não será afetado por nenhum vírus que você encontrar nos convidados.
Em resumo, você está bem seguro.