Isso é chamado de bomba garfo .
:() significa que você está definindo uma função chamada :
{:|: &} significa executar a função : e enviar sua saída para a função : novamente e executá-la em segundo plano.
O ; é um separador de comando, como && .
: executa a função na primeira vez.
Essencialmente, você está criando uma função que chama a si mesma duas vezes a cada chamada e não tem como terminar sozinha. Ele continuará dobrando até você ficar sem recursos do sistema.
A execução no Virtualbox foi bastante sensata, caso contrário você precisaria reiniciar o computador.