Nesse caso, : não é um comando, é o nome de uma função que você está definindo. O comando :(){ :|:& };: é o que é chamado de "forkbomb" - é uma seqüência de comandos que define uma função chamada : , diz ao shell que a função consiste em chamar : , canalizar a saída para outra instância de : e baseando a segunda instância. A seqüência final ;: finaliza a definição da função e a chama. Cada chamada para : resulta em mais duas cópias de : sendo executadas, tão rápido quanto o shell pode gerá-las.
Isso resultará no uso de todos os recursos do sistema, o que levará ao sistema a abrandar ou a falhar se não houver um limite de processo definido.