Depende da distribuição. O Linux mais antigo que estou agora permite (eu acho, não testei :-)) e declara em man rm :
--no-preserve-root do not treat '/' specially (the default)
--preserve-root
fail to operate recursively on '/'
Em muitas distribuições recentes, você precisa adicionar explicitamente --no-preserve-root para desativar a proteção. Caso contrário, ele não será executado.
Em relação ao Ubuntu, veja este problema onde esse comportamento é discutido.
A história dessa proteção de acordo com Wikipedia :
Sun Microsystems introduced
rm -rf /protection in Solaris 10, first released in 2005. Upon executing the command, the system now reports that the removal of/is not allowed. Shortly after, the same functionality was introduced into FreeBSD version ofrmutility. GNUrmrefuses to executerm -rf /if the--preserve-rootoption is given, which has been the default since version 6.4 of GNU Core Utilities was released in 2006.