Para elaborar a resposta anterior com alguns exemplos.
Pode ser ao tentar criar pastas dentro de pastas do sistema:
ubuntu:~$ mkdir /proc/test
mkdir: cannot create directory ‘/proc/test’: No such file or directory
ubuntu:~$ mkdir -p /dev/null/test
mkdir: cannot create directory ‘/dev/null’: Not a directory
Ou quando você não tem permissão para a pasta anterior:
ubuntu:~$ mkdir -p /root/test
mkdir: cannot create directory ‘/root’: Permission denied
Ele também falhará se houver um arquivo com o mesmo nome na pasta:
ubuntu:~$ touch /tmp/test
ubuntu:~$ mkdir -p /tmp/test
mkdir: cannot create directory ‘/tmp/test’: File exists