A exclusão de um arquivo (ou diretório vazio) requer acesso de gravação ao diretório pai, que você tem como proprietário.
A exclusão de um diretório não vazio exige que você esvazie o diretório primeiro, o que não é possível, pois você não tem acesso de gravação a esse diretório (como foi criado por outros usuários).
Então, você precisa usar sudo
para obter acesso root para excluir esses diretórios.