A exclusão do diretório Downloads não deve causar erros.
Use os seguintes comandos para removê-lo e recriá-lo:
rm -r /home/username/Downloads
mkdir /home/username/Downloads
Substitua o nome de usuário conforme aplicável ou use o atalho ~
(tecla de til, no canto superior esquerdo do teclado) para substituir /home/username
, desta forma:
rm -r ~/Downloads
mkdir ~/Downloads
O Wiki da Ajuda da Comunidade Ubuntu tem uma boa visão geral dos comandos do terminal, se você for curioso para aprender mais sobre eles.