Quando você está digitando não, você está dizendo para não redirecionar para o diretório de widgets.
É por isso que, quando você digitou sim mais tarde, apagou-os.
Se você usar rm -rf Widgets
, ele não solicitará confirmação, mas você não terá uma segunda chance se digitar