Depois de mais alguns problemas, descobri que ~/Library/Preferences/com.apple.finder.plist
tinha algumas referências à minha pasta ~/.ssh
que era suspeita. Eu devo ter, direta ou indiretamente, adicionado isso de alguma forma.
Eu fiz o backup do arquivo e excluí o .ssh/
desse arquivo e as coisas começaram a se comportar como esperado.
Eu também li algumas sugestões ao ter problemas com o Finder em relação à lixeira do arquivo completamente e deixar o sistema recriar o arquivo.