I tried selecting them and deleting them, but Windows prompted me for administrator permissions to delete the programs themselves, and not the shortcuts.
Não, não funciona assim. Exclui o que você seleciona. E de acordo com a sua foto, você selecionou shotcuts, e é exatamente isso que vai deletar.
A menos que você tenha algum tipo de malware, vírus ou programa estranho que apague o atalho e qualquer coisa vinculada a ele, mas isso seria o primeiro para mim.
A exclusão de um atalho geralmente coloca o nome completo do programa ao qual ele está vinculado, o que pode ser confuso. Tente excluir apenas um e veja o que acontece com a pasta do programa.
How can I prevent them from being displayed on the desktop (or in Windows Explorer) without uninstalling them?
Exclua os atalhos e desmarque "colocar atalho na área de trabalho" durante a instalação (muitos programas têm isso).