Faça o loop sobre os arquivos pdf, use a expansão de parâmetro para extrair o nome da base:
#!/bin/bash
for pdf in *.pdf ; do
basename=${pdf%.pdf}
if [[ -f $basename.xls || -f $basename.xlsx ]] ; then
rm "$pdf"
fi
done
Atualização: Eu tenho a lógica para trás, deve ser corrigido agora. Desculpe.