Você pode escapar de todos os sinais de dólar no documento here ou simplesmente citar a string de final de documento (que desativa todas as expansões dentro do documento):
cat > $BASEDIR/start.sh << 'EndOfMessage' # Quotes prevent expansions in the here-doc
cd $BASEDIR/
VER=$(ls | grep --exclude-dir="Spigot" "spigot" | sort -nr)
java -Xmx1024M -XX:MaxPermSize=128M -jar "$VER" -o true
sleep 5
echo "Restarting..." && bash $BASEDIR/start.sh
EndOfMessage