Use ${ } para anexar uma variável.
Sem chaves:
VAR="foo"
echo $VAR
echo $VARbar
daria
foo
e nada, porque a variável $VARbar não existe.
Com chaves:
VAR="foo"
echo ${VAR}
echo ${VAR}bar
daria
foo
foobar
Colocar o primeiro $VAR não é necessário, mas uma boa prática.
Para o seu exemplo:
#!/bin/sh
WEBSITE="danydiop"
/usr/bin/mysqldump --opt -u root --ppassword ${WEBSITE} > ${WEBSITE}.sql
Isso funciona para bash , zsh , ksh , talvez outros também.