O caractere ' de aspas simples no seu exemplo echo obtém o valor literal (e perde seu significado), contido entre aspas duplas ( " ). Os caracteres anexos são as aspas duplas.
O que você pode fazer é imprimir aspas simples separadamente:
echo "'"'$a'"'"
ou escape do $ :
echo "'\$a'"