Além de interpretar as escapes de barra invertida no estilo C, $'...'
funciona como uma string de aspas simples. Pelo menos o manual do Bash menciona isso, bem no final de a página em " Citações ANSI-C ":
The expanded result is single-quoted, as if the dollar sign had not been present.
Então, não. É provavelmente por isso que eles escolheram usar aspas simples para isso (ou o contrário), embora eu não saiba sobre o histórico do recurso.
Você terá que usar aspas duplas e alterar as aspas conforme necessário. ou seja,
$ myprogram "Hello $HOME"
ou com uma tabulação misturada
$ myprogram $'Hello\t'"$HOME"