Se você quiser agrupar partes de um regex, use \(\) ou use a sintaxe de expressão regular estendida fornecendo a opção -E para sed .
No seu caso, não é necessário, já que durante todo o jogo você pode usar & no substituto:
sed 's/.*/<a href="&"><\/a><br>/' myfile.txt
Observe que você também pode descartar ^ e $ , pois o * ganancioso faz a correspondência cobrir toda a linha.