O período .
e o asterisco *
como metacaracteres de expressão devem ter escape para tratá-los literalmente:
Exemplo de arquivo de entrada:
$ cat input.txt
ServerAlias *.mysite.com
sed 's/ServerAlias \*\./&xx/' input.txt
ServerAlias *.xxmysite.com