Não está claro se você está tentando excluir toda a linha com 123
ou substituí-la por linha vazia. De qualquer forma, basta adicionar âncoras de início ^
e final $
da linha ao seu padrão:
sed -i '/^123$/d' dummy.sh #delete whole line
sed -i 's/^123$//' dummy.sh #replace with empty line