Claro. As opções no grupo aplicam-se especialmente ao programa. Por exemplo, [mysqld] se aplica ao servidor mysqld, [client] option group é lido por todos os programas clientes, ...
Sobre a sua pergunta, sed pode inserir uma linha depois de encontrar o padrão, tente isto:
# sed '/\[mysqld\]/ a server-id=1' /etc/my.cnf
-
acomando significa acrescentar
Ele pode ser reescrito em duas linhas para facilitar a leitura:
# sed '/\[mysqld\]/ a\
> server-id=1' /etc/my.cnf
Você provavelmente deseja verificar se o server-id existe primeiro:
# [ $(grep -c server-id /etc/my.cnf) -eq 0 ] && \
sed '/^\[mysqld\]$/ a server-id=1' /etc/my.cnf