O comando de substituição de sed substitui todos os caracteres correspondentes na primeira seção por todos os caracteres da segunda seção, portanto você precisará de .* ou similar e agrupará apenas a parte a ser salva, como:
echo " ytmti (192.188.2.3) jjggy" | sed 's:^.*(\([^)]*\).*$::'
Note que eu uso [^)]* que evita codificar o IP e generalizá-lo para qualquer um deles. Isso produz:
192.188.2.3