Não sei exatamente o que você está tentando capturar, mas
$ sed 's/\title{\hypertarget\({[^}]*}\).*/&\n\addcontentsline/' file
something
\title{\hypertarget{A64L}{A64L(3)}}
\addcontentsline{A64L}
something
\title{\hypertarget{MALLOC}{MALLOC(3)}}
\addcontentsline{MALLOC}
something
\title{\hypertarget{STRCMP}{STRCMP(3)}}
\addcontentsline{STRCMP}