Você precisa escapar do . like \. . . é um metacaractere especial que corresponde a qualquer caractere único.
$ sed 's/\./_/g' Group_RM
t_p@k_p
t_m@k_k
Em uma nota lateral, cat não é necessário - sed pode lidar com os próprios arquivos.