Você precisa escapar do .
like \.
. .
é um metacaractere especial que corresponde a qualquer caractere único.
$ sed 's/\./_/g' Group_RM
t_p@k_p
t_m@k_k
Em uma nota lateral, cat
não é necessário - sed
pode lidar com os próprios arquivos.