Você não pode conceder um novo grupo para um processo em execução. Você precisa fazer login novamente para obter um processo com as associações de grupo alteradas.
O que você pode fazer é lançar o nautilus a partir de uma sessão diferente, mas exibi-lo em sua tela existente, algo como
ssh localhost "DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY nautilus &"