O comando R é desnecessariamente complicado, por exemplo, você não precisa de paste neste exemplo. As aspas duplas estão muito estranhamente posicionadas e o comando sed está incorreto. Aqui está a correção:
system('sed "s/\.//" < map1.txt > map.txt')
Observe que o \ é necessário, em vez de simplesmente \ , devido à maneira como R interpreta strings.