Ou com o perl:
perl -pe 's/(\d),(\d)/$1$2/g' infile.txt
que apenas remove todas as vírgulas que estão rodeadas por dígitos (\ d).
Presumi que remover mil separadores era a essência da sua tarefa - não em qual coluna as vírgulas estão localizadas.