Você pode fazer isso:
perl -i -pe 's/,(\t|$)/$1/g' file
Isso removerá qualquer vírgula seguida por um espaço, uma guia ou uma nova linha.
Para outros delimitadores de campo, por exemplo, :
, use:
perl -i -F: -lane 's/,$// for @F; print join ":",@F' file
Esses comandos alterarão o arquivo original , removerão o -i
para testá-lo primeiro.