A configuração TERM
informa ao programa de aplicativo quais recursos o terminal está se comunicando tem e como utilizar esses recursos (normalmente por meio de uma biblioteca como ncurses). Em português: diz quais seqüências de controle (seqüências de escape) deve enviar para mover o cursor para cima da tela, para alterar a cor do texto, como apagar uma região da tela, quais seqüências as teclas de função transmitem, etc. esses recursos podem estar faltando, como suporte a cores.
A maioria dos tipos de terminais em uso hoje está de alguma forma relacionada ao "grande papai" de "glass ttys", o DEC VT100. É por isso que os tipos de terminal são na maior parte intercambiáveis, então, configurar o tipo errado normalmente resulta em uma configuração mais ativa, mas com alguns problemas.
Então, para responder às perguntas "quais devo usar" e "o que acontece se eu usar a configuração errada"? Algumas sequências de controlo podem ser incompatíveis, isto é, o programa envia sequências de movimento do cursor que diferem daquelas que o emulador de terminal espera. Ou suporte a cores está faltando. (Btw. O VT100 original definitivamente não suportava cores ...) A configuração correta deve ser fornecida pela documentação do emulador de terminal, mas não há nenhum problema em experimentar para ver qual configuração funciona melhor. Não há problema em usar "linux" se funcionar para você.