Talvez algo como:
ls -l | perl -pe 'BEGIN{@color=(0,2,3,1,5,4)}
s{((?:\S+\s+){4})(\d+)}{"$1\e[3" .
$color[log($2||1)/log(2)/10] . "m$2\e[m"}e'
Para preto (ou qualquer que seja a cor de primeiro plano padrão no seu terminal) para tamanhos de 0 a 1023, verde de 1k a 1M, amarelo de 1M a 1G, depois vermelho, roxo, azul.
Editar . Com base nos seus requisitos editados:
ls -l | perl -pe 's{^((?:\S+\s+){4}\d*)(\d{3})(?=\d{3})}
{$1\e[31;1m$2\e[m}'