Pelo que entendi, você quer
awk '{
count=0
for (i=2; i<=NF; i++) if ($i < 3) count++
if (count < 5) print
}'
Para cada linha, defina um contador como zero. Então olhe para cada campo (coluna) diferente do primeiro (o Gene ID), e, se for menor que 3, conte. Então, se a contagem for menor que cinco, imprima a linha. Se cinco ou mais colunas tiverem valores menores que 3, pule a linha (isto é, apague-a).
Se você precisar recolher isso em uma única linha,
você deve adicionar ponto e vírgula ( ;
) após as instruções
(isto é, onde as quebras de linha estão na versão acima):
awk '{ count=0; for (i=2; i<=NF; i++) if ($i < 3) count++; if (count < 5) print; }'