Com um grep que suporta Expressões regulares estendidas e a opção -o :
grep -Eo '\x[[:xdigit:]]{2}' input | wc -l
Para atender ao requisito de command filename :
function counthex() {
grep -Eo '\x[[:xdigit:]]{2}' "$1" | wc -l
}
Como:
counthex input