Tente regexps padrão (em vez de perl
regexps). Isso imprimirá as linhas correspondentes:
awk '/\[[[:digit:]]+\]/ { print }' maillog
Para extrair e imprimir o valor correspondente dentro dos colchetes:
awk 'match($0,/\[[[:digit:]]+\]/) { print substr($0,RSTART+1,RLENGTH-2)}' maillog