O operador !
retorna verdadeiro quando uma condição é falsa.
Assim, enquanto -perm 0644
corresponde a arquivos que possuem permissões rw-r - r--, ! -perm 0644
corresponde àqueles que não têm essas permissões.
O comando que você precisa é:
find /path/to/dir/ -type f ! -perm 0644 -print0 | xargs -0 chmod 644