Não deve haver diferença entre os comandos. Ambos executam exatamente a mesma coisa:
$ set -x ## turn on debugging info
$ /bin/grep ^'\<that\>' file.txt
+ /bin/grep '^\<that\>' file.txt
$ /bin/grep '^\<that\>' file.txt
+ /bin/grep '^\<that\>' file.txt
Como você pode ver acima, ambas as versões acabam executando exatamente a mesma coisa.
Dito isso, como regra geral, é sempre mais seguro manter toda a expressão regular dentro das aspas, então use:
/bin/grep '^\<that\>' file.txt
Enquanto neste caso não faz diferença, faz uma enorme diferença se sua expressão regular incluir um caractere significativo para o shell. Por exemplo:
grep ;'foo' file
Aqui, o shell interpretará o ;
como um caractere de controle e executará dois comandos: grep
(sem argumentos) e 'foo' file
.