O caractere 'é um caractere muito poderoso sempre que usado em qualquer comando shell. Basicamente, o '(marcas de apóstrofo) desativa todos os tipos de transformações ou modificações. Ele consideraria o que está entre as marcas como uma entidade única, ou seja, um único parâmetro. Absolutamente nenhum tipo de substituição ou expansão aconteceria.
Exemplo:
$ echo '$HOME'
produziria na saída a string $HOME
em si e não imprimiria o caminho para o seu diretório pessoal. Como aspas simples previnem qualquer tipo de expansão, substituição e simples consideram o que quer que esteja presente como um parâmetro simples em si mesmo.
Se você quiser usar o apóstrofo como é, terá que escapar dele:
$ mkdir foo\'bar
$ cd foo\'bar
Se não for escapado, ele esperará que seu par seja fechado, como aconteceu no seu primeiro exemplo.
Então, corrigido, seu comando será:
$ export foo\'bar=1
NOTA: Como Milan Todorovic notou, isso não será válido, porque você não pode usar apóstrofo nesse caso.