IIRC, um memory_limit ilimitado não é suportado pela CLI (tentarei encontrar uma fonte para isso), mas por enquanto, tente passá-lo para o comando:
php -d memory_limit=128M my_script.php
UPDATE
Aparentemente eu estava sonhando com o memory_limit ilimitado não sendo suportado pelo php cli. Independentemente disso, parece que o valor do ini é ignorado. A solução mais simples deve ser configurá-lo especificamente no comando php que chama o script.
UPDATE2
Para responder à pergunta de onde vem o limite de memória, é mais provável que esteja sendo definido no próprio script usando 'ini_set'.