A sua versão do homebrew está atualizada? Certifique-se de executar brew doctor e brew update . Fiz uma pesquisa rápida usando brew search octave e consegui isto:
homebrew/science/octave
Portanto, existe nas fórmulas. Você pode encontrá-lo aqui no Github .