O Time Machine precisa de uma partição formatada como Mac OS X Extended (Journaled) para ser feliz e fazer o seu trabalho.
Não tenho certeza se há uma boa maneira de convencer o Time Machine de que uma pasta é uma partição desse tipo sem nenhum truque. Além disso, o Time Machine utiliza uma unidade completamente, assume que o volume inteiro é dedicado a si mesmo.
Este guia usa um pacote esparso para impedir que o Time Machine exceda um determinado uso em um volume da rede. Isso pode ser aplicável à sua situação: