Você não inicializou tlmgr . Tente primeiro
tlmgr init-usertree
e depois
tlmgr install amsmath
Se isso não funcionar, não é sua culpa, mas você terá que ser paciente: veja as postagens n.3 e 4 em este relatório de bug , e você terá que esperar por uma correção. No meu instável Debian, eu não tenho esse tipo de bug, e o tlmgr funciona perfeitamente.