Você não pode avaliar D4
em relação a vários valores dessa maneira. Você tem que usar AND()
assim:
=IF(D4>(0.2*D3),0,IF(AND(D4>(0.15*D3),D4<(0.1999*D3)),0.0035,IF(AND(D4>(0.1*D3),D4<(0.1499*D3)),0.0054,IF(AND(D4>(0.05*D3),D4<(0.0999*D3)),0.0064,))))
Caso contrário, tudo ficará bem (parênteses são balanceados, não há erros de sintaxe, etc.).