Olhando apenas sua primeira fórmula, há muitos argumentos:
=IF(OR(F17="",H16-F17),E17="",0,H16+E17))
A instrução IF () tem apenas três partes: o teste lógico, o valor, se verdadeiro, e o valor, se falso.
Se, por exemplo, você estiver tentando testar se F17 ou E17 está em branco e, em seguida, executar uma adição ou uma subtração com base nesse teste, ele deve ser escrito assim:
=IF(OR(F17="",E17=""),H16-F17,H16+E17))
Aqui, a função OR () tem dois argumentos e serve como teste lógico. Se F17 ou E17 estiver em branco, o resultado será H16-F17. Se nenhum dos dois estiver em branco, o resultado será H16 + E17.
Pode ser útil explicar o que você está tentando fazer em palavras, como fiz acima para a instrução IF ().
EDIT: Relendo o título da sua pergunta, parece que você pode estar tentando construir uma instrução aninhada IF (). Nesse caso, o valor-se-verdadeiro ou o valor-se-falso (ou ambos) pode ser outra instrução IF (). Aqui está um exemplo:
=IF(LogicalTest1,IF(LogicalTest2,ValueA,ValueB),ValueC)
Aqui, se LogicalTest1 e 2 forem ambos TRUE, o resultado será ValueA. Se LogicalTest1 for TRUE e 2 for FALSE, o resultado será ValueB. Se LogicalTest1 for FALSE (independentemente do LogicslTest2), o resultado será Value3.
Algo ao longo destas linhas pode dar o que você está procurando.