Você pode usar a fórmula abaixo.
=IF([End Time]>TIME(17,0,0),TIME(17,0,0),[End Time])-IF([Start Time]<TIME(9,0,0),TIME(9,0,0),[Start Time])
Ele substituirá os Horários de Fim com as 17:00 e os Horários de Início às 09:00, se o Horário de Término for posterior às 5:00 ou o Horário de Início for anterior às 9:00. Se a Hora de início e a Hora de fim estiverem em lados diferentes da meia-noite (por exemplo, Início = 17:00, Fim = 04:00), será necessário ajustar a fórmula para compensar isso.