Já encontrei situações em que ClientAliveCountMax
impede que a conexão seja desconectada. Eu aconselharia as seguintes configurações:
# ClientAliveInterval is in seconds
ClientAliveInterval 3600
ClientAliveCountMax 0
Isso fechará a conexão após 1 hora se ocioso.