A primeira coisa que você pode verificar é o tráfego através do firewall. Por favor, indique o resultado deste comando:
show int
show traff
show perfmon
para determinar qual tráfego causa seu problema.
Usando o CLI, não use o ASDM (e nunca o uso), isso aumenta a carga do seu ASA.