Se tiver certeza de que pode ignorar as conexões TCP ou UDP abertas, uma vez que você mencionou que existem muitas delas, é possível usar a opção específica de dialeto de lsof -X
.
lsof -X
Leia a man page de lsof e procure por '-X' para informações detalhadas.