Tente usar awk :
awk '$2 !~ /^22696$/' file
Este comando verifica o segundo campo ( $2 ; espaços como delimitador por padrão) para correspondência exata ( /22696/ ) da posição inicial ( ^ ) até a posição final ( $ ) e resultado invertido ( ! ).
Ou mais simples (obrigado RomanPerekhrest ):
awk '$2!=22696' file
Para editar com segurança seu arquivo de log que pode ser grande, tente usar este conjunto de comandos:
mv file{,.backup} && awk '$2!=22696' file.backup > file
Depois disso, você pode precisar alterar as permissões de arquivo com chmod .