roaima está correto; "aws s3 ls" é assim chamado para que as pessoas saibam o tipo de trabalho que faz (listar arquivos). Não é realmente o comando ls e apenas tenta se comportar da mesma forma em um nível muito superficial.
Eu acredito que a melhor maneira de fazer o que você quer seria escrever um script usando a API boto3; s3.client.list_objects () tem um argumento MaxKeys que você pode usar para limitar as recuperações dentro de um caminho.