De acordo com a documentação do docker :
The cp command behaves like the Unix cp -a command in that directories are copied recursively with permissions preserved if possible.
Isso significa que docker cp
copia arquivos recursivamente por padrão.