Seu comando está dizendo ao PowerShell para copiar a pasta em si, com todo o seu conteúdo, para a pasta de destino. Para copiar apenas o conteúdo da pasta original, altere seu caminho da seguinte forma:
Copy-Item -Path "C:\FolderA\*" -Destination "C:\FolderB\" -recurse -Force -Verbose
Observe o asterisco (*) após o nome da pasta. Isso copiará o conteúdo (incluindo subpastas) da pasta, mas não a pasta em si para a pasta de destino.