Para clientes do Windows 10, use Get-SmbConnection
do PowerShell com direitos de administrador. Tem campos extras que não são mostrados no formato de tabela padrão, mas podem ser solicitados pelo nome:
Get-SmbConnection | ft ServerName,ShareName,Encrypted
Para clientes Linux usando o módulo cifs do kernel (montagens do sistema de arquivos do kernel), acho que isso deve estar disponível no arquivo /proc/fs/cifs/DebugData
junto com outras informações, mas não está realmente lá ou pelo menos não é óbvio. Veja o parágrafo smbclient abaixo.
Para clientes Linux que usam a biblioteca userspace smbclient (incluindo os caminhos smb: // do GNOME), não existe uma maneira fácil de saber. Eu executaria uma captura de pacotes usando o Wireshark e veria o que acontece quando eu leio um arquivo - a diferença entre pacotes SMB simples e criptografados é facilmente visível.