Eu olhei no arquivo de configuração do compton e havia algo assim:
clear-shadow = true; # Zero the part of the shadow's mask behind the window (experimental).
Experimental você diz? Então, eu configurei isso para false, e agora eu tenho janelas arredondadas muito bonitas com sombras:
Há também outra maneira de corrigir o problema. Você pode definir as seguintes opções na configuração do compton:
clear-shadow = true;
shadow-ignore-shaped = flase;