Quais mensagens você recebeu, algum erro? Você tentou sem a última barra em /srv/
para indicar especificamente o próprio diretório?
Como o teste simples confirma que funciona, mas não especifiquei um grupo:
root@server [/]# chown -R user1: /srv/
Talvez não exista nenhum grupo chamado 'user1' no seu caso? execute groups | grep user1
e veja se você tem esse grupo de usuários.