Quais mensagens você recebeu, algum erro? Você tentou sem a última barra em /srv/ para indicar especificamente o próprio diretório?
Como o teste simples confirma que funciona, mas não especifiquei um grupo:
root@server [/]# chown -R user1: /srv/
Talvez não exista nenhum grupo chamado 'user1' no seu caso? execute groups | grep user1 e veja se você tem esse grupo de usuários.