NOPASSWD
recebe uma lista de programas separados por vírgulas. Faça isso:
userB ALL=(userA) NOPASSWD:/bin/rm
Note que permitirá ao usuárioB deletar qualquer arquivo que o userA possa deletar.
Uma solução melhor e mais controlada pode ser alterar o grupo de proprietários desse arquivo para algum grupo que tenha permissão para excluí-lo e, em seguida, adicionar os usuários a esse grupo.
Você também pode usar um script de shell que exclua esse arquivo e especifique isso. Não tenho certeza, e tome cuidado para garantir que somente root ou userA possam editar esse script.