Eu tenho o mesmo problema no Ubuntu e nenhuma solução para o bug de marca de seleção.
No entanto, tentarei explicar o número inteiro estranho obtido da propriedade. É um campo de bits, onde cada camada recebe um valor:
Layer name | Layer Number | Mask value
Builtin Layer 0 | 0 | 1 << 0 = 1
Builtin Layer 1 | 1 | 1 << 1 = 2
Builtin Layer 2 | 2 | 1 << 2 = 4
Builtin Layer 3 | 3 | 1 << 3 = 8
Builtin Layer 4 | 4 | 1 << 4 = 16
Builtin Layer 5 | 5 | 1 << 5 = 32
Builtin Layer 6 | 6 | 1 << 6 = 64
Builtin Layer 7 | 7 | 1 << 7 = 128
User Layer 1 / 8 | 8 | 1 << 8 = 256
User Layer 2 / 9 | 9 | 1 << 9 = 512
...
(Parece que os nomes da camada do usuário podem começar em 1 ou em 8, dependendo da versão do Unity)
Você pode combinar esses valores, por exemplo, Builtin Layer 5
e User Layer 9
resultariam em 1 << 5 | 1 << 9 = 2^5 | 2^9 = 32 | 512 = 32 + 512 = 544
.
Leia mais sobre máscaras de camada na documentação.