Sim, você pode. Normalmente, um programa antivírus adequado interceptará essas tentativas. Obviamente, os navegadores não têm "backdoors / vulnerabilidades", mas podem existir mesmo assim. Quando uma vulnerabilidade desse tipo é encontrada por um hacker ou outro usuário mal-intencionado, essa vulnerabilidade pode ser explorada para infectar o visitante da página da Web.
Se algo pudesse ser feito 100% seguro, não haveria necessidade de programas antivírus. Há sempre alguma solução criativa que pode ser encontrada para infectar as pessoas de qualquer maneira e tal exploração só pode ser corrigida depois que ela for descoberta.
É como digitar um livro inteiro no teclado, sem verificar erros de digitação. Você só descobrirá seus erros quando começar a ler / revisar o que digitou. A leitura, neste caso, seria apenas "usar" o navegador.
A maioria das explorações está em plugins de terceiros (como Flash, plug-ins de leitor de PDF, mídia etc.), portanto, os mantenedores do navegador não têm controle total sobre o que é executado no navegador. É como ter uma casa construída por 4 empreiteiros diferentes que não sabem exatamente o que os outros estão trabalhando ou como estão fazendo ...