Para remover algo de um diretório, você precisa ter acesso de gravação ao diretório. Portanto, no seu caso, o usuário joe deve poder remover qualquer coisa de test , mesmo que isso pertença a admin .
EDITAR:
Com o rm normal, você receberá um aviso como: remove write-protected file... ? e precisará responder y . Com rm -f você se livrará do aviso.
Mas, de qualquer forma, admin não pode remover esse arquivo.