Você pode ser capaz de passar um sinal, mas espero que isso não funcione muito bem. Para curtas distâncias, as economias são pequenas e, para longas distâncias, os problemas serão amplificados.
O cabo CatX é projetado para ter baixo cross-talk, torcendo os pares para cancelar a interferência. O cabo coaxial é projetado para proteger o núcleo interno, aterrando o núcleo externo.
Você também terá dificuldades para prensar o cabo.
É possível usar um dispositivo ativo para usar ethernet em Coax - em distâncias maiores, então você pode entrar em Cat5 regular, mas isso é usando tecnologias para mudar o sinal (ou seja, fazendo conversão digital - analógico - digital.