Dependendo do adaptador real, você deve ser capaz de fazer isso.
Como afirmado acima, os 4 pinos são usados para analógico, que não é usado em todos em HDMI. Eu acredito que eles podem ter colocado esses por engano, mas você não deve precisar comprar outro. Eu pessoalmente não removi os pinos, mas considerando que você precisaria de um adaptador powered para ir do Analog para o Digital, não deveria haver razão para isso.