Você não pode escapar de uma aspa simples entre aspas simples. Mas você pode justapor várias strings entre aspas e elas serão concatenadas. Portanto, use apenas aspas simples para a parte que não contém uma única citação e, em seguida, anexe uma única citação que escapou com \
, assim:
mkdir '$"dollars"&<>/dogs'\'