Não, podemos definir a exibição da barra de tarefas apenas em uma tela principal ou em todas as telas de exibição.
Podemos nos referir a Como ocultar ou mostrar a barra de tarefas em vários monitores no Windows 10
Para mostrar a barra de tarefas em algumas de nossas telas de exibição, não conseguimos encontrar as configurações relevantes nas configurações de exibição do Windows. Mas eu procuro uma ferramenta Dual Monitor Taskbar, podemos tentar ver se a ferramenta consegue atender as nossas necessidades: link