É seguro excluir
com.apple.dt.XCode
porque o Xcode recriará seus caches quando necessário (no entanto, pode levar algum tempo no primeiro relançamento, se o Xcode precisar baixar novamente alguma coisa).
Você deve não excluir o todo
~/Library/Caches
pasta, porque contém muitas preferências de aplicativos e não seria seguro excluir tudo.
Para ganhar mais espaço, você também pode excluir o conteúdo obsoleto de
~/Library/Developer/Xcode/iOS DeviceSupport/
(por exemplo, as versões antigas do iOS que você não usa mais).
Há também dados antigos do Xcode em
~/Library/Developer/Xcode/DerivedData
que você pode remover com segurança.