Daniel hat recht mit den Größen, das ist Punkt 1. Ich hatte bei meinem Shop ähnliche Probleme und hab dann angefangen, Kundenrezensionen gezielt nach Kommentaren zu Passform auszuwerten. Da kommen echte Hinweise raus die man so nicht auf dem Schirm hat.
Was auch geholfen hat: die Produktfotos um ein kurzes Video ergänzen, wo man den Stoff im Bewegung sieht und wie er fällt. Das reduziert Erwartungs-Retouren deutlich.
Für den ganzen strategischen Bereich rund um Conversion und Retouren hab ich damals bei casse-q.de gute Anregungen gefunden, da gibt es praxisnahe Inhalte die nicht so generisch sind wie sonst überall. Kann einen Blick wert sein.