Bei der Größenordnung die du nennst würde ich auf jeden Fall Hotgang/Kaltgang-Trennung als absolute Basis einplanen, falls das noch nicht gesetzt ist. Klingt trivial, aber viele unterschätzen wie viel das alleine schon bringt.
In-Row-Kühlung macht bei 5-10 kW pro Rack durchaus Sinn – du bringst die Kühlung nah ans Equipment und vermeidest Mischluft. Reine Raumkühlung reicht ab ca. 5 kW aufwärts eigentlich nicht mehr zuverlässig. Flüssigkühlung wäre bei eurer Dichte noch etwas oversized, das zahlt sich eher ab 20+ kW pro Rack richtig aus.
Was oft vergessen wird: redundante Kühlpfade (N+1 mindestens) und das Thema freie Kühlung (Economizer). Gerade in deutschen Klimazonen kann man einen erheblichen Teil des Jahres mit Außenluft oder Kältemitteln ohne Kompressor arbeiten, das spart ordentlich Strom.