Wer in den Klostergärten wohnt, genießt eine Nachbarschaft von besonders romantischem Charme. Denn hier, wo die Geschichte der Stadt Ende des zwölften Jahrhunderts begann, zeugen wunderschöne Altbauten und historische Überbleibsel von der einstigen Bedeutung des Standorts. So verlaufen hinter den Klostergärten entlang der Waisenstraße die letzten Reste der alten Stadtmauer, die im Mittelalter die Doppelstadt Berlin-Cölln umschloss.

Fast verwunschen mutet auch die eindrucksvolle Ruine der frühgotischen Backsteinkirche an, die für das Graue Kloster des Franziskanerordens erbaut wurde und seither den Namen des Viertels prägt. Weitere prominente Nachbarn sind das imposante Alte Stadthaus und – direkt gegenüber den Klostergärten – die hübsche barocke Parochialkirche, deren Turmspitze bis zur Zerstörung im Zweiten Weltkrieg das berühmteste Glockenspiel Alt-Berlins beherbergte.