Die Orangerie wurde von Heinrich Hübsch zwischen 1853 und 1857 geplant und erbaut. Die stadtwärts gerichteten Portale sind versehen mit vier plastischen Arbeiten des badischen Bildhauers Franz Xaver Reich. Der Künstler studierte am Städelschen Institut Bildhauerei bei Johann Nepomuk Schelble. Am westlichen Portal befinden sich Personifikationen des Frühjahrs und des Sommers, am heutigen Zugang der Orangerie Darstellungen des Herbstes und des Winters. Den Herbst symbolisiert eine junge, barbusige Frau, umgeben von Weintrauben, den Früchten des Spätjahres, den Winter eine vermummte, ältere Person. Die Lünetten sind mit Fayencemalereien versehen, die für die damalige Zeit eine gestalterische Neuerung waren. In einer gegenständlich-figürlichen Bildsprache ausgeführt, symbolisieren sie die vier Weltteile. Sie wurden um 1857 vom Porzellanmaler Spelter nach Kompositionen der badischen Künstler Joseph Heinemann und Rudolf Gleichauf ausgeführt.