Seit in Höngg Reben bezeugt sind, gehörte immer ein Teil davon einzelnen Familien der Stadt Zürich. Um 1800 waren 16 von 168 Häusern und ein Sechstel aller Höngger Rebflächen im Besitz von Stadtbürger-Familien.
Diese Zürcher Bürger bauten oft in ihren Reben eigene Trotten (erstmals belegt 1321) und fügten diesen später einzelne Wohnräume hinzu und sogar ganze Wohnhäuser. In diesen „Landsitzen“ nahm im 17./18. Jahrhundert während der heissen Sommermonate manche „bessere“ Familie aus der Stadt Einsitz.
Der 1740 am stadtseitigen Dorfrand vom in Höngg als Pfarrerssohn aufgewachsenen Goldschmied Johann Caspar Ulrich (1703-1778); erbaute „Weingarten“ ist eines der schönsten Beispiele für diese bürgerliche Sommerresidenz-Tradition. Joh. Caspar Ulrich war von 1750 bis 1777 Gerwe-Zunftmeister und amtete 1753 als städtischer „Bauherr“, worauf sich auch die nahegelegene Bauherrenstrasse bezieht.
Anfänglich befanden sich unter demselben First wie das gemauerte Wohnhaus auch Scheune, Stallungen sowie Keller und Trotte. Aus der Gründerzeit stammen auch das 1740 datierte Eingangsportal, der wappengeschmückte schmiedeiserne Balkon wie auch die grotesken Wasserspeier an den Hausecken.
Nach verschiedenen Handänderungen und baulichen Veränderungen innen und aussen im Jahrhundertverlauf, bei denen insbesondere die in Holz erstellte Scheune durch einen gemauerten herrschaftlichen Wohnteil ersetzt wurde, ging der „Weingarten“ 1974 in den Besitz der Stadt Zürich über.