Schon im 16. Jahrhundert besass die Stadtzürcher Familie Keller an diesem Standort drei Jucharten Reben. 1591–1621 in den Archivalien als Eigentum von „Amtmann Keller“ ausgewiesen, gingen sie nach dessen Tod an seine Tochter Magdalena († 1658) über, welche sie dann in ihre zweite Ehe mit Hans Conrad Ott (1587–1652) einbrachte.
Um 1680 errichteten deren zwei ledige Töchter Anna († 1691) und Catharina († 1694) darauf – wahrscheinlich anstelle eines Vorgängerbaus – ein steinernes Trottgebäude mit aufgesetzten Wohnräumen, welches sich bis heute auch nach diversen Gebäudeerweiterungen des 18. Jahrhunderts immer noch am bestehenden Bau ablesen lässt.
Der den verstorbenen Eltern gewidmete Schlussstein des von aussen zugänglichen Rundbogentors zum Trottkeller zeigt in reichen Barockkartuschen die Wappen und Initialen von Hans Conrad Ott (HCO – ST.B [Statthalter des Johanniterhauses in Bubikon 1627–1643]) und seiner Frau Magdalena Keller (MK).