De burenruzie over de tolpoort
In Doorn waren twee grootgrondbezitters: jonkheer Munter die op Huis Doorn woonde en zijn buurman baron d’Ablaing van kasteel Moersbergen. Deze heren kregen ruzie over het afsluiten van een schapendrift.
Vroeger liep er een schapendrift vanaf ‘Klein-Gerestein’ (waar nu een paardenmanege is) aan de Achterweg richting Rijksstraatweg (wat nu de Dorpsstraat is). Deze drift hoorde bij het landgoed Huis Doorn.
Jonkheer Munter liet in 1827 op de Dorpsstraat een tol bouwen die hij aan het rijk verhuurde. Daarmee werd de schapendrift afgesloten, waardoor Baron d’Ablaing vanuit Doorn niet meer onbelemmerd naar zijn kasteel kon komen. Baron d’Ablaing beklaagde zich daarover bij het gerechtsbestuur. Jonkheer Munter werd opgedragen de drift als openbare weg open te houden. Hij aanvaardde dit vonnis, maar stelde dat dan alle Doornaars vrij doorgang mochten hebben over deze weg. Het provinciaal bestuur maakte hier bezwaar tegen, omdat hierdoor de inkomsten van de rijkstol op de Rijksstraatweg mogelijk zouden dalen. Het gemeentebestuur wees dit bezwaar af omdat vrijwel niemand gebruik maakte van die bewuste schapendrift. De ontstane uitzichtloze situatie over de tolboom op de schapendrift was voor baron d’Ablaing reden zich te beklagen bij Gedeputeerde Staten van de provincie. Dit college besliste dat jonkheer Munter de baron een sleutel diende te geven om de tolboom zelf te kunnen openen en daarmee dus onbelemmerde toegang naar zijn kasteel had. Tevens moest voor alle anderen de tolboom op last van de koning gesloten blijven. Dit om de inkomsten van de rijkstol op de Rijksstraatweg te waarborgen.
Villa Buitenzorg, het huis dat op de plek stond van Berkenheuvel
Villa Buitenzorg was gebouwd in 1823 voor de plaatselijke ‘heel- en vroedmeester’ de heer Hartogh Suurhoff. Destijds werd het huis onder andere omringd door heide. Twee schapendriften vormden de buitengrenzen, de westelijke schapendrift is de latere Berkenweg geworden. Na de dood van Hartogh Suurhoff kwam Buitenzorg in 1869 in handen van gemeenteontvanger G. Boeschoten. Hij woonde vijf jaar op Buitenzorg en verkocht de mooie villa in 1874 aan de uit Rotterdam afkomstige E.J.W. Geelen. Die profiteerde optimaal van de in verkoop zijnde grond van Huis Doorn dat jaar en kocht kavels die aansloten bij de grond van zijn nieuw verworven huis, dat hij Berkenheuvel was gaan noemen. Het buiten Berkenheuvel had hij met deze actie aanzienlijk vergroot. Het grondgebied liep onder andere van de Gezichtslaan tot aan de Berkenweg en langs de Dorpsstraat.
In 1881 liet E. J. W. Geelen op het grondgebied een nieuwe villa bouwen in de Zwitserse chalet stijl en noemde het wederom Berkenheuvel. Bij dit huis hoorde een tuinmanswoning (nu Dorpsstraat 3) en koetshuis (nu Berkenheuvel 1).