Mede daardoor kreeg hij de bijnaam “Toebaxman”, wat refereerd naar het verkopen van rookwaren in het café of de slijterij. Hij bouwde zijn herberg op een strategisch punt, namelijk langs de drukke route naar Amsterdam, net buiten de muren van Naarden-Vesting. De naam “Sandbergen” veranderde al gauw in “Jan Tabak”, die op de dag van vandaag nog steeds bestaat.
Na de dood van Jan Jacobsz in 1701 wordt het over de jaren door enkele familie overgenomen. Een van hen geeft de herberg op. De herberg wordt vanaf 1765 tot 1801 verhuurd en valt steeds in andere handen, maar de elkaar opvolgende eigenaren waren allen zeer ondernemend en de herberg wordt een zeer aantrekkelijk toevluchtsoord. De bloei van de herberg duurt tot in de Franse tijd, maar dan slaat het noodlot toe voor Jan Tabak. Napoleon maakt van Naarden zijn toevluchtsoord en hij brand alle huizen, bomen en struiken rondom de Vestingsstad plat en zo moest ook de herberg “Jan Tabak” op 8 december eraan geloven. Zo verdween na 126 jaar het eerste “Jan Tabak”.
Als de Fransen zich op 12 mei 1814 zich overgeven, kunnen de bewoners van het stadje Naarden beginnen met de heropbouw. De heropbouw van “Jan Tabak” moest echter nog even op zich laten wachten en tot 1826 moesten de bewoners het stellen zonder “Jan Tabak”. Niet op zijn oude plek maar op enkele honderden meters verder van Naarden af in Bussum, maar nog steeds aan de weg tussen Amsterdam en Amersfoort, werd “Jan Tabak” heropgebouwd.
In 1858 brandt het hele hotel onder zeer verdachte omstandigheden af en volgt er weer een periode zonder “Jan Tabak”. Deze periode duurt bijna 8 jaar, maar daarna bloeit “Jan Tabak” weer op, mede doordat het Gooi een toeristische trekpleister is wordt. Over de jaren heen wordt het hotel vaak verkocht en wordt er veel aan het hotel veranderd, het hotel werd verbouwd en er werden 4 tennisbanen aangelegd.
In 1937 wordt het 250-jarig bestaan van “Jan Tabak” gevierd. Ter gelegenheid van het jubileumjaar werd het hotel in een nieuw jasje gestoken. De aankleding van het interieur werd volledig gemoderniseerd. “Jan Tabak” is weer even beroemd als in de begin jaren, maar dit is niet van lange duur, want de Tweede Wereldoorlog komt er aan.
Tijdens de oorlog wordt het hotel door de Duitse bezetter gevorderd en op 30 maart 1945 wordt het hotel door de Engelsen gebombardeerd. Op 27 oktober 1945 na de oorlog kon “Jan Tabak” weer heropend worden. Het hotel was weer in de oude glorie hersteld en de exploitatie liep voorspoedig. Van 1952 tot 1962 wordt er veel verbouwd aan het hotel. Er komen onder andere nieuwe zalen bij, de keuken wordt verbouwd, er komt een personeelskantine, nieuwe entreé, enzovoorts.
In 1974 slaat het noodlot voor de zoveelste keer toe, wanneer de Rijksweg die voor zoveel klandizie had gezorgd, omgelegd wordt. Dit eist zijn tol voor het hotel en in 1977 wordt het hotel gesloten. Vervolgens wordt er in 1981 besloten om het hotel “Jan Tabak” te slopen en het zo eens mooie gebouw wordt met de grond gelijk gemaakt. In de tussenliggende 4 jaar werd er veel gesproken over de bestemming van de grond. Al deze plannen vonden geen doorgang, gelukkig maar, want er waren plannen voor het bouwen van een nieuw “Jan Tabak” in een moderne versie. In 1981 is er dan ook een nieuw “Jan Tabak’ onder de naam “Golden Tulip”. “Golden Tulip Jan Tabak” wordt een modern vijf-sterren hotel. In 1987 wordt het 300-jarig bestaan van “Jan Tabak” gevierd. Tot slot wordt in 2002 een gedeelte van de “Golden Tulip” keten overgenomen door “NH Hotels”, waar “Jan Tabak” een deel van was.
