Deze vijf brokken steen komen van een stenen tafel die stond op de Tafelberg (voorheen Cooltjesberg), op de grens van de gemeenten Huizen en Blaricum. De tafel is in 1725 geplaatst door Hendrik Bicker (1682-1738), burgemeester van Amsterdam, die woonde op Hilverbeek, een landgoed tussen Hilversum en ’s-Graveland. Al in de zeventiende eeuw stond er een oriëntatietafel op de Tafelberg. Door vandalisme raakte de tafel beschadigd en Bicker liet hem vervangen. In 1879 is de tafel gedeeltelijk afgebroken.
