De wijk Tolhuis dankt haar naam aan het tolhuis dat in 1839 aan de Teersdijk werd gebouwd. Deze dijk werd voor de 15e eeuw door de inwoners van Wijchen aangelegd om tijdens natte perioden het water afkomstig uit het Hatertse Broek en de Dukenburg te keren. Daarna zijn er vele disputen geweest tussen de inwoners van Hatert, die hun overtollig water kwijt wilden en dus de sluis in de Teersdijk zo snel mogelijk wilden openzetten, en de bewoners beneden die dijk, die de sluis zo lang mogelijk dicht wilden laten. De teersdijk was niet alleen de noordelijke begrenzing van het landgoed Duckenburg, maar ook de demarcatielijn tussen de gemeenten Hatert en Neerbosch.
In 1838 verkreeg de gemeente Nijmegen koninklijke goedkeuring tot het heffen van tol op deze belangrijke verbindingsweg. De tolgelden werden aangewend voor het onderhoud van het traject. Besloten werd de tolboom achter de laatste afslag naar Neerbosch te plaatsen, zodat inwoners uit dit dorp geen tol hoefden te betalen voor een reis naar de stad. Gemeente-architect Pieter van der Kemp tekende het tolhuis dat hier 1 jaar later werd gebouwd. Ruim bemeten was het niet. De eerste tolgaarder, een militair gepasporteerd wegens blindheid aan zijn rechteroog, had de beschikking over een overwelfde kelder met daarboven een woonruimte van nauwelijks vijf bij vijf meter. Vanuit het portaaltje voor zijn huis kon de eenogige ex-korporaal weg en slagboom in de gaten houden.

De tolgaarderswoning werd in 1853 uitgebreid met een tweede verdieping. Nu kon de tolgaarder zijn karig loon aanvullen door beneden een cafeetje te beginnen waar vermoeide reizigers zich konden laven aan bier en koffie. Vanaf 1866 werd de tol verpacht aan een particulier die tegen het genot van de tolgelden jaarlijks een vast bedrag aan de gemeente afdroeg. De tol werd ten slotte in 1908 opgeheven. Daarna deed het tolhuis nog dienst als tabakswinkel. Nadat het het Maas-Waalkanaal in 1927 wordt geopend en de Graafseweg de nieuwe doorgaande weg naar Grave wordt sluit de winkel. Het pand is gerestaureerd en heeft aan de oostkant in 1972 een aanbouw gekregen.