Dieses Haus ist in mehrerer Hinsicht einzigartig: Es ist nicht nur das älteste, nicht-kirchliche Bauwerk in Hitzacker sondern auch eines der größten noch erhaltenen Fachwerkhäuser im Wendland. Und: Hier fließt schon im 13. Jahrhundert viel Geld in öffentliche Kassen.
1589 wird das Alte Zollhaus mit seinen drei Stockwerken fertiggestellt. Doch während heute Autos über das Kopfsteinpflaster vor dem Zollhaus fahren, konnten damals die Elbschiffe direkt an dem Amtsgebäude anlegen. Zollhaus und Zollhof lagen an einem Wasserlauf, der die beiden Jeetzelarme verband. So konnten zollpflichtige Waren, von der Elbe kommend, direkt am Zollhaus abgefertigt werden.
1668 übersteht das Zollhaus einen Großbrand, der alle benachbarten Häuser und die Johanniskirche zerstörte.
Zu Beginn des 18. Jahrhunderts wird das Zollhaus erweitert. 1872 wird die Zollpflicht abgeschafft, das Zollhaus wird Sitz des Königlichen Wasserbauamtes. 1958 hält dann das Wasser- und Schifffahrtsamt Einzug. Auch einige Bedienstete haben hier ihre Wohnungen.
Seit 1980 ist das Alte Zollhaus Eigentum der Stadt Hitzacker und wird – seit den ersten großen Umbauten 1985/1986 – als Museum und Veranstaltungsort genutzt. Träger des Museums ist der Heimat- Museumsverein Hitzacker und Umgebung e.V.