Het uit 1592 daterende Gouverneurshuis is een van de fraaiste panden in de vesting Heusden. Het was ooit de pastorie van de N.H. kerk en werd later de ambtswoning van de gouverneur van de vesting. Nu is het Gouverneurshuis dé plaats die de geschiedenis van Heusden en omstreken tot leven laat komen met de eigen vaste connectie en verrassende wisselexposities.