Construit au-dessus de caves voûtées datant du Moyen-Âge, ce pavillon abrite la salle des mariages et la salle du conseil municipal et accueille ponctuellement des expositions.
Datant du début du XIXème siècle, le pavillon se situe sur l’emplacement de la tour originale. La bâtisse a été occupée par Jean Naly durant son mandat de Maire, de 1888 à 1893. Il fut ensuite la résidence d’Antoinette Delorme, religieuse à Vallard, qui le vendra en 1923 à Louis-Alphonse, Prince de Bourbon. Le bâtiment sera ensuite occupé par les troupes ennemies pendant la Seconde Guerre mondiale, avant de connaître un court usage gastronomique.
En 1993, le Conseil municipal décide d’acquérir le château qui devient la mairie-annexe. Une roseraie l'enserre.
En 2015, le "Château" prend le nom de Pavillon Stéphane Hessel, en l'honneur de l'écrivain et résistant qui était venu à Gaillard en 2010 pour une conférence.
Il accueille désormais des expositions temporaires et les différentes salles sont proposées à la location pour des événements privés.