A la fin du XIVe siècle, Julien Lagorce traiteur pâtissier fait construire un hôtel particulier sur les ruines du Château de l'Hermine, ancienne résidence des Ducs de Bretagne. Il dut démolir les deux tours, seuls vestiges du château, pour implanter son hôtel
Dès 1802, le traiteur ruiné est contrant de vendre sa propriété à un négociant lorientais. Ce dernier termine les toitures ouest et les aménagements intérieurs. En 1876, l'Hôtel Lagorce est vendu à l'Etat. Il est alors transformé pour accueillir l'Etat Major de l'école d'artillerie. L‘aile Est subit quelques travaux afin d'être réaménagé en salles de cours : suppression de murs de refend et pose de poutrelles métalliques.
L'Hôtel Lagorce héberge de 1960 à 1974 la trésorerie générale. En 1975, il redevient propriété de la Ville et loge jusqu'à fin 2002 l'école de droit.
Depuis, il accueille la bibliothèque de la Société Polymathique du Morbihan, et différentes associations, dont Cin'Ecran qui organise chaque année les rencontres du cinéma européen.
Les salles du rez-de-chaussée ont été entièrement modernisées en 2006 pour accueillir différents types d'expositions.
