Il palazzo storico monumentale venne costruito alla  fine del 1300 accorpando piccoli lotti di botteghe artigiane, per volontà di Agnolo di Ghezzo della Casa, commerciante di stoffe, ambasciatore a Bologna e Ferrara, Capitano di Pistoia e Pisa.