Visibles depuis le lac d'Annecy, le logis et la Tour Perrière dominent l'ancienne route des Alpes, l'actuelle côte Perrière. La tour Perrière conserve encore sa couronne de mâchicoulis et ses archères dirigées sur le faubourg et la porte Perrière.
Philippe de Savoie, prince apanagé, fils d'Amédée VIII de Savoie, est à l'origine du chantier de construction de la Tour et du logis Perrière. Pour le rendre possible, on a agrandi l'enceinte castrale. Le chantier est en cours en 1445. Il s'achève sous le rège de Janus de Savoie à la fin du 15e siècle.
Le logis abritait l'administration de l'apanage du duc de Genevois-Nemours. Une salle de réception utilisée notamment pour les repas des officiers est attestée par des documents d'archives. A côté se trouvait une chambre de parement tandis qu'au rez-de-chaussée se tenait la "Maistrie et recepverie des comptes" jusqu'au moment de l'installation de la Chambre des comptes au Palais de l'Ile vers 1550.
A l'intérieur, au second étage, un décor peint par un artiste anonyme au-dessus d'une cheminée, présente dans un cartouche, une vue du lac, de la ville et du château qui peut être considérée comme la plus ancienne repésentation de ce motif. Dix-sept couches d'enduit peint ont été mises au jour sur les murs de cette pièce lors de la restauration du logis (1988-1990) laissant entrevoir les décors successifs de cette pièce du 15e au 20e siècle.