A partir de 1528, le comté du Genevois se rapproche de la France et de son roi. Au même moment, Charlotte d'Orléans, épouse de Philippe de Genevois-Nemours, fait édifier le "logis Nemours". Il s'inspire du style de la Renaissance de l'Île de France.
Charlotte d'Orléans, épouse de Philippe de Genevois-Nemours et veuve dès 1533, décide de faire construire un nouveau logis au château d'Annecy. Placé dans l'alignement du Vieux Logis, il s'en distingue néanmoins par son statut de résidence élégante et confortable qui s'inspire du style Renaissance de l'Île de France. Charlotte d'Orléans (1512 † 1549), fille du duc de Longueville Louis 1er, et de Jeanne de Bade, avait dû connaître le développement de cette nouvelle architecture dans l'entourage de la cour du roi de France.
Le logis Nemours se distingue des autres logis par l'attention que les tailleurs de pierre ont apporté à la finition des blocs dont le parement régulier produit un bel effet. Conformément aux édifice de l'Île de France dont il s'inspire, le logis Nemours se caractérise par le renforcement des lignes horizontales et la régularité des ouvertures. Un bandeau souligne délicatement chacun des étages et les meneaux des baies sont soigneusement ouvragés tandis que l'échauguette à l'angle du bâtiment rappelle les constructions dans les châteaux de l'Île de France. L'échauguette d'angle n'est plus une tour de guet comme au Moyen Âge. Elle est présente pour rehausser le décor de la façade. A l'intérieur, elle a généralement comme usage d'être un petit cabinet, petite pièce intime située à l'écart d'une pièce principale.
Un seul archaïsme subsiste dans le soubassement du logis Nemours sous la forme d'une saignée taillée dans le rocher et qui permet de récupérer l'eau de pluie et de la diriger dans le puits de l'enceinte du château.
L'intérieur était composé de grandes salles formant les chambres et les antichambres de Monsieur et de Madame. Mais on ne peut les localiser précisément. Au premier étage, une frise peinte a été découverte en 1906 et préservée.