Višnja gora je dobila mestne pravice 1478. Tedaj so jedro naselja preložili na sedanje mesto, nekaj prejšnjih hiš na Starem trgu pa so rušili še 1554/55. Obzidje mesta so 1559/60 izboljšali. V arhivskem gradivu iz 16. stol. se omenjajo: dvoje večjih mestnih vrat z mostoma, ena mala vrata, šest obzidnih stolpov, rotovž, zapor v mestnem stolpu, šola, vodnjak, dve do tri mesnice, mestni zelniki, kašče, mlini itd. Stanovanjskih hiš je bilo okrog sto, toda niso bile vse naseljene. Prebivalcev je bilo okrog 500. Skoraj vsi so bili domačini in Slovenci.