Velkopřevor Jan z Rožmberka (1484-1532) byl prvním pánem města, za jehož působení vznikaly kamenné hradby v půlkruhu na severu města a jejich význam byl zesílen příkopem. Na východní straně se do města vcházelo Pražskou branou, západním směrem bylo možné vejít branou Horažďovickou. Uprostřed severní části hradební zdi byla malá branka – „fortna“, kterou dnes v těch místech připomíná nákupní středisko Fortna v ulici Na Stráži. Hradby města byly zpevněny několika baštami, zbytky jedné z nich je možné najít poblíž Rennerových sadů.