Ves s tvrzí se připomíná již roku 1229, kdy se podle ní psali Vicemil, Vlček a Jindřich ze Zvíkovce. V držení drobného statku se vystřídala řada majitelů, teprve v 15. a 16. století ho trvaleji drželi Zvíkovští z Brodů. Tento rytířský rod v roce 1543 přikoupil ke svému zvíkoveckému statku rovněž Chlum, při té příležitosti je zmiňován i zdejší pivovar a Zvíkovec je označován jako městečko. Majitelé Zvíkovce se od druhé poloviny 16. století střídali velmi často. V období třicetileté války bylo městečko vypáleno Švédy a jeho význam poklesl mimo jiné i proto, že zde vrchnost již trvale nesídlila. V roce 1656 se jako majitel zvíkovského statku objevuje Mikuláš Václav Braum z Miřetic, jeho nejmladší syn ho v roce 1737 prodává Františku Ladislavovi Nesslingerovi ze Schelchengrabenu. Období 18. století je opět dobou častého střídání vlastníků zdejšího panství. V roce 1809 kupuje statek jeho nejznámější držitel JUDr. Matyáš Kalina z Jäthensteinu, vášnivý archeolog.
