Počátky výstavy kaple sv. Anny při cestě z Horažďovic na Svaté Pole jsou neodmyslitelně spjaty s lázeňstvím a existencí údajně léčivého pramene, jenž vyvěrá ze skály pod tímto svatostánkem. Obliba lázeňství byla známa již ve starověku, ve středověku ale poněkud ochabla a nové síly nabyla až v novověku.
Podnět ke stavbě kaple na Svaté Anně přišel od horažďovických měšťanů. Původní barokní objekt byl postavený mezi léty 1698 až 1700 a kaple byla zasvěcena sv. Jáchymovi a sv. Anně. Až v polovině 18. století se jí začalo říkat pouze kaple sv. Anny. Významné postavení tohoto místa dokládá i snaha založit u něj faru, a to v 80. letech 18. století, nakonec však z tohoto záměru sešlo a správa nad kaplí byla svěřena kostelu sv. Jana Křtitele. V polovině 19. století přistoupilo město k rekonstrukci kaple, zachována byla původní dispozice, ale proměnilo se průčelí objektu. Fasáda i interiér byly vyzdobeny štukovou výzdobou v duchu klasicismu. Roku 1881 pak byl nad menzou vymalován iluzivní neogotický oltář. Posledních úprav se kaple dočkala v nedávné době, avšak prozatím je veřejnosti nepřístupná a liturgický provoz v ní obnoven nebyl.
