Zawory znajdują się w południowo-zachodniej Polsce, w północnej części Gór Stołowych w Sudetach Środkowych w paśmie Zaworów na zachodnim zboczu góry Róg na wysokości 575 m n.p.m. w odległości 1,5 km od Chełmska Śląskiego. Domek pustelnika z 1818 r. mieeści się przed kaplicą św. Anny w Zaworach.