Poutní kostel sv. Anny nad Pořejovem byl donedávna významnou dominantou okolí zaniklé obce. Po zřícení krovů se jeho viditelnost v terénu snížila a zájem o jeho návštěvu poklesl. Porovnáme-li příběhy obou pořejovských kostelů (sv. Anny a sv. Bartoloměje) s památkami v okolí, můžeme říci, že je provází až neuvěřitelná smůla.
Poutní kostel v minulosti opakovaně pustl a byl přiváděn k životu, tento proces byl ale po roce 1945 ukončen. V roce 1660 tu na místě dřevěné kaple byla majitelkou Pořejova Veronikou Alsterlovou založena stavba nového poutního kostela. Ke kostelu, jehož stavba byla dokončena teprve v roce 1673, dal její nástupce František Ignác Wunschwitz dostavět ve 20. letech 18. století boční kaple. Za josefských reforem byl ale kostel zrušen a jeho vybavení rozvezeno po okolních svatyních. Již v roce 1811 byl ale za přispění obyvatel obcí Pořejov, Bažantov a Žebráky obnoven. Pozoruhodností kostela se staly sochy dvanácti apoštolů a Krista představující Poslední večeři Páně instalované v jedné z bočních kaplí. Sochy apoštolů v životní velikosti rozsazené kolem dlouhého stolu vyřezal kolem roku 1870 na objednávku Johanna Mayera z Bažantova sochař Johann Rumpler starší. Sochy stály 335 zlatých a představují dnes jeden z nejvýznamnějších exponátů Muzea Českého lesa v Tachově. Ve druhé boční kapli kostela mohl příchozí spatřit sochy Spících apoštolů na hoře Olivetské a Bičování Krista od stejného autora, které se ale nedochovaly.
Po roce 1945 se opuštěný kostel nad zničenou obcí počal měnit ve zříceninu, čemuž nezabránilo ani jeho pozdější zapsání mezi kulturní památky. V 50. letech 20. století jej poškodili dobrodruzi, kteří tu hledali ukryté poklady. Apoštolové ale své místo opustili až na konci 50. let 20. století. Do té doby seděli ve vydrancovaném kostele a občas řádně vyděsili náhodné návštěvníky, kteří sem za večerního šera zavítali. Při pobytu ve zničeném kostele jim déšť částečně smyl polychromii až na holé dřevo, což jim dnes dodává působivou originalitu.
Ještě v 80. letech 20. století měli pohraničníci ve věžičce vystupující ze střechy kostela své občasné pozorovací stanoviště. V 90. letech 20. století se objevily návrhy kostel upravit na sanatorium, které ale nebyly realizovány. Tehdy měl kostel ještě střechu, která se po roce 2000 zřítila. Dnes se zříceniny kostela a hřbitova, které jej obklopují, nachází v majetku zemědělce, který vlastní v okolí rozsáhlé pozemky. Kostel, který se skládal z obdélné lodi, dvou bočních kaplí a sakristie, se dnes bez zájmu společnosti rozpadá, silné genius loci místa tu ale i nadále přetrvává.
