Cerkev stoji na 392 metrov visokem, razglednem in z vinogradi zasajenem Velikem Vinjem vrhu nad Šmarjeto, v območju enega največjih dolenjskih železnodobnih gradišč. Pri cerkvi raste mogočna lipa. Na Velikem Vinjem vrhu lahko govorimo kar o cerkvenem kompleksu, posebej še, če upoštevamo, da sta tu dolga stoletja stali dve, za dolenjske razmere veliki cerkveni stavbi. Številne predelave Jožefove (Marijine) cerkve, ki so sledile stilnim novostim (gotika, barok) ter bogata in kvalitetna oprema, pričajo o njenem izjemnem pomenu, ki presega povprečje podeželskih podružnic. Delno ga lahko pojasnimo s tem, da je bila to nekoč znana in dobro obiskovana božja pot.