Όταν βρέχει στη Βάρτζια η πόλη κτισμένη μέσα στους βράχους μοιάζει με πίνακα ζωγραφικής. Στις ηλιόλουστες μέρες οι πλαγιές του βουνού Ερουσέτι φωτίζονται, ο βράχος λάμπει και οι σπηλαίες παίρνουν σκούρα απόχρωση και τότε οι αντιθέσεις γίνονται εντονότερες. Με το όνομα Βάρτζια όπως και με πολλά μνημεία της Γεωργίας συνδέεται ένας μύθος. Η μικρή μονάκριβη κόρη του βασιλιά, ονόματι Ταμάρ κατά τη διάρκεια ταξιδιού με την οικογένεια της ξέφυγε από την προσοχή των μεγαλύτερων και χάθηκε ανάμεσα στους βράχους. Φωνάζοντας ο θείος της το όνομά της, η Ταμάρ ανταποκρίθηκε ακα βαρ τζια (εδώ είμαι θείε) αλλά από τον αντίλαλο ακούστηκε μόνο το βάρ τζια και έτσι ονομάστηκε η περιοχή με το όνομα Βάρτζια.