Όταν βρέχει στη Βάρτζια η πόλη κτισμένη μέσα στους βράχους μοιάζει με πίνακα ζωγραφικής. Στις ηλιόλουστες μέρες οι πλαγιές του βουνού Ερουσέτι φωτίζονται, ο βράχος λάμπει και οι σπηλαίες παίρνουν σκούρα απόχρωση και τότε οι αντιθέσεις γίνονται εντονότερες. Με το όνομα Βάρτζια όπως και με πολλά μνημεία της Γεωργίας συνδέεται ένας μύθος. Η μικρή μονάκριβη κόρη του βασιλιά, ονόματι Ταμάρ κατά τη διάρκεια ταξιδιού με την οικογένεια της ξέφυγε από την προσοχή των μεγαλύτερων και χάθηκε ανάμεσα στους βράχους. Φωνάζοντας ο θείος της το όνομά της, η Ταμάρ ανταποκρίθηκε ακα βαρ τζια (εδώ είμαι θείε) αλλά από τον αντίλαλο ακούστηκε μόνο το βάρ τζια και έτσι ονομάστηκε η περιοχή με το όνομα Βάρτζια.
Αυτό έγινε στο ιστορικό Σάμτσχε-Τζαβαχέτι στη σημερινή περιοχή Ασπίντζα, στην αριστερή όχθη του ποταμού Μτκβάρι. Στη δεκαετία του πενήντα του 12ου αιώνα, η Γεωργία ετοιμαζόταν για τη συνάντηση με εκείνη τη λαμπρή περίοδο της ιστορίας της την οποία δεν θα την επαναλάμβανε ποτέ. Σε έκταση μισού χιλιομέτρου μέσα στο βράχο είναι φτιαγμένο δεκατριόροφο συγκρότημα με μοναδική αρχιτεκτονική.
Στη χρυσή εποχή της Γεωργίας τότε όταν η Ταμάρ ήταν βασίλισσα, για την ανέγερση του συγκροτήματος του Βάρτζια εκπονήθηκε μεγάλο σχέδιο και κατασκευάστηκαν τα πρώτα κελιά μαζί με την εκκλησία. Αυτό ήταν το αρχικό στάδιο του οικοδομήματος, το οποίο στα χρόνια της Βασίλισσας Ταμάρ συνεχίστηκε. Η βασίλισσα διέταξε μερικές αλλαγές στο σχέδιο, άρχισε η ανοικοδόμηση του μοναστηριού και στο βράχο κτίστηκε ο μεγαλειώδης ναός Κοιμήσεως της Θεοτόκου, ο οποίος εικονογραφήθηκε με μεγάλη αγάπη και σοφία που χαρακτηρίζει μόνο τους μεγάλους δημιουργούς. Η μετατροπή των βράχων της Βάρτζιας στην πόλη γινόταν βήμα-βήμα με την προσπάθεια των μοναχών και καλογριών. Μετά από ένα χρόνο ανάληψης του θρόνου από την βασίλισσα Ταμάρ στις 15 Αυγούστου του 1185 έγινε αγιασμός του μοναστηριού της Βάρτζια. Ύστερα στη τρίτη φάση, το 1185-1203 ολοκληρώθηκαν οι εσωτερικές εργασίες του συγκροτήματος. Δυστυχώς μετά από ένα χρόνο το τοπίο ταρακουνήθηκε από τον σεισμό.
Παρ’ όλο που το οικοδόμημα κτιζόταν στη διάρκεια πολλών ετών δεν χάνει την αρχιτεκτονική συνοχή του και διατηρεί την χαρακτηριστική γεωργιανή αρχιτεκτονική απλότητα. Στη μέση του βράχου ο κτισμένος ναός αποτελεί τον γεωμετρικό άξονα και συμβολικό στήριγμα, γύρω από τον οποίο απλώνεται ολόκληρη η πόλη. Το μοναστήρι με τα 420 κελιά και τους βοηθητικούς χώρους πλαισιώνεται με 120 οικήματα. Στη Βάρτζια σε καλή κατάσταση έχει διασωθεί η ανατολική πλευρά της πόλης, επίσης εν μέρει έχουν διασωθεί και τα 442 σπήλαια. Κοντά στα σπήλαια βρίσκεται και η μεγάλη αίθουσα μαζί με μία μικρή εκκλησία.
Ξεχωριστά βρίσκεται η κάμαρα της βασίλισσας Ταμάρ, τόσο λιτή όσο και άλλες κάμαρες του συγκροτήματος. Στο κεντρικό τμήμα βρίσκονται οι ειδικές κρυψώνες περικυκλωμένες με τούνελ γεμάτα από νερό. Στην ανατολική πλευρά βρίσκεται η αίθουσα για δείπνο με την κάβα της. Γενικά στη Βάρτζια υπάρχουν 25 κάβες με 185 πήλινους αμφορείς, όπως φαίνεται οι μοναχοί στη Βάρτζια είχαν μεγάλη οινοπαραγωγή. Οι έρευνες που διεξάχθηκαν τον 20ο αιώνα αποκάλυψαν την εικόνα της ζωής στη Βάρτζια. Οι μοναχοί κατείχαν πολύ καλά την τεχνική επεξεργασίας μετάλλου. Στα εργαστήρια κεραμικού γινόταν η επεξεργασία κεραμικής επίσης όπως και σε όλα τα μοναστήρια εικονογραφούσαν τις θαυματουργές εικόνες.
Οι τοιχογραφίες είναι το μοναδικό κόσμημα στην πόλη των βράχων και χαρακτηρίζονται με λιτότητα και ταπεινοφροσύνη αποτέλεσμα φιλοσοφίας της ορθοδοξίας.
Στο Ναό Κοιμήσεως της Θεοτόκου διασώθηκε η τοιχογραφία η οποία χρονολογείται από το 1884-1886. Είναι ένα από τα ξεχωριστά μνημεία για την ιστορία της γεωργιανής τέχνης. Εκτός από τις σκηνές από τη ζωή του Χρηστού, εδώ μπορείτε να δείτε εντυπωσιακές τοιχογραφίες με τα πρόσωπα του βασιλιά Γκιόργκί του τρίτου και της βασίλισσας Ταμάρ. Οι τοιχογραφίες αυτές δίνουν σημαντικές πληροφορίες γύρω από την ιστορία και πολιτισμό της Γεωργίας. Στο ναό Ανανούρι φυλάσσεται η πιο παλιά τοιχογραφία, η οποία χρονολογείται από τον 6ο αιώνα.
Η Βάρτζια είναι ο τόπος όπου ο φιλόσοφος και ρήτορας Ιωάννε Σαβτέλι δημιούργησε την ψαλμωδία αφιερωμένη στη Θεοτόκο. Οι ντόπιοι ζωγράφοι καλλιγραφούσαν χιλιάδες βιβλία. Από τη βιβλιοθήκη της Βάρτζια διασώθηκε εικονογραφημένη και καλλιγραφημένη η Αγία Γραφή χρονολογημένη από τον 12ο αιώνα. Όταν η Γεωργία βρισκόταν υπό τη μογγολική κατοχή, οι μοναχοί της Βάρτζιας ανέλαβαν το δύσκολο έργο της διαφύλαξης του γεωργιανού πολιτισμού. Η Βάρτζια λεηλατήθηκε βάναυσα από τους πέρσες το 1551. Μεταξύ πολλών θησαυρών έκλεψαν και τη χρυσή πόρτα και την φημισμένη εικόνα της Θεοτόκου. Στη διάρκεια τριών αιώνων από το 1578 έως 1828 η Βάρτζια βρισκόταν υπό την κατοχή της αυτοκρατορίας των οσμαλίων, τότε ολόκληρη η περιοχή μετατράπηκε σε ερημική τοποθεσία.
Στο μέλλον, εξαιτίας του πλούσιου φυσικού περιβάλλοντος και των ζεστών ιαματικών πηγών, σχεδιάζεται να κτιστούν ξενοδοχεία και πολυτελή Spa.