Ο Πύργος του Ρολογιού κατασκευάστηκε κατά τη Φραγκοκρατία. Το 1803 ο διαβόητος λόρδος Έλγιν, θέλοντας να δωροδοκήσει τους κατοίκους της Λιβαδειάς για να τον βοηθήσουν να κάνει ανασκαφές και να εντοπίσει το περίφημο Τροφώνιο Μαντείο, χάρισε στην πόλη ένα μεγάλο ρολόι. Το ρολόι αυτό τοποθετήθηκε στον πύργο και από τότε αποτελεί σύμβολο της Λιβαδειάς, και ο πύργος ονομάστηκε Πύργος του Ρολογιού.