Sau chiến thắng chống Nguyên - Mông lần thứ nhất (1258), vua Trần Thái Tông quyết định nhường ngôi cho con là Thái tử Trần Thánh Tông, sau đó lui về vùng núi Vũ Lâm dựng một am nhỏ (thường gọi là vườn am) để tu hành. Xét thấy, nơi đây vững chãi, nhưng chật hẹp, lầy lội không thuận tiện về giao thông, nên Trần Thái Tông chuyển tới động Vũ Lâm xây dựng am Thái Vi, mở đầu cho xây dựng hành cung Vũ Lâm.
Để bảo vệ cho am Thái Vi, ông cho xây dựng các trạm gác kiên cố Cửa Quan, Gò Mưng... Sau một thời gian ở ẩn, ông trở về triều, sau đó băng hà ở tuổi 60. Con trai trưởng là Trần Thánh Tông kế tục sự nghiệp của cha, chấn hưng đất nước. Để tưởng nhớ các vua Trần, đặc biệt là vua Trần Thái Tông - người đã có công chiêu dân lập ấp, nhân dân nơi đây đã xây dựng đền Thái Vi với tên gọi Thái Vi Từ.
Đền thờ 4 vị vua đời Trần là Trần Thái Tông, Trần Thánh Tông, Trần Nhân Tông, Trần Anh Tông và Hiển Từ Hoàng Thái Hậu. Đền Thái Vi đã được Bộ Văn hóa, Thông tin xếp hạng Di tích, lịch sử văn hóa đặc biệt quan trọng cấp quốc gia năm 1994.
Lễ hội đền Thái Vi hàng năm được diễn ra từ ngày 14/3 đến hết ngày 16/3 âm lịch, chính hội là ngày rằm tháng ba, cứ 3 năm một lần, nhân dân trong vùng lại tổ chức hội lớn (hội tổng).
Lễ hội gồm hai phần là phần lễ và phần hội. Nghi thức đầu tiên trong ngày chính lễ là lễ rước kiệu. Rước kiệu ở đền Thái Vi không chỉ của các làng trong xã mà nhiều đoàn rước kiệu của các xã trong huyện Hoa Lư và trong tỉnh. Phần hội với nhiều trò chơi dân gian truyền thống. Đây là dịp để nhân dân trong tỉnh cũng như cả nước tưởng nhớ công lao của các vua Trần.
Kim Yến-Minh Đường