Đối với vùng đất Cố đô Hoa Lư và đèo Tam Điệp, ông đã để lại những bài thơ như "Cửu Chân quan" (ải Cửu Chân), "Tam Điệp sơn" (núi Tam Điệp). Năm 1770, trên đường vào Nghệ An nhậm chức Tham chính, Ngô Thì Sỹ đã lên thăm thú Dục Thúy Sơn, trước phong cảnh núi non hùng vĩ bền vững với thiên nhiên, trơ gan cùng tuế nguyệt, ông đã lưu bút khắc trên vách núi dòng chữ "Vũ trụ dĩ lai" (Từ khi có vũ trụ đến nay), với dòng lạc khoản phía bên trái bia "Cảnh Hưng Canh Dần xuân, Thanh Oai Hoàng giáp Ngô Thì Sỹ đề" (Mùa xuân năm Canh Dần, niên hiệu Cảnh Hưng (Mùa xuân năm 1770) Ngô Thì Sỹ đỗ Hoàng giáp quê ở Thanh Oai đề).
Ngô Thì Sỹ có 4 người con, trong đó Ngô Thì Nhậm là con trưởng. Ngô Thì Nhậm (1746 - 1803) tự Hy Doãn, hiệu là Đạt Hiên, đỗ tiến sỹ đời vua Lê Hiển Tông, niên hiệu Cảnh Hưng thứ 36 (1775) làm quan thời hậu Lê tới chức Đốc đồng Kinh Bắc và Thái Nguyên. Triều Quang Trung ông là một trong những danh sỹ Bắc Hà được nhà vua trọng dụng làm Tả thị lang bộ Lại, tước Tình phái hầu, là người có công trong chiến thắng Đống Đa năm 1789, năm 1790 được thăng chức Binh bộ Thượng thư. Ông là nhà sử học và là tác giả của nhiều tác phẩm văn học như: Xuân thu quản quyến, Doãn thi văn tập, Cúc đường bách vịnh, Yên đài thu vịnh, Bang giao hảo thoại, Hoàng Hoa đồ phả, Hàn các anh hoa...
13 năm sau, vào năm Nhâm Dần, niên hiệu Cảnh Hưng, đời vua Lê Hiển Tông (1782) Ngô Thì Nhậm nhận lệnh việc công, đã đi qua vùng đất Cố đô Hoa Lư và đèo Tam Điệp và cũng lên thăm thắng cảnh nổi tiếng là núi Dục Thúy. Tại đây, khi nhìn thấy bút tích "Vũ trụ dĩ lai" và dòng lạc khoản của cha đẻ mình là Hoàng giáp Ngô Thì Sỹ khắc trên vách núi nét chữ đã rêu phong, liền khắc lại và chạm khắc tiếp vào vị trí nơi cha mình đã khắc, gồm lời tựa và một bài thơ cảm hoài tứ tuyệt.
Hiện bia ma nhai "Vũ trụ dĩ lai" còn khá nguyên vẹn, chữ Hán khắc trên mặt bia còn rõ nét và vẫn có thể đọc được trực tiếp trên bia. Bia khắc trên vách núi cheo leo, dựng đứng cách mặt đất khoảng 4 mét, mặt bia quay về hướng Tây Bắc, nằm trong cụm bia ở sườn núi phía Nam của Dục Thúy sơn. Bia hình chữ nhật đứng, với kích thước 107 cm x 71 cm. Chữ Hán trên mặt bia khắc thể "chân" theo hàng dọc, trình tự từ trên xuống dưới, từ phải sang trái gồm có 6 dòng.
Theo đó, dòng thứ nhất là tiêu đề của người cha là Hoàng giáp Ngô Thì Sỹ và cũng là đầu đề của bài thơ, với bốn chữ Hán "Vũ trụ dĩ lai" khắc nổi cực lớn (chiều cao mỗi con chữ 31 cm, chiều rộng 26 cm), trông như một bức Đại tự khắc dọc, chiếm gần nửa diện tích bia; từ dòng thứ 2 đến dòng thứ 6 khắc phần lời tựa, lạc khoản và nội dung bài thơ tứ tuyệt; sau cùng phía bên trái bia chạm khắc dấu triện.
Dấu triện khắc trên mặt bia là trường hợp đặc biệt rất hiếm gặp. Trong hàng trăm tấm bia, trong đó có 57 bia đá chạm khắc thơ ở vùng Cố đô Hoa Lư và đèo Tam Điệp, dấu triện chỉ xuất hiện ở hai tấm bia. Đó là bia thơ của một gia đình khoa bảng trên đây và bia "Phong nguyệt nhĩ câu thích" của Tiến sỹ Từ Đạm.
Căn cứ nguyên bia đang hiện hữu trên vách núi, sau khi chép chữ Hán, phiên âm, dịch nghĩa, bài thơ và lời tựa được dịch như sau:
Từ khi có vũ trụ đến nay
Hoàng giáp Ngô Thì Sỹ, người Thanh Oai đề vào mùa xuân, năm Canh Dần, niên hiệu Cảnh Hưng (1770).
Nay là năm Nhâm Dần (1782), trưởng nam Thì Nhậm vâng lệnh việc công (lên thăm thắng cảnh núi Dục Thúy), khi cha (Ngô Thì Sỹ) đã hạc giá đăng vân (mất) từ 3 năm trước. Trải qua 13 năm, bút tích (của cha) khắc trên vách đá, nét chữ nông đã rêu phong, bèn khắc lại vào chỗ đó (bia người cha đã khắc) và cung kính ghi một bài thơ cảm hoài:
Đạo đức văn chương trả hóa công,
Gío trăng sóng khói gửi non sông,
Danh nhân, thắng cảnh truyền muôn thuở.
Trời đất, cha con một tấm lòng.
Nguyễn Quý Liêm dịch
(Dục Thúy sơn thi lục, Bản chép tay, năm 1973, Tr.36).
Tầng lớp nho sỹ trước đây, nhất là "Kẻ sỹ Bắc Hà" thường tâm niệm những điều nhân nghĩa "trung quân ái quốc". Khi xem thơ bia của một gia đình khoa bảng trên vách núi Dục Thúy, với đầu đề bốn chữ Hán "Vũ trụ dĩ lai" bút tích của người cha là Hoàng giáp Ngô Thì Sỹ như muốn khẳng định sự trường tồn của thế giới, trong sự vận động không ngừng của vũ trụ, thể hiện một cách nhìn mới, nhận thức mới đối với con người và vũ trụ. Với "Học vấn sâu rộng, văn chương hùng vĩ" như Phan Huy Chú đã từng nhận xét, ông đã được chúa Trịnh Sâm tin dùng. Thời kỳ trong kinh thành từng làm Hiếu lý Viện Hàn lâm, rồi Thiêm đô ngự sử.
Ngoài kinh thành, khi làm Hiến sát sứ Thanh Hóa, ông đã khai thác núi Bàn A, dựng chòi quan sát biển. Khi được bổ làm Đốc trấn Lạng Sơn, ông đã sửa sang động Kinh Lược, khai thác động Nhị Thanh, Tam Thanh và thành lũy nhà Mạc trở thành một quần thể thắng tích, hòa quyện giữa thiên nhiên và vũ trụ.
Kế thừa tư duy "Vũ trụ dĩ lai" của cha, trên cùng một mặt bia, trong bài thơ tứ tuyệt của mình, tiến sỹ Ngô Thì Nhậm đi tới khẳng định sự tồn tại của con người cùng non sông đất nước. Dẫu con người không còn tồn tại nữa nhưng học vấn, sự nghiệp, văn chương... và nhất là phẩm giá của họ vẫn còn trường tồn mãi mãi với danh thắng, đất trời và vũ trụ bao la.
Phải chăng, với cách nhìn nhận trên đã khiến Ngô Thì Nhậm rũ bỏ quan niệm "trung quân" đối với chế độ đương thời đã thối nát của triều Lê mạt - chúa Trịnh, có cùng nhãn quan với nhiều danh sỹ Bắc Hà đương thời như Ninh Tốn, Phan Huy ích, Nguyễn Thế Lịch, Nguyễn Bá Lân, Võ Huy Tấn, Đoàn Nguyễn Tuấn... để đến với phong trào Tây Sơn, giúp mưu lược cùng người anh hùng áo vải Nguyễn Huệ lãnh đạo toàn dân kháng chiến, đánh thắng 29 vạn quân xâm lược nhà Thanh (Trung Quốc), làm nên sự nghiệp vẻ vang cho đất nước, cho dân tộc. Và tên tuổi của họ mãi mãi được lịch sử ghi nhận cùng những địa danh bất hủ như Tam Điệp - Biện Sơn, Ngọc Hồi, Đống Đa... đúng như nhà thơ đã từng viết "Đại danh, thắng cảnh trường như thử".
Đồng thời, khẳng định tình cảm của con người khi đối xử với nhau, nhất là tình cảm của những người ruột thịt, thân thích "Phụ tử chí tình thiên địa gian" và hơn thế khẳng định con người cùng trường tồn trong sự vận động của thiên nhiên và vũ trụ.
Trần Lâm Bình