Trên con đường quan trường của mình, thời kỳ làm án sát sung chức quyền lĩnh Ninh niết đồng hộ lý Tuần phủ quan phòng tỉnh Ninh Bình, ông là người am hiểu về vùng đất và con người sống ở địa phương này, đã khơi gợi nguồn cảm hứng để viết một số bài thơ đề vịnh cảnh đẹp nơi đây như "Đăng Thúy lĩnh" (Lên đỉnh núi Thúy), "Đăng Hồi Hạc lưu đề" (Lên núi Hồi Hạc đề thơ), "Đăng Dục Thúy sơn lưu đề". Trong đó, bài thơ "Lên núi Dục Thúy đề thơ" đã khắc trên vách núi Dục Thúy. Ngoài thơ văn, Bùi Dị còn là một nhà thư pháp tài hoa trên mọi chất liệu, kể cả viết mẫu để chạm khắc trên mặt đá.
Tác phẩm của Thượng thư Bùi Dị còn lại đều bằng chữ Hán, gồm có: Vạn lý hành ngâm (gồm 275 bài thơ chủ yếu sáng tác trong thời kỳ đi sứ Trung Hoa), Tốn Am thi thảo, Tốn Am thi sao, Du Hiên thi thảo, Du Hiên tùng bút, Trung Châu thù ứng tập, Thời chính tạp biên, Trĩ Chu thù xướng tập (tập xướng họa ở Trĩ Chu, gồm 50 bài thơ xướng họa với các danh sĩ Trung Hoa)...
Lần theo các tài liệu ghi chép về bài thơ đã chạm khắc trên núi Dục Thúy. Những ghi chép trước kia và cả những tuyển tập, đầu sách xuất bản, lưu hành gần đây nhất cũng đều khẳng định bài thơ trên đây là bài vịnh, không chạm khắc trên vách núi. Thật là may mắn, trong quá trình nghiên cứu hệ thống thơ bia khắc đá vùng Cố đô Hoa Lư và đèo Tam Điệp, đặc biệt là những lần leo núi khảo sát thạch dã ở Dục Thúy Sơn, một sự tình cờ là chúng tôi đã xác định được tấm bia khắc bài thơ "Đăng Dục Thúy Sơn lưu đề" của Thượng thư Bùi Văn Dị trên vách núi.
Tên khắc trên bia là Bùi Văn Dị, còn gọi Bùi Dị, tên chữ là Du Hiên, hiệu Tốn Am, Hải Nông và Châu Giang, người làng Châu Cầu, huyện Kim Bảng, phủ Lý Nhân, tỉnh Hà Nội (nay là phố Châu Cầu, phường Lương Khánh Thiện, TP. Phủ Lý, tỉnh Hà Nam).
Khi còn nhỏ tuổi, ông đã vượt qua kỳ thi ám tả khảo hàng xứ để đủ điều kiện tham dự kỳ thi Hương, đỗ Cử nhân năm 1855 và một năm sau đỗ Phó bảng kỳ thi Hội khoa ất Sửu (1865) cùng với người em họ, con chú ruột là Bùi Văn Quế. Sau khi đỗ đạt, ông được bổ chức tri huyện Lương Tài (vùng đất huyện Lương Tài, Việt Yên, Yên Dũng thuộc tỉnh Bắc Giang, Bắc Ninh ngày nay), Phó Đô ngự sử, rồi điều về làm án sát Ninh Bình. Năm 1876 - 1878, ông được cử làm chánh sứ sang nhà Thanh (Trung Quốc). Sau khi đi sứ về ông được bổ nhiệm Kinh lược phó sứ Bắc Kỳ, rồi thăng Thượng thư Bộ Lễ, Bộ Lại phụ trách Đại thần và Quốc sử quán tổng tài.
Đến đời vua Thành Thái, theo lời điều trần của ông, nhà vua đã cho phúc thẩm và ban sắc tứ cho ông đỗ Tiến sĩ, bởi khoa thi năm ất Sửu ông đã đỗ "trúng cách" và "cập phân" (đương nhiên đã đỗ Tiến sĩ), nhưng không hiểu lý do gì, khi dự kỳ thi Đình để xếp thứ bậc "Tam giáp" lại bị xếp xuống Phó bảng (theo quy định về chế độ thi cử của triều Nguyễn, Phó bảng không được dự kỳ thi Đình). Đây là một việc làm mà trước đó và sau này chưa hề có tiền lệ trong thi cử khoa bảng Nho học triều Nguyễn.
Tấm bia ma nhai "Lên núi Dục Thúy đề thơ" chạm khắc trên một vách đá nhô hẳn ra khỏi vách núi, tuy ở độ cao khoảng 12 mét so với mặt đất, nhưng men theo sườn núi, ta vẫn có thể tiếp cận được bia. Bia có hình chữ nhật đứng, không chạm khắc đường diềm phía ngoài, để tạo mặt phẳng khắc chữ, những nghệ nhân xưa đã đục sâu vào thớ đá từ 2 đến 11cm so với mặt bằng vách núi, với kích thước chiều cao 121cm và chiều rộng 67cm. Bài thơ "ngũ ngôn" nhưng khi khắc trên mặt bia có 4 dòng, mỗi dòng 10 chữ theo thể "thảo".
Phía trái bài thơ có 2 dòng lạc khoản, với cỡ chữ khắc nhỏ hơn chữ trong bài thơ theo thể "chân". Căn cứ thực bia đang hiện hữu trên vách núi Dục Thúy, sau khi chép chữ Hán, phiên âm, dịch nghĩa, bài thơ được dịch như sau:
Lên núi Dục Thúy đề thơ
Mỗi lần lên Nghinh Phong
Núi nổi nước mênh mông.
Độn Tẩu đâu chẳng thấy,
Dục Thúy mãi bên sông.
Nước triều chạm ghềnh đá,
Thơ khắc mây bềnh bồng.
Bâng khuâng nhìn bốn phía
Ý cũ hòa sầu không?
Mùa xuân năm Giáp Tuất, niên hiệu Tự Đức, Hàn lâm viện thị giảng học sĩ, sung biện các Quyền lĩnh Ninh Bình niết sứ đồng hộ lý Tuần phủ quan phòng là Bùi Văn Dị cảm hoài đề bài thơ này.
Trần Lâm Bình dịch(Thơ Ninh Bình ngàn năm trên vách đá, Nxb. Hội Nhà văn, Hà Nội 2010, Tr. 245).
Đọc phần lạc khoản ta biết niên đại bia được chạm khắc vào thời điểm "Tự Đức Giáp Tuất xuân" (Mùa xuân năm Giáp Tuất, đời vua Tự Đức - 1874), do Hàn lâm viện thị giảng học sỹ sung biện quyền lĩnh Ninh Bình niết sứ đồng hộ lý Tuần phủ quan phòng Bùi Văn Dị cảm đề bài thơ này.
Như trên đã đề cập tới, Bùi Văn Dị còn là một nhà thư pháp nổi tiếng. Nếu quan sát "nhãn tiền" đối với tấm bia này, thì điều nhận định trên là hoàn toàn có cơ sở, vì đây là một tấm bia khắc trên vách núi với nét chữ Thư pháp theo thể "thảo" phóng túng nhất so với các bia chạm khắc trên Dục Thúy sơn, cũng như vùng cố đô Hoa Lư và đèo Tam Điệp.
Ngoài ra, Bùi Văn Dị còn có bài thơ "Vịnh Hương Sơn" khắc bia ma nhai ở động Hương Tích (xã Hương Sơn, huyện Mỹ Đức, Hà Nội). Bài thơ đã được Đào Ngọc Bình phiên âm và dịch thơ, Sơn Nam hiệu đính, được tuyển vào tập thơ Chùa Hương (Nhiều tác giả, Nxb.
Văn hóa Thông tin & Công ty Phát hành sách Hà Tây, năm 1999, Tr. 36 - 37). Ngày nay, ai đã từng đi hội chùa Hương, thăm viếng động Hương Tích đều có thể "mục kích" tấm bia này. Quan sát kỹ, một lần nữa ta lại thấy khả năng viết thư pháp tài hoa của Bùi Văn Dị trên đá.
Nét bút thư pháp của tấm bia này đã được nhà thơ Trần Lê Văn đề cập tới trong sách Thăm cảnh Hương Sơn: "Mặt bia khắc một bài thơ chữ Nho, viết theo lối thảo, trông như rồng bay phượng múa. Chữ đã tốt, văn lại hay. Tác giả Bùi Dị có những cảm nghĩ sâu sắc về núi" (Trần Lê Văn, Ty Văn hóa Thông tin Hà Sơn Bình, năm 1983, Tr. 50).
Trần Lâm Bình