Dinh Toàn quyền nằm cạnh đường Trần Hưng Đạo, tọa lạc trên một ngọn đồi cao 1.533m. Ở vào một vị trí khá đẹp, một mặt nhìn xuống hồ Xuân Hương, một mặt nhìn ra rừng thông. Khi còn đương chức, Toàn quyền Decoux cho xây dựng dinh thự này làm nơi nghỉ mát mùa hè. Để tránh nguy hiểm, viên Toàn quyền này đã cho xây dựng đường hầm bí mật, để khi có sự cố có thể thoát ra ngoài. Nhiều năm không được bảo dưỡng, đường hầm đã bị hư hại nhiều. Đến đời Ngô Đình Diệm, dinh này dành riêng cho gia đình ông cố vấn Ngô Đình Nhu. Bên cạnh dinh, người Pháp còn xây một văn phòng khá bề thế. Trong dinh có một số hiện vật quý như bức liễn khảm xà cừ, khắc những bài thơ của vua Tự Đức, chiếc đàn dương cầm của phu nhân Decoux.