Tên gọi đền Cửa Đông xuất phát từ việc ngôi đền này xây ở cửa phía Đông thành cổ Lạng Sơn. Đền có tên cũ là đền Bạch Đế, thờ Thần sông Kỳ Cùng. Kiến trúc đền theo kiểu chữ “đinh” (丁), mặt trước nhìn ra sông Kỳ Cùng, gồm 3 phần Tam quan, chính điện và tả, hữu vu, xây bằng gạch, theo lối kiến trúc chồng diêm 8 mái. Trên cùng tường gạch có đắp hình “lưỡng long chầu nhật” và chữ “Phúc” (褔) hình tròn. Đền Cửa Đông, ngoài thờ Thần Sông “Bạch Đế” còn là nơi thờ Tứ Mẫu với số lượng tượng thờ khá nhiều. Đền Mẫu được bài trí hai bên gồm: cung thờ Tứ: Mẫu Thiên, Mẫu Thoải, Mẫu Thượng Ngàn cùng Thập Nhị Tiên cô ở bên trái, và cung Cô Ba bên phải. Tượng các ông Hoàng được trưng bày cạnh cung thờ Thần Sông ở chính điện. Trước đây đền có một số sắc phong của đời vua Thành Thái vào năm 1889.