Ngày 27/2/1962, dinh Norodom bị lực lượng đảo chính ném bom, Ngô Đình Diệm dời phủ Tổng thống về dinh Quốc khách trên đường Gia Long (tức đường Lý Tự Trọng ngày nay). Trong thời gian này, nhận thức được tình hình chính trị ngày càng bất ổn theo chiều hướng bất lợi cho mình, Ngô Đình Diệm đã bí mật cho xây dựng hầm bí mật trong dinh để làm nơi trú ẩn.
Hầm được xây dựng từ tháng 5/1962 đến cuối tháng 10/1963 với tổng kinh phí lên đến 12.514.114 đồng theo bản thiết kế của kiến trúc sư Ngô Viết Thụ. Hầm được đào sâu xuống mặt đất khoảng 4 mét, đúc bằng xi măng cốt sắt (170kg sắt/ 1m3 bê tông) rất kiên cố, tường dày đến một mét khiến các loại trọng pháo và bom 500kg nếu oanh tạc vào dinh Gia Long cũng không thể làm sập hầm.
Hầm có 6 cửa bằng sắt, đóng mở bằng bánh lái như tàu thủy để xoay, phía trong còn có chốt sắt thật lớn để cài. Phần mặt đất phía trên nắp hầm được ngụy trang bằng những chậu cây cảnh. Trong hầm có hệ thống thông gió, hệ thống điện thắp sáng, nước sạch và cống dẫn nước thải, nước mưa. Tổng diện tích mặt bằng hầm là 1392,3m2 với 6 căn phòng thông nhau qua các hành lang, gồm: phòng khách, phòng vệ sinh, phòng máy đèn, phòng để vật dụng linh tinh, phòng Ngô Đình Nhu và phòng Ngô Đình Diệm.
Trong phòng của Ngô Đình Diệm có lắp một hệ thống thông tin liên lạc gồm: bình ắc quy, radio lớn, radio xách tay, một máy thu phát tín hiệu RCA. Bản vẽ sơ đồ mặt bằng của căn hầm bí mật trong tòa nhà hiện đang được lưu giữ tại Bảo tàng Thành phố Hồ Chí Minh.