Căn phòng bảo quản, trưng bày báo, tạp chí của ông Dũng rộng khoảng 50m2 không khác gì một bảo tàng báo chí thu nhỏ với hàng trăm nghìn đầu báo, tạp chí được đóng thành quyển, xếp ngay ngắn, đặt trang trọng trên bàn. Ngoài những tờ báo quen thuộc như: Nhân dân, Quân đội Nhân dân, Thể thao Văn hóa, Thanh niên, Tiền phong, Hoa Học trò… ông Dũng còn có nhiều đầu báo quý hiếm ra trước năm 1945 như tờ: Cứu quốc, Xung phong, Độc lập, Cờ Giải phóng, Tiếng chuông...
Ông Nguyễn Phi Dũng cho biết, ngày trước bố ông có sở thích đọc báo và lưu giữ rất cẩn thận để làm kỷ niệm, tuy nhiên do chiến tranh, chuyển nhà... những tờ báo dần bị mai một. Ảnh hưởng từ thói quen đọc báo của bố từ lúc nhỏ, lớn lên khi có thời gian ông thường xuyên mua báo về đọc. Chính những thông tin báo chí giúp ông mạnh dạn đầu tư kinh doanh các thiết bị trò chơi điện tử cầm tay đầu tiên tại Nam Định vào những năm 1980 và sau đó là chuỗi cung ứng, sửa chữa máy tính hàng đầu tại Nam Định hiện nay.
Có duyên, sự trân trọng và niềm đam mê với báo chí đã thôi thúc ông Dũng đưa ra ý tưởng bảo quản, giữ gìn các tờ báo, đặc biệt đối với những tờ báo cách mạng trước năm 1954 để giúp các thế hệ sau này biết được một thời gian khó của nền báo chí cách mạng Việt Nam, sự dấn thân không quản ngại gian khó của các nhà báo chiến trường vào nơi bom đạn để đưa những tin tức về cuộc kháng chiến cho người dân, bạn bè thế giới biết về chân lý của cuộc kháng chiến cứu quốc của dân tộc ta.
Nâng niu, nhẹ nhàng vuốt từng góc cạnh tờ báo Cứu quốc, cơ quan cổ động của Việt - Minh toàn quốc, số 5 ra ngày 23/9/1943, ông Dũng cho biết: Tờ báo này hiện nay chỉ còn đếm được trên đầu ngón tay vì đây là một trong những tờ báo “cổ”, được ra đời trong bối cảnh rất đặc biệt, thường xuyên bị giặc tìm diệt nên số lượng xuất bản cũng bị hạn chế. Mặt khác, trải qua những năm tháng thăng trầm cùng lịch sử dân tộc, việc bảo quản và gìn giữ những tờ báo này cũng rất khó, phải là những người có tâm huyết, niềm đam mê với báo chí cách mạng mới lưu giữ được tờ báo quý hiếm như này.
Trong bộ sưu tầm đồ sộ của mình, ông Dũng rất tâm đắc với tờ báo Cờ Giải phóng, số đầu tiên ra ngày 10/10/1942. Nội dung chính của tờ báo là phổ biến đường lối, chính sách lớn của Đảng, nhiệm vụ trước mắt của các cấp bộ Đảng và đảng viên; vạch trần các âm mưu, thủ đoạn thâm độc của chủ nghĩa phát xít và bè lũ tay sai; tuyên truyền, cổ động, hướng dẫn nhân dân chuẩn bị tổng khởi nghĩa... Đây là một trong những tờ báo "cổ" mà ông Dũng đã phải mất rất nhiều công sức, thời gian và niềm đam mê mới sở hữu được.
Theo Bảo tàng lịch sử Việt Nam, Báo Cờ Giải phóng - Cơ quan tuyên truyền cổ động Trung ương của Đảng Cộng sản Đông Dương, số 1 ra ngày 10/10/1942 do Tổng Bí thư Trường Chinh là người trực tiếp phụ trách đồng thời là cây bút chính luận chủ yếu của báo. Báo Cờ Giải phóng ra được 33 số, in li-tô trên giấy xanh nhạt khổ 27x38cm. Năm 2007, Bảo tàng Lịch sử quốc gia phối hợp với Nhà xuất bản Văn hóa - Thông tin phát hành rộng rãi ấn phẩm công bố toàn bộ nội dung 32 số báo Cờ Giải phóng nhưng thiếu tờ báo số 1 do chưa sưu tầm được. Tờ báo này hiện đang nằm trong bộ sưu tầm của ông Dũng.
Để có được bộ sưu tầm báo chí đồ sộ với nhiều tờ báo quý hiếm như hiện nay, ông Dũng đã mất rất nhiều thời gian, công sức, tiền bạc; trong đó có nhiều tờ báo quý hiếm ông phải bỏ ra hàng chục triệu đồng mới sở hữu được. Ông Dũng cho biết, thú chơi sưu tầm báo, tạp chí cũng là một kênh đầu tư vì nó cũng như một món đồ cổ, càng để lâu càng có giá trị. Ông Dũng hy vọng các con của ông cũng có sở thích, niềm đam mê, đặc biệt là sự trân trọng đối với các tờ báo; còn không, ông sẵn sàng hiến tặng toàn bộ cho Bảo tàng.
Để bảo quản kho báo, tạp chí khổng lồ, ông Dũng dành hẳn căn phòng rộng khoảng 50m trên tầng 4, lắp đặt máy điều hòa, thiết bị hút ẩm, thường xuyên duy trì nhiệt độ phòng khoảng 22 độ C. Với những tờ báo đặc biệt quý hiếm, ông bảo quản bằng cách bọc từng tờ báo bằng giấy ni lông, cuộn tròn và cho vào những ống vỏ đạn rồi đặt cẩn thận trong tủ kính.
Theo ông Dũng, chất liệu báo làm bằng giấy nên việc bảo quản rất khó, phụ thuộc rất nhiều vào thời tiết, đặc biệt thời tiết tại miền Bắc hay bị nồm, ẩm ướt, vì vậy phải luôn duy trì độ ẩm phòng khoảng 30%; độ tuổi của tờ báo còn phụ thuộc vào nhiệt độ, tránh tiếp xúc nhiều với ánh nắng, nhiệt độ thích hợp nhất khoảng 22 độ C; đặc biệt là các trang báo, tạp chí hay bị mối, mọt ăn nên để tránh được loài gặm nhấm này, ông Dũng phải để báo ở trên tầng cao, không sử dụng các vật liệu làm bằng gỗ trong phòng sưu tầm.
Ông Dũng còn thường xuyên lên các hội, nhóm diễn đàn về sách báo trên facebook để tiếp tục sưu tầm các tờ báo quý hiếm. Hiện nay việc sưu tầm các tờ báo cách mạng trước năm 1954 rất khó khăn, ông sẵn sàng bỏ ra chi phí mua báo để thỏa niềm đam mê và làm phong phú thêm kho tàng báo chí của mình. Ngoài ra, ông cũng mở cửa đón tiếp, kết nối với những nhà báo hay những người đam mê sưu tầm báo đến tham quan, chiêm ngưỡng bộ sưu tập báo, tạp chí đồ sộ của mình.