Với thân hình tầm thước, Phi có sức mạnh vượt trội so với trai tráng ở Lung Tràm. Nhà nghèo, hàng ngày Ba Phi ra rừng khẩn hoang, tìm miếng cơm manh áo. Đêm về ông tham gia đờn ca với cánh trai làng và được láng giềng quý mến bởi tính bộc trực mà vui vẻ, nhất là hay kể chuyện tiếu lâm lôi cuốn mọi người.

Nhờ sự siêng năng, thật thà mà Hương quản Tế (giàu nhất vùng) nhận ông vào làm công rồi gả ái nữ Trần Thị Lữ kém ông 6 tuổi. Bà này là con thứ 3 trong nhà, các tá điền gọi là Ba Lữ. Do đó sau khi lập gia đình, Phi được bà con hàng xóm gọi là Ba Phi là theo thứ của vợ chứ thật sự ông là người con thứ 2.

Nhiều năm sống với Ba Phi nhưng bà Lữ không sinh con khiến người chồng buồn, hàng đêm mang đàn ra gãy những bản não ruột. Bà Lữ bàn cách cưới vợ cho chồng. Lúc đầu Ba Phi không đồng ý. Sau vài tháng phân tích tận tường, cuối cùng ông Phi đồng ý sống với cô gái Khmer Lữ Thị Cham, còn gọi là Cà Cham.

Bà này sinh cho Ba Phi 3 người con gái rồi bệnh mất ở tuổi 24. Sau đó 2 người con gái cũng mất theo mẹ trong những ngày chiến tranh loạn lạc, người còn lại đã ngoài 80 đang sống ở huyện Trần Văn Thời (Cà Mau).

Riêng người vợ thứ 3 không được Ba Phi cưới hỏi nhưng lại sinh cho ông đứa con trai nối dõi. Bà này là Hai Lượng, quê tận Mỹ Tho (Tiền Giang). Hai người gặp nhau, rồi bà Lượng mang thai trong những lần Hương quản Tế cho rể chở cá bán cho vựa ở Mỹ Tho. Thế nhưng khi con trai Nguyễn Tứ Hải được 3 tuổi thì người vợ trẻ bỏ Ba Phi về quê rồi cả 2 mất liên lạc.

Ông Hải lớn lên trong sự chăm sóc của cha rồi lấy vợ là bà Nguyễn Thị Anh kém mình 1 tuổi. Ông này cũng mất sớm ở tuổi ngoài 30 trong vùng chiến tranh khi bà Anh sinh con trai út Nguyễn Quốc Chiến không lâu. Trước Út Chiến, vợ ông Hải sinh 2 gái, 2 trai. Tất cả 5 người cháu nội của bác Ba Phi đã được chia đất của ông bà, sinh sống quanh Lung Tràm - nơi gắn liền với với những mẩu chuyện cười đơn sơ, mộc mạc từ đồng bưng và sản vật rừng U Minh của bác Ba Phi.

Theo bà Nguyễn Thị Dung (cháu nội lớn nhất của bác Ba Phi), 15 năm trước bà có đi về Mỹ Tho tìm lại người thân nhưng chỉ gặp được người mợ thứ 3 đã 77 tuổi. Người này cho biết có con trai giỏi nghề câu tôm ở cồn Tân Long nên được gọi là Tư Câu, nhưng hiện ông Tư cũng không còn sống.

"Bà con bên bà nội cho biết sau khi bỏ ông nội về Mỹ Tho, một thời gian sau bà quay xuống Cà Mau sống ở huyện Cái Nước nhưng chúng tôi không tìm được. Sau nhiều năm mâu thuẫn với mẹ vì bà chỉ nghe lời đứa em gái thứ tư, nay gia đình chúng tôi hòa thuận vì mẹ đã đồng ý chia đều đất đai của ông nội để lại và hiến 4.000 m2 cho Nhà nước xây khu lưu niệm bác Ba Phi", bà Dung nói và hi vọng khi khu lưu niệm sẽ thu hút khách du lịch đến với Lung Tràm.