Cụ ngũ đại có gốc ở Thụy An - Thái Thụy - Thái Bình. Do hoàn cảnh gia đình khó khăn, gia đình phỉ phiêu bạt đi các nơi kiếm kế sinh nhai.Cụ tứ đại được gia đình họ Bùi ở Thụy trường nhận nuôi và cho mang họ Bùi.