Thời nhà Nguyễn, nhiều nhóm thổ phỉ từ nước Thanh và bọn cướp biển hoành hành, nhũng nhiễu, cướp thuyền buôn và cướp của, giết người trên suốt dải vùng duyên hải nước ta.
Điển hình là toán giặc biển gồm các tên cướp biển Ipha nho, thổ phỉ nước Thanh cùng bọn cướp biển trong nước do Tạ Kim Phụng, Hắc Nho, Nguyễn Đình Ước, Lê Bá Đức, Vy Xuân v.v... chỉ huy. Đội quân của chúng có lúc lên tới 3.000 tên, với hàng trăm tàu thuyền. Tháng 5 năm 1863, chúng dùng 2 tàu Tây dương, 10 tàu nước Thanh, 200 tàu của cướp biển người Việt, vào sông Bạch Đằng phá đê Hà Nam, chiếm lũy nhất tự ở Hà Nam để đồn trú cướp phá Yên Hưng. Chúng đã bị dân binh Yên Hưng và quân thứ Hải Yên, dưới sự chỉ huy của thủy đạo thống chế Hải Yên: Lê Quang Tiến và tuần phủ Bùi Huy Phan tiến công đánh cho tan tác, phải rút chạy ra vùng biển Cát Bà, Đồ Sơn. Tháng 6 năm 1864, chúng lại vào La Khê (Yên Hưng) cướp phá, một trận huyết chiến đã diễn ra giữa 3.000 quân giặc với quân thứ Hải Yên và dân binh Yên Hưng tại xã La Khê do Hiệp thống đại thần Trương Quốc Dụng, Tán lý Văn Đức Giai, Tán tương Trần Huy San, Tri huyện Vũ Duy Nghị chỉ huy. Tháng 9 năm 1865 toán cướp biển Tạ Kim Phụng đã bị quân thứ Hải Yên và nhân dân tỉnh Quảng Yên dưới sự chỉ huy của Nguyễn Tri Phương tiêu diệt. Bọn cầm đầu: Phụng, Ước, Đức, Xuân bị xử chém đầu.
Sắc phong của vua Tự Đức cho cụ Nguyễn Văn Hội.
Trong công cuộc chống giặc cướp bảo vệ làng xóm quê hương, nhiều nho sinh tài trí dũng lược ở các làng xã Yên Hưng đã chiêu mộ các nam đinh trai tráng, trang bị gươm giáo và súng đạn để bảo vệ xóm làng, tham gia cùng quan quân địa phương diệt giặc. Vua Tự Đức đã nhiều lần ban thưởng cho các xã ở Yên Hưng các bằng sắc "Nghĩa dân", "Nghĩa dân khả phúng" (người dân có nghĩa đáng khen). Nhiều nho sinh đã được tặng bằng sắc phong ban hàm tước.
Nhân dân xã Hoàng Lỗ, nay là xã Hoàng Tân còn lưu truyền chuyện kể về cụ Bá hộ Nguyễn Văn Hội, nho sinh của làng, tài trí dũng lược, chiêu tập hàng trăm dân đinh trai tráng, trang bị súng đạn, gươm giáo để đánh giặc giữ làng. Có những lần cụ cho thuyền của dân binh ẩn nấp hai bên ngòi lạch giữa rừng sú vẹt um tùm, rồi thân chinh đi thuyền nhỏ ra khiêu chiến nhử giặc, đến vị trí hiểm yếu, cụ hô to, dân binh các ngả nhất tề lao ra đánh giặc. Xã đảo Hoàng Lỗ là phên giậu phía đông của huyện Yên Hưng và thành tỉnh Quảng Yên. Nhiều lần bọn cướp biển vào cướp phá Yên Trì, Quỳnh Lâu, La Khê, ấy vậy mà Hoàng Lỗ nằm trên đường đi của chúng mà vẫn giữ yên được xóm làng. Vua Tự Đức đã sắc phong hàm tước cho cụ Nguyễn Văn Hội hàng Bang biện Thất phẩm Bá hộ. Tương truyền, cụ Bá hộ về cuối đời, đã tắm gội sạch sẽ, đi thăm con cháu ở làng bên rồi đến gềnh đá đầu đảo phía Bắc Hoàng Lỗ nằm như người ngủ, rồi hóa. Con cháu phát hiện, khi ra đã thấy mối xông đất phủ kín người. Thương tiếc cụ, con cháu và dân làng mang về mai táng tại nơi nghĩa địa của làng. Sắc phong của cụ do năm tháng đã bị thất lạc. Mọi công lao của cụ và truyền thống đánh giặc cướp giữ làng của làng Hoàng Lỗ chỉ con lưu truyền trong nhân dân. Vừa qua, được sự giúp đỡ của Viện Hán Nôm, con cháu cụ đã sưu tầm lại được sắc phong của vua Tự Đức. Nội dung của sắc phong như sau:
"Quảng Yên tỉnh, Yên Hưng huyện, Hà Bắc tổng, Hoàng Lỗ xã. Nho sinh Nguyễn Văn Hội thính tòng Quảng Yên Tuần phủ, suất tương y xã dân bách dư danh, giới tượng tinh túc, tiễu trừ hải phỉ hữu công, tu chí cấp bằng Bang biện Tổng vụ Thất phẩm Bá hộ Nguyễn Văn Hội cứ thử.
Tự Đức tam thập tam niên bát nguyệt sơ nhị nhật."
(Dịch nghĩa: Sắc cho nho sinh Nguyễn Văn Hội xã Hoàng Lỗ, tổng Hà Bắc, huyện Yên Hưng, tỉnh Quảng Yên, đã theo lệnh quan Tuần phủ Quảng Yên lãnh đạo hơn trăm dân binh của bản xã, trang bị khí giới tinh nhuệ, tiễu trừ cướp biển có công. Vậy cấp bằng Bang biện Tổng vụ Thất phẩm Bá hộ. Nguyễn Văn Hội căn cứ nhận bằng.
Ngày 2 tháng 8 năm Tự Đức thứ 33).
Bản sắc phong là một minh chứng sống động cho tinh thần yêu nước của những người dân Hoàng Lỗ (xã Hoàng Tân, huyện Yên Hưng ngày nay); đồng thời là cứ liệu lịch sử quan trọng để nhân dân và chính quyền địa phương phục dựng những giá trị lịch sử - văn hóa của quê hương.
