Rất tiếc đến nay, chúng ta chưa biết họ và quê quán của Đốc Binh Kiều. Dân gian thường gọi ông là Lê Công Kiều, Trần Phú Kiều hoặc Nguyễn Tấn Kiều, nhưng phổ biến nhất là quan Lớn Thượng.
Tương truyền, ông gốc người miền Trung vào Nam sinh sống ở huyện Kiến Đăng, tỉnh Định Tường. Khi thực dân Pháp đánh chiếm thành Gia Định, ông về Gia Định đầu quân chống giặc, nhờ có võ nghệ và biết tổ chức nên ông được giao quyền chỉ huy một đội dân dũng. Khi đại đồn Kỳ Hòa thất thủ, ông không theo quân triều đình rút về Biên Hòa mà đưa đội nghĩa dũng của mình về đóng ở Sầm Giang, Long Hưng thuộc huyện Kiến Đăng với ý định lập căn cứ chiến đấu lâu dài. Đến khi Trương Định lập căn cứ Tân Hòa (Gò Công), Thiên hộ Dương lập căn cứ ở Bình Cách, Mỹ Quý (Ba Giồng, thuộc huyện Kiến Đăng) ông mang quân về Ba Giồng hợp tác với Thiên hộ Dương.
Ông được phong chức đốc binh và trở thành một tham mưu đắc lực của Thiên hộ. Trong suốt thời kỳ chiến đấu ở Ba Giồng, chẳng những ông lập được nhiều chiến công mà còn hết lòng trong việc tổ chức và tuyển mộ, huy động binh lương, nên ông được cất nhắc. Khi bị giặc đánh bật ra khỏi Bình Cách, nghĩa quân rút về Xoài Tư, cửa ngõ vào Đồng Tháp Mười, Thiên hộ Dương phân công: Thủ khoa Huân đi các tỉnh miền Tây vận động tiền bạc để mua vũ khí, Thiên hộ Dương với 100 quân, hành quân lưu động hô hào kích động lòng yêu nước căm thù giặc chiêu mộ nghĩa quân, còn ông giữ trọng trách vào Đồng Tháp Mười tìm nơi lập căn cứ chuẩn bị cho cuộc chiến đấu lâu dài.
Tháng sáu năm Giáp Tý (1864), Thủ khoa Huân bị bắt ở An Giang, đến tháng sau Trương Định hy sinh ở Gò Công, nghĩa quân rơi vào tình trạng cực kỳ khó khăn, Thiên hộ Dương quyết định rút vào Đồng Tháp Mười và đặt tổng hành dinh tại Gò Tháp. Đốc Binh Kiều được giao nhiệm vụ xây dựng căn cứ. Ông huy động dân binh, nghĩa quân đào hào đấp lũy... xây dựng đại đồn Tháp Mười suốt mấy tháng liền. Chung quanh căn cứ là hào sâu dưới cắm chông tre, kề bên là lũy cao trên trồng tre gai, đặt lổ châu mai, có chòi canh trên ngọn cây để canh gác... Trong đồn có nhà ở, nhà ăn, giếng nước, nhà kho, kho vũ khí, nhà tham mưu, nơi bàn việc cơ mật... tất cả đều được bố trí canh phòng nghiêm ngặt. Để bảo vệ đại đồn ở vòng ngoài có đồn Tả, đồn Hữu, đồn Tiền nằm án ngữ trên các đường mòn dẫn vào.
Sau đó, theo sự phân công của Thiên hộ, Đốc Binh Kiều chỉ huy đồn Tả, chịu trách nhiệm ngăn giặc mặt Xáng Xéo, Rạch Ruộng đề phòng giặc từ Cai Lậy, Cái Bè tiến công vào. Ông chủ động kéo quân ra đánh Cai Lậy và nhiều nơi khác, không chờ giặc tới đánh mới chống đỡ. Ông vẫn dùng chiến thuật du kích kết hợp với kinh nghiệm dân gian sáng tạo các cách đánh giặc độc đáo như đốt đồng, dùng ong, dùng trâu, hầm chông... làm cho giặc Pháp và tay sai vô cùng khiếp sợ. Cả một tuyến dài từ Cái Bè đến Cai Lậy, ông luôn giữ thế chủ động. Chúng rất căm tức, nhưng không sao tiêu diệt ông.
Trong cuộc tấn công Tháp Mười vào tháng 4-1866, giặc Pháp đã dùng một lực lượng lớn để áp đảo mặt nầy, quyết hạ cho được đồn Tả để tiến vào Tháp Mười. Giặc do tên tay sai khét tiếng Trần Bá Lộc thạo đường chỉ huy tấn công hung hãn. Đốc Binh Kiều điều động nghĩa quân chống trả quyết liệt đẩy lùi nhiều đợt tiến công của giặc, đến chiều bọn chúng phải rút lui. Ông lên đài quan sát theo dõi cuộc thoái binh của giặc, chẳng may ông bị thương. Ông được đưa về gò Giồng Dung điều trị. Mấy ngày sau, được tin đại đồn thất thủ ông uất lên mà chết.
Để ghi nhớ công lao chiến đấu chống giặc giữ nước gian khổ của ông, nhân dân xây cất đền thờ tưởng niệm ông chung với Thiên hộ Võ Duy Dương tại Gò Tháp. Hiện nay trong dân gian còn lưu truyền bài thơ ca ngợi ông:
Vì nước quên mình bởi chữ trung,
Thương dân chi sá chốn sình bùn.
Mấy năm Đồng Tháp danh vang dội,
Cọp rống ngoài truông, cáo hãi hùng.
Hai thước im lìm nơi thạch động,
Đồng bào tưởng nhớ đứng thờ chung.
Nỗi lòng nghĩ đến nhiều năm trước,
Hương lửa đều không cảnh lạnh lùng.