Thiền sư Bảo Tạng qui y thọ giới với Hòa thượng Sơn Nhân (tức Thiền sư Tánh Thông Giác Ngộ), ở chùa Bát Nhã trên núi Long Sơn (Phú Yên).

Sau thời gian tu học ở chùa Bát-nhã, Thiền sư Bảo Tạng cùng hai sư huynh là Thiền sư Bảo Thanh và Bảo Chân vân du hoằng hóa về phương Nam. Trong khi hai sư huynh Bảo Thanh và Bảo Chân vào hoằng hóa ở vùng Đồng Nai (miền đông Nam Bộ ngày nay), Thiền sư Bảo Tạng đến núi Trà Bang (làng Bình An-Phú Quí-Phan Rang) tu hành. Sau đó, sư Bảo Tạng đến vùng Vĩnh Hảo, lập chùa Linh Sơn để hoằng dương Phật pháp ở vùng Phan Rang-Phan Rí.

Năm 1845, Thiền sư Bảo Tạng đến hoằng hóa ở núi Cổ Thạch, cách xã Bình Thạnh, huyện Tuy Phong, tỉnh Thuận Hải về phía đông bắc 2km [Cổ Thạch ở sát bờ biển, thuộc xã Bình Thạnh, huyện Tuy Phong, tỉnh Thuận Hải, cách thành phố Hồ Chí Minh gần 300km]. Hương hào Hồ Công Điểm ở xã Bình Thạnh không có con, gặp Thiền sư Bảo Tạng xin cầu tự, sau đó vợ ông Điểm sanh một trai và một gái. Mang ơn đó, và tin theo Phật pháp do Thiền sư Bảo Tạng giảng dạy, ông Điểm phát tâm xây dựng một ngôi chùa bằng cây, lợp lá rất khang trang ở Cổ Thạch. Sau một thời gian ngắn ở chùa Cổ Thạch, Thiền sư Bảo Tạng lại tiếp tục vào phương Nam bằng đường biển.

Thiền sư Bảo Tạng đến Bào Trâm, gần mũi Kê Gà (Hàm Tân) hoằng dương Phật pháp. Sư Thông Ân khai sơn chùa Kim Quang nghe danh tiếng sư Bảo Tạng nên đến thỉnh sư Bảo Tạng về chùa và xin thọ giới cụ túc với Thiền sư Bảo Tạng được ban pháp danh là Hữu Đức.

Trong thời gian hoằng hóa ở vùng Tam Phan (Phan Rang-Phan Rí-Phan Thiết), có lần Thiền sư Bảo Tạng vân du vào vùng Đồng Nai thăm hai sư huynh là Bảo Thanh và Bảo Chân.

Trong thời gian hoằng hóa ở Bào Trâm, Thiền sư Bảo Tạng tìm được đường ngầm vào núi Trà Cú [Núi Trà Cú ở gần Hàm Tân (tỉnh Thuận Hải), cách Phan Thiết 26km, và cách thành phố Hồ Chí Minh 173km về phía Bắc.] và nhận thấy núi này là nơi “địa linh”, có nhiều long mạch hội tụ, Thiền sư Bảo Tạng tu hành trong một hang đá gần đỉnh núi Trà Cú, phía dưới hang có mạch nước trong mát, sau này được gọi là “hang Tổ”.

Thiền sư Bảo Tạng khi đến hang này thì cả núi là rừng sâu hoang vắng, là nơi hang ổ của các loài cọp sói. Sư xuống bàn thạch dưới hang tọa thiền, khi đói chỉ dùng rau rừng qua ngày. Ngài tu như thế trải mấy năm dài, dần dần cọp sói trở thành là bạn thân thiết với Ngài. Nhờ ý chí quả cảm liều chết để tu hành, Ngài đắc đạo nơi đây. Sau đó, do những người đi rừng phát giác được chỗ Ngài tu, họ về xóm gần núi báo tin cho nhau hay, rồi rủ nhau lên núi đảnh lễ Ngài và chặt cây bện tranh cất cho Ngài một chiếc am để ở tu. Khi ra khỏi hang thì râu tóc Ngài dài lượt thượt, bởi mấy năm không có phương tiện cạo. Khi vào ở trong am, mỗi tối Ngài tọa thiền, hoặc tụng kinh đều có hai con cọp hầu bên cạnh.  Chiếc am tranh này về sau trở thành chùa Tổ, hai con cọp đã chết, được các sư trong chùa cất ngôi miếu nhỏ bên cạnh chùa thờ, gọi là miếu Ông Hổ.

Thời gian sau, Thiền sư Bảo Tạng rời am theo đường biển vào phía Nam, để đệ tử là Hữu Đức ở lại am tu hành. Sau này sư Hữu Đức dựng chùa Linh Sơn Trường Thọ ở phía dưới thấp trước hang Tổ để hoằng hóa (cách hang Tổ độ vài trăm thước).
Thiền sư Bảo Tạng đến núi Châu Viên ở Phước Hải (Đất Đỏ, Bà Rịa), huyện Long Đất, Bà Rịa-Vũng Tàu lập chùa để hoằng hóa, đặt tên chùa Châu Viên Sơn Tự, sau đó Thiền sư Bảo Tạng còn trùng tu và trông coi nhiều chùa khác ở vùng Bà Rịa như chùa Long An, chùa Bửu An, chùa Long Hưng...Có thể Tổ Bảo Tạng lập chùa hay trùng hưng chùa Bửu Long ở xã Phước Hải (huyện Đất Đỏ tỉnh Bà Rịa nay thuộc huyện Long Đất, tỉnh Bà Rịa-Vũng Tàu), vì chùa này từ xưa đến nay vẫn làm lễ giỗ Tổ vào ngày 25 tháng 5, tức nhằm đúng ngày Tổ Bảo Tạng viên tịch và chùa Bửu Long nằm sát bờ biển (ngay vị trí trường phổ thông cơ sở Phước Hải ngày nay), từ đó đi vào đất liền khoảng 2km mới đến núi Kỳ Vân và núi Châu Viên. Tổ Bảo Tạng lập chùa “Châu Viên Sơn Tự” trên núi Châu Viên và chùa Ngọc Tuyền trên núi Kỳ Vân.

Năm Nhâm Ngọ (1858), Thiền sư Bảo Tạng ở chùa núi Châu Viên in lại sách Kim Cang Chú Giải (chữ Nho), được sự chứng minh của sư huynh là Hòa thượng Bảo Thanh ở chùa núi Chứa Chan. Sách này do Tôn giả Qui Pháp chú giải và Tôn giả Qui Phật tập chú.

Sau đó, Thiền sư Bảo Tạng có thể về trụ trì chùa Thạch Sơn, Phú Yên.
Năm Tân Dậu (1861), Thiền sư Bảo Tạng lại lo viết chữ để khắc lên bảng gỗ để in sách Kim Cang Diễn Nghĩa.
Kế sau đó, Thiền sư Bảo Tạng lại vào hoằng hóa ở chùa Ngọc Tuyền trên núi Kỳ Vân (xã Phước Hải, huyện Long Đất, tỉnh Bà Rịa-Vũng Tàu).

Thiền sư Hải Bình Bảo Tạng viên tịch tại chùa Ngọc Tuyền, trên bia có ghi:
“Từ Lâm Tế chánh tông, tứ thập thế, húy Hải Bình, thượng Bảo hạ Tạng Hòa thượng Giác linh.” (Giác linh Hòa thượng Hải Bình Bảo Tạng đời thứ 40, Phái Lâm Tế chánh tông.)
Hàng bên phải ghi: “Mậu Dần... sanh” (sanh năm Mậu Dần).
Hàng bên trái ghi: “Tử ư Nhâm Tuất niên, ngũ ngoạt, nhị thập ngũ nhật, Dần nhi trung” (mất giờ Dần, ngày 25 tháng 5 năm Nhâm Tuất 1862).

Bảo tháp của Thiền sư Bảo Tạng ở chùa Ngọc Tuyền bị hư chút ít, bia tháp bằng đá xanh bị bể nhưng còn đầy đủ như trên. Chùa Long Quang (Bà Rịa, Vũng Tàu) vẫn thờ cúng Tổ Bảo Tạng và cúng giỗ hàng năm.

Tác giả bài viết: Tư Liệu