נולד בבוכרה, אביו הרב פנחס הכהן רבין, התחתן בישראל עם בת משפחת הרב יצחק ברוך, ראב"ד ירושלים, וחזר לבוכרה, שם היה לנשיא הקהילה שפעל רבות למען היהודים, ונרצח בשנת ה'תרפ"א על ידי הבולשביקים. סבו הוא הרב יצחק חיים הכהן רבין, רבה של בוכרה וגלילותיה ובנו ממלא מקומו של הרב פנחס הכהן רבין "הגדול".

למד אצל דודו, הרב חזקיה הכהן רבין שסמך אותו לרבנות, בהמשך נשא לאישה את בת דודו. כשעלה דודו-רבו לישראל דרך ערי פרס בשנת ה'תרפ"ט, מילא הוא את מקומו, עד לשנת ה'תרצ"ג, אז יצא בעצמו בדרך זו לכיוון ישראל.

בשנת ה'תרצ"ה (1935) עלה לארץ ישראל והתיישב בירושלים. למד אצל הרב שלמה יהודה ליב אליעזרוב ובישיבה בשכונת הבוכרים. הוסמך על ידי הרב בן-ציון מאיר חי עוזיאל, הרב יצחק הלוי הרצוג והרב עובדיה הדאיה.

בשנת תש"ה (1945) התמנה כרבו של בית הכנסת "צופיוף" שבשכונת הבוכרים, ובמקביל התמנה באותה שנה על ידי הרב עוזיאל כחבר בית הדין הספרדי בירושלים. עם קום המדינה התמנה לרבה של שכונת הבוכרים, יחד עם עמיתו ורבו הרב אריה חיימוב. כיהן כרבו של בית הכנסת הגדול של קהילת הבוכרים בירושלים "בבא תמא".

למחייתו עבד כשוחט בתל אביב, ובשנת תשכ"א (1961) מונה לראש השוחטים בעיר. בשנת תשכ"ג (1983) עבר להתגורר בתל אביב, ושימש במשרתו עד פרישתו לגמלאות בשנת תשמ"ז (1987).

בשנת תשכ"ו (1966) מונה לרבה הראשי של העדה הבוכרית בתל אביב.

נפטר בשבת בב' באדר ב' תשנ"ה.

בנו וממלא מקומו הרב פנחס הכהן רבין, שימש כאב"ד תל אביב (נפטר בנובמבר 2019). נכדו-הרב בן ציון, בנו של הרב פנחס הכהן רבין משמש כדיין בבית הדין הרבני פתח תקווה. בנו-נכדו מאיר רבין היה ממורשעי פרשת הולילנד. חתניו הם: הרב אליהו זירקיוף; הרב אברהם סלים, ראש ישיבת "מאור התורה" בירושלים; והרב יעקב עבאדי, ראש ישיבת "אמת ליעקב" בירושלים.

• הרב בן ציון הכהן רבין שליט"א, קול סיני, באתר hebrewbooks