נולד לזאב ושרה רובינשטיין וגדל בבני ברק. למד בישיבת אור ישראל בפתח תקווה ולאחר מכן בישיבת פוניבז'. נישא ליהודית אלפא, נינת הרב מאיר קרליץ. לאחר נישואיו למד בכולל חזון איש.

בשנות ה-80 היה ממקימי בית הכנסת "נחלת משה" בבני ברק. הוא משמש כגבאי הראשי של בית הכנסת וביוזמתו הפך המקום למרכז לשיעורי תורה. כמו כן הוא מנהל את רשת הכוללים "נחלת משה" שהסניף המרכזי שלה שוכן בבית כנסת זה ומונה מאות אברכים.

רובינשטיין חבר מזכירות מפלגת דגל התורה. בסוף שנות ה-90 מונה למזכיר מועצת גדולי התורה של דגל התורה. במסגרת תפקיד זה ביצע שליחויות שונות והעברת מסרים בין רבני דגל התורה. הוא גם חבר הנהלת החינוך העצמאי וחבר הנהלת קרן השביעית, המסייעת באופן כלכלי לחקלאים שומרי שביעית.

בשנת 1998 נבחר למועצת עיריית בני ברק מטעם דגל התורה. בשנת 2004 התמנה לסגן ראש העיר ובפברואר 2013, עם התפטרותו של ראש עיריית בני ברק יעקב אשר שנבחר כחבר הכנסת ה-19 מטעם רשימת יהדות התורה, נבחר רובינשטיין על ידי מועצת העירייה לראשות העיר, עד לעריכת הבחירות לרשויות המקומיות. בנובמבר 2013, לאחר בחירת חנוך זייברט לראש העירייה, שב רובינשטיין לכהן כסגן ראש העיר.

רובינשטיין היה מקורב לרב חיים קניבסקי. הרב קניבסקי המליץ על רובינשטיין כמועמד להחליף את אשר, ובמכתב לרב אהרן ליב שטינמן כתב: "נראה לעניות דעתי שהאיש המתאים להיות ראש העיר הלא הוא ידידנו הרב אברהם רובינשטיין, כי הוא שואל כל דבר ועושה ככל אשר מורים לו והוא מאוד אהוב על הבריות". ב-2010 נוצר בין השניים גם קשר משפחתי: בנו של רובינשטיין נישא לנכדת הרב קניבסקי, בת בנו הרב שלמה, ראש ישיבת קריית מלך.

בבחירות שהתקיימו ב-30 באוקטובר 2018 קיבל רובינשטיין כ-82% מהקולות ונבחר לראשות עיריית בני ברק. הוא נכנס לתפקידו ב-20 בנובמבר 2018.

ביולי 2021 פרסם שחלה סרטן.

לקראת בחירות לרשויות המקומיות בשנת 2023 הודיע על פרישה מהחיים הפוליטיים.

מדיה וקבצים בנושא אברהם רובינשטיין בוויקישיתוף

• יהודה נוריאל, "בכל מגזר יש שובבים שמנסים להתחכם", באתר ידיעות אחרונות, 2 באפריל 2020
• שילה פריד, לא הכל אדום, באתר ערוץ 7, 25 בספטמבר 2020
• יהודה שלזינגר, "דין ילד בתל אביב הוא לא דין ילד מבני ברק", באתר ישראל היום, 29 באוקטובר 2020
• העיר בני ברק בגשמיות וברוחניות ובעניין ניהול עיר ע"פ ההלכה ודעת תורה, לצפייה באתר "בינינו"