Первые иудейские общины появились в Челябинске в 1840-х годы и были представлены выпускниками кантонистских школ Оренбурга и Троицка. После окончания военной службы эти солдаты оставались жить в Челябинске и заводили семьи, вследствие чего во второй половине XIX в. отставные солдаты и унтер-офицеры составляли большую часть еврейского населения города. С проведением Транссибирской магистрали и ростом населения Челябинска возрастала и численность евреев в городе: если в 1894 году их насчитывалось 104 человека (0,6 % населения Челябинска), то к 1901 году - уже 686 человек (3 %). Челябинцы иудейского происхождения торговали зерном и чаем, открывали аптеки, магазины и различные мастерские - слесарные, мебельные, шляпные, магазины готового платья и т. п.

В конце 1860-х годов еврейская община приобрела здание, где организовала еврейский молитвенный дом. Здесь работали первые раввины Челябинска, которыми стали духовный раввин Бер Хейн, казённый раввин Абрам Яцовский и шойхет Хаим Ауэрбах. В 1880-е годы для общины была построена деревянная синагога на северной окраине города (ныне на этом месте располагается здание администрации Калининского района Челябинска). В 1894 году купец второй гильдии Соломон Брен завещал еврейской общине приобретённый им участок земли - пустырь по улице Мастерской (ныне улица Пушкина) для постройки синагоги. Разрешение на строительство синагоги было предоставлено по указу Оренбургской духовной консистории 16 декабря 1900 года. 21 марта 1901 года Городская Дума Челябинска постановила, что не видит препятствий к разрешению постройки молельни.

Строительство каменной синагоги началось в 1903 году. Поскольку строительные работы велись на средства, собранные у небогатого еврейского населения Челябинска, то они шли медленно и завершились только в 1905 году. При синагоге открылись еврейская школа и общество помощи бедным евреям, а во время Первой Мировой войны также и беженцам, прибывшим в город. Еврейская община Челябинска также взяла шефство над семьями защитников Отечества.

После Октябрьской революции 1917 года еврейское общество было распущено, в 1919 году под запрет попали и были конфискованы книги на иврите, в 1921 из синагоги были изъяты все изделия из серебра. По постановлению президиума городского Совета от 18 января 1929 года синагога была закрыта. В её здании вначале работал клуб для рабочих строящегося Челябинского Тракторного Завода, потом - протезная мастерская. В начале 1990-х годов здесь находились цеха и склады протезно-ортопедического предприятия, которое предоставило одно из помещений для собраний еврейского культурного общества.

В 1992 году здание синагоги было возвращено еврейской общине. Для реставрации здания в 1997 году был создан филиал благотворительного фонда «Российский еврейский конгресс». Реставрация была выполнена в 1999-2000 годах при поддержке главы администрации Челябинской области П. И. Сумина и финансировалась на средства, собранные еврейской общиной.