Целевое назначение каждого ранее названного банка не означало их жесткой специализации. Они старались привлечь клиентов из разных сфер народного хозяйства, что снижало их риск и придавало устойчивость.
Во второй половине 20-х гг. развитие синдикатов привело к сосредоточению у них всех банковских кредитов, выделяемых соответствующей отрасли, и распределению их между трестами.
Такие синдикаты все больше брали на себя посреднические обязанности в кредите. Это дало толчок началу реорганизации банковской системы.
В 1927 г. было принято Постановление ЦИК и СНК СССР «О принципах построения кредитной системы», в соответствии с которым Государственный банк получал оперативное управление всей банковской системой, что ликвидировало право самостоятельности в проведении процентной политики банков. Данное постановление ликвидировало и специализацию банков. Очередным этапом реорганизации стало жесткое разграничение краткосрочного и долгосрочного кредитования. В 1928 г. Промбанк и Электробанк были объединены в единый Банк Долгосрочных кредитов промышленности и электрохозяйства.
Все краткосрочные кредиты должен был выдавать Госбанк в соответствии с квартальными планами.
В целом результатом 1927—1929 гг. стала ликвидация специфических кредитных функций банков, что превратило банковское кредитование в разновидность государственного планового финансирования.
Кредитная реформа 1930—1932 гг. положила начало новому этапу в развитии банковской системы. Её сутью была замена коммерческого и косвенного банковского кредитования прямым банковским кредитованием. Банковская система была перестроена по функциональному признаку: выделен общегосударственный банк краткосрочного кредита и создана система специализированных банков для обслуживания капитальных вложений.
Такая банковская система была однозвенной, состоящей из Госбанка СССР; четырех Всесоюзных специализированных банков финансирования и долгосрочного кредитования капитальных вложений — Промбанк, Сельхозбанк, Цекомбанк, Торгбанк; Внешторгбанка, имевшего широкую сеть корреспондентских отношений с иностранными банками; и сберегательных касс, представлявших собой единое общегосударственное кредитное учреждение, обслуживающее широкие слои населения путем привлечения свободных средств, оплаты услуг, размещения займов
В 1959 г. система долгосрочных банков была реорганизована: два банка — Сельхозбанк и Цекомбанк были упразднены, а их функции переданы Госбанку. На базе Промбанка и Торгбанка был создан Всесоюзный банк финансирования капитальных вложений — Стройбанк. В его функции входило финансирование и долгосрочное кредитование предприятий и организаций различных отраслей народного хозяйства (кроме сельского).
Окончательная структура банковской системы к 1960 г. была следующей: Государственный банк, Стройбанк, Внешторгбанк, система сберегательных касс. Такая система просуществовала достаточно долго, вплоть до 1988 г.
На начало 80-х гг. в России насчитывалось 44 акционерных банка (впервые появились в 1864 г.) с 49 филиалами, 83 общества взаимного кредита, 729 ссудо-сберегательных товарищества, 32 коммерческих банка, 232 городских общественных банка. Помимо этого появились банкирские конторы, торговые дома, меняльные лавки, которые осуществляли значительное количество чисто банковских операций и также привлекавшие средства клиентов для осуществления высокорисковых операций.
Очередные изменения в политике страны, переход к рыночным отношениям привел к изменениям и в банковской системе. В 1987 г. состоялся Пленум ЦК КПСС, который принял решение о ее совершенствовании.
В результате наряду с Госбанком, игравшим роль «банка банков», были созданы 5 отраслевых банков: Промышленно-строительный банк (Промстройбанк), занимавшийся кредитованием промышленности, строительства, транспорта, связи; Агропромышленный банк (Агропромбанк), кредитовавший агропромышленный комплекс; Жилишно-социальный банк (Жилсоцбанк), задачей которого было кредитование и обслуживавший жилищного хозяйства и социальной сферы; Сберегательный банк (Сбербанк), преобразованный из сберегательных касс и обслуживавший население; Внешнеэкономический банк (Внешэкономбанк), обслуживавший внешнеэкономическую деятельность. Такое множество банков при одноуровневой системе привело к переплетению их функций, что еще более обострило причины реорганизации банковской системы.
На помощь пришел Закон «О кооперации» (1988 г.), который позволил образоваться кооперативным банкам, заполнившим свободную нишу в кредитовании и привлечении средств. Первый коммерческий банк был зарегистрирован в августе 1988 г. Благоприятные условия открытия банковских кооперативов привели к широкой волне возникновения банков, своеобразному «банковскому буму».