Предок проспекта Карла Маркса – улица Сызранская, появившаяся на карте Самары в 1900-х годах. В середине 1930-х годов, когда разрабатывался генплан развития города “Большой Куйбышев”, она была выбрана на роль центральной магистрали: «Транспортная магистраль создается путём пробивки новой улицы от вокзала до Сызранской улицы со сносом ныне существующих построек. Сызранская улица, соответственно, расширяется и обустраивается. Магистраль оборудуется трамвайным полотном».
Впрочем, этот проект, известный горожанам как магистраль Центральная, не осуществлен до сих пор. К началу 1940-х годов будущий проспект Карла Маркса проходил от площади Урицкого до улицы Гагарина. Неподалеку располагались корпуса Куйбышевской клинической больницы. Ныне этот больничный городок именуется клиниками СамГМУ. Говоря об этом объекте, стоит упомянуть, что проект больницы разрабатывал в конце 1920-х годов известный архитектор Николай Гофман-Пылаев (автор кремлевской поликлиники в Москве). Планировалось возведение парка с 20 зданиями, из которых главными были четыре крестообразных корпуса. Осенью 1930 года стартовали подготовительные работы, в марте 1931-го начали строить терапевтический корпус, возведение которого тормозилось из-за недостатка строительных материалов. Пришлось использовать кирпич от разрушаемых в те годы храмов. Терапевтический корпус был принят в эксплуатацию в 1935 году, а больничный комплекс в целом — в 1938-м. Здесь разместились 11 клиник, оборудованных по последнему слову техники. Все корпуса были связаны между собой подземными галереями. Но в целом от первоначального замысла была реализована только 1/5 часть.
В 1942 году вдоль проспекта Карла Маркса была проложена Линдовская железнодорожная ветка. Начиналась она от станции Средневолжской (тогда — Сортировочная) и шла к территории 4 ГПЗ и ЗиМа. Напротив Клинической больницы располагалась железнодорожная станция Линдов городок.
Нужно отметить, что по генплану “Большой Куйбышев” магистраль по улице Сызранской должна была доходить до железнодорожного вокзала. Именно поэтому на рубеже 1940–1950-х годов часть нынешней улицы Красноармейской (от Крымской площади до дома №106) именовалась Ново-Сызранской.
В начале 1960-х годов это название было дано улице совсем в другом районе города. Адреса по Ново-Сызранской получили двухэтажные дома поселка “Коллективка”, построенные рабочими ГПЗ 4 в конце 1950-х годов (пр. Карла Маркса, 211 – 229).
В тот же период велась застройка в районе улицы Революционной. Ее перекресток с проспектом Карла Маркса по генплану 1937 года “Большой Куйбышев” должен был стать главным административно-общественным центром города, но в результате здесь построили только школу №92, которая была открыта в 1958 году.
В 1964 году на проспекте Карла Маркса появилась одна из его главных достопримечательностей — Дом печати. Полиграфический комплекс, состоявший из газетного, книжного и редакционно-издательского корпусов. Здесь располагались редакции всех газет, а также газетная и книжная типография. Ныне это здание заброшено, дальнейшая его судьба неизвестна.
Весной 1966 года началось строительство микрорайонов Северо-Восточного массива (6-й, 8-й и 9-й микрорайоны). Улица Ново-Сызранская стала их южной границей. Однако для такого глобального строительства такое “провинциальное” название было неподходящим. В 1967 году улицы Сызранская и Ново-Сызранская были объединены в проспект Карла Маркса.
В 1969 году началась застройка садового массива “Сад-Совхоз”. На его землях возводились дома сначала 12-го, а с 1972 года – 15 и 15-a микрорайонов. Многие из этих домов получили адреса по проспекту Карла Маркса. Тогда же была принята в эксплуатацию Самарская ТЭЦ на пересечении с улицей Алма-Атинской.
В 1970-х годах проспект Карла Маркса освободился от бараков военных лет между 3-м и 4-м проездами (сейчас на их месте дома №189, 191, 193). В 1980-х начался снос частного сектора в бывшем поселке Железнодорожников (в дореволюционное время – Мещанском) от улицы Киевской до нынешней Крымской площади.
В середине 1980-х годов был построен так называемый «посёлок связистов», в который входят дома №№233, 235, 237, 239 и 241 по проспекту Карла Маркса. Жилое строительство ведется в разных его частях и по сей день.