Мост является связующим звеном между Пражским градом и Старым Городом. Через мост вела так называемая «Королевская дорога» (а ныне проходит Пражский марафон). С мостом связаны многие ключевые события в истории города. Например, в 1420 году мост помог попасть гуситам на Малую Страну, а в 1648 году с этого моста Градчаны атаковали шведы.
Юдитин мост — предшественник Карлова моста, был построен и закончен в 1172 году, во времена Владислава II и его жены, королевы Ютты Тюрингской. Мостом пользовались еще в начале правления Карла IV, но уже тогда из-за торгового, общественного и строительного подъёма появилась необходимость в более современном мосте. В 1342 году Юдитин мост был почти полностью разрушен во время наводнения. Остатки одной из его арок находятся в подвале дома на улице Лужицкой семинарии, 82 (Мала Страна).
Частью архитектурного комплекса Карлов мост Прага является монументальная неоготическая лестница, которая ведёт прямо с моста на влтавский остров Кампу. Лестница была построена в 1844 году вместо прежней, деревянной.