История семьи и фамилии основателя бани, Карла Ивановича Гельдта, уходит ближе, на Запад, а, точнее, в Латвию.
Семья Гельдт, принадлежавшая к мещанскому сословию, переселилась в Псков в середине XIX века из латвийской Валмиеры.
Карл Иванович Гельдт (1837–1910) был богатым домовладельцем, человеком известным в Пскове.
Фамилия Гельдт (Неldt) связана с сохранившимися домами в центре старого Пскова и названием бани.

Здание Бани расположено в некогда оживленном центре Пскова, на берегу тогда еще судоходной реки Псковы. Сегодня мы находим множество доказательств жизни тех времён, отраженных в открытках. Старинный Псков не устает удивлять и поражать своим размахом, богатым архитектурным ландшафтом и подлинной жизнью губернии конца XIX века.
Часть набережной от Советского (Троицкого) моста (по левую руку от здания бани) с конца XIX века носила название Колясной площади или Колясного ряда. Здесь торговали посудой, колесами и прочей домашней утварью, в теплое время года – живым скотом, а в холодное – мясом. В конце Колясного рынка стояли многочисленные дома псковских купцов. В это же время здесь появляется баня Гельдта.

Подмечено было, что именно в этом месте, где стоит баня складывался «водосвятный треугольник», образуемый тремя Богоявленскими храмами: храм Богоявления с Запсковья (до сих пор возвышается на противоположном берегу реки Псковы), храмы Богоявления в Бродах (по правую руку от берега, где стоит Гельдтова баня) и храм Богоявления в Кстове (по левую руку). Оба эти храма не сохранились, так как в годы Северной войны (1700-1721 гг.), при личном участии Петра I, верхний берег реки Псковы был превращен в линию обороны и многие храмы были разобраны и засыпаны под петровскими бастионами.
Храмы эти образовывали святой треугольник, а место это было местом традиционного водосвятия, где в старину рубили прорубь – Иордань.
Наши предки говорили: «Баня все грехи смывает». А баня в таком месте особое значение имела.

Переход через реку Пскову именно в этом месте существовал издревле, но долгое время переправой между двумя берегами служили лишь подвернутые штанины, т.к. со дна выступали камни, что делало возможным переход вброд. Отсюда и название этого места – Броды, и несохранившейся церкви – Богоявления в Бродах. Только в XIX веке от Гельдтовой бани к Богоявленской церкви каждой весной начали ставить деревянный пешеходный мостик, и почти сто лет понадобилось псковичам, чтобы построить постоянный мост в 1974 году. Тогда же была построена и плотина, сдерживающая уровень воды в реке. Нередко здание бани подтапливалось весенними паводками.

Церковь Богоявления с Запсковья (та, что виднеется из окон ресторана и бани) была построена в конце XV века на месте более древнего, сгоревшего храма. Позднее церковь перестраивалась, появились два предела, а также, великолепная отдельно стоящая звонница – самый ранний образец такого рода сооружений в древнем Пскове. Второе название церкви – Богоявления с Красного Креста, т.е. с «красивого места» и действительно, церковь стоит на высоком живописном берегу реки Псковы.
В 1921 году в Псков приехал известный французский архитектор Ле Корбюзье, чтобы познакомиться с местной школой зодчества. Самое большее впечатление на него произвела церковь Богоявления с Запсковья. Влияние архитектуры этой церкви оказалось настолько сильным, что, когда Ле Корбюзье в середине XX века приступил к проектированию и строительству капеллы в своем родном городе Роншане, он решил вдохновиться образом Богоявленского храма. В 1955 году была построена капелла Нотр-Дам-дю-О, также известная как капелла Роншан.