Кінець 14 століття – важкий час для любомльської землі. На той час занепадає Галицько-Волинське князівство. Через Любомль проходять татари, поляки литовці… . Любомль переходить з рук у руки. У цей час у місті з’явилася перша католицька культова споруда, одна з найстарших у регіоні. У 1392 році сюди потрапив польський король Владислав ІІ Ягайло. Йому дуже сподобалося місто, запало у душу.

За легендою, після перемоги під Грюнвальдом Ягайло разом зі своїми лицарями поверталися додому. Перед Бугом їх наздогнали та оточили татари. Король почав благати Матір Божу про допомогу. Явилася Матір Божа, укріпила сили хоробрих лицарів і перемогли вони татарів. А король повелів на тому місці збудувати храм. У 1412 році почалося будівництво костелу Святої Трійці ”на вічні часи.” До нас не дійшли відомості про тих, хто будував його, відомо лише з літописів, що знаним у ті часи був Гайль – і маляр і священник одночасно. Він виконував замовлення короля Владислава ІІ Ягайла. Можливо, він і був тим майстром, який прикрашав костел. Костел був збудований у готичному стилі. Консекрація, або єпископські свячення, відбулася у 1552 році. Нелегкою була його доля. Часті війни, пожежі руйнували споруду.

Відбудовували костел з урахуванням тогочасних вимог – він одночасно був і культовою і оборонною спорудою. На початку 17 століття костел перебудували. Були втрачені ознаки готики, переважав стиль барокко. Пізніше костел руйнувався і частково перебудовувся багато разів, і лише на початку 19 століття набув того вигляду, який ми можемо бачити сьогодні. Це цегляна однонефна споруда з напівкруглою апсидою. Частково зберігся ренесансний портал. Вінчає костел високий двосхилий дах з сигнатурою
У 1640 році неподалік костелу була побудована цегляна дзвіниця з високим двосхилим дахом та фронтонами у стилі бароко. Після 1945 року святиня була перетворена на склад солі.

До другої світової війни у костелі знаходилася чудова ікона Святої матері Любомльської. Під час війни любомльський священник Стефан Ястренбський вивіз іі з окупованого міста  Зараз оригінал ікони знаходиться у Поліхні біля Красніка. 27 серпня 1996 року копія ікони була привезена у костел Любомля. У даний час це діючий костел.