Obie miejscowości należą do parafii Dobrzechów. Kapliczka, typu domkowego, pochodzi z końca XIX wieku, ale znajdująca się w jej wnętrzu figura Matki Bożej z Dzieciątkiem jest znacznie starsza, pochodzi z XVIII wieku. Mieszkańcy wspomnianych miejscowości od dawna bardzo czcili tę figurę, m.in. gromadząc się w majowe wieczory przy kapliczce, by modlić się i śpiewać maryjne pieśni. Jednak szczególną czcią zaczęli ją otaczać od czasu II wojny światowej.

Istotny wpływ miały na to tragiczne wydarzenia z tamtego okresu. Okupujący nasz kraj Niemcy wprowadzili zakaz udzielania jakiekolwiek pomocy Żydom. Polakom łamiącym ten zakaz groziła kara śmierci. W lipcu 1943 r., za udzielanie pomocy Żydom ukrywającym się w okolicznych lasach, Niemcy zamordowali sześciu mieszkańców Kozłówka i Markuszowej, zabronili też pochowania ich na cmentarzu parafialnym. W tej sytuacji rodziny czterech spośród zamordowanych osób zdecydowały się pochować je czasowo przy kapliczce. Po zakończeniu wojny ofiary niemieckiej zbrodni ekshumowano i pochowano uroczyście na cmentarzu parafialnym w Dobrzechowie, w późniejszych latach, podczas odprawianych przy kapliczce majówek, zawsze modlono się za dusze zamordowanych osób.

Pragnąc, by tradycja nie zanikła, a zarazem w celu przeciwstawienia się coraz liczniejszym kłamstwom, że to Polacy mordowali Żydów, wystąpiłem w 2011 r. z inicjatywą godnego, a zarazem trwałego, upamiętnienia ofiar tragedii z lipca 1943 r. To spotkało się z entuzjastycznym odzewem mieszkańców Kozłówka, Markuszowej i innych okolicznych miejscowości. W listopadzie 2012 r. powołany został Społeczny Komitet Organizacyjny Budowy Pomnika Pomordowanych i podjęliśmy starania, by zabytkowa figura została poddana gruntownej renowacji.

Uroczystości związane z odsłonięciem i poświęceniem odnowionej kapliczki, figury Matki Bożej i pomnika ofiar odbyły się 14 września 2013 r. Mszę św. w intencji pomordowanych celebrował bp Jan Wątroba, w asyście m.in. śp. bp. Jana Niemca, śp. ks. inf. Józefa Sondeja, ks. inf. Wiesława Szurka i ponad dwudziestu innych kapłanów.

Z inicjatywy śp. bp. Jana Niemca, który był wnukiem jednej z ofiar mordu w 1943 r., znajdującej się w kapliczce figurze Matki Bożej został oficjalnie nadany tytuł Matki Bożej Troskliwej. Od czasu wspomnianych uroczystości cześć oddawana figurze Matki Bożej Troskliwej zaczęła się jeszcze bardziej szerzyć. Do Matki Bożej Troskliwej z Kozłówka zaczęli pielgrzymować ludzie nawet z odległych miejscowości. Oczywiście największą cześć oddają jej mieszkańcy Kozłówka, Markuszowej i pobliskich miejscowości, zwłaszcza młodzież z działającej w Kozłówku Fundacji na Rzecz Wszechstronnego Rozwoju Dzieci i Młodzieży „Troska”.