Parafia pw. Ducha Świętego została erygowana w 1740 r. z fundacji starosty Jana Małachowskiego i Biskupa Płockiego Antoniego Dembowskiego. W 1987 r. z terytorium parafii Kadzidło została utworzona parafia Wach, a w 1993 r. parafia Lelis, a w 2005 r. parafia Dylewo. W historii parafii istniało kilka kościołów drewnianych. Obecny kościół murowany w stylu neobarokowym pw. Ducha Świętego zbudowany w latach 1883-1886 staraniem ks. Konstantego Rejchla; konsekrowany w 1887 r. przez Biskupa H. Kossowskiego z Płocka. We wsi Gleba na terenie parafii adaptowano część budynku szkolnego na kaplicę. O historii parafii opowiada proboszcz, ks. Ryszard Kłosiński:
