Potwierdzona historia rodziny Hülsen rozpoczęła się w 1260 r., kiedy Jan Hylzen zaciągnąwszy się do rycerstwa krzyżackiego, z tymże rycerstwem do Prus, a na potym do Inflant przybywszy, niektórych swojej familii do zawojowanych tam krajów sprowadził. Od tej chwili przez szereg wieków kolejni wybitni potomkowie Jana zamieszkiwali tereny położone nad Dźwiną i Zatoką Ryską. W 1559 r. Dydryk (Dettlof) otrzymał od inflanckiego hermistrza Wilhelma Fürstemburga zatwierdzenie na Dagdę, która aż do XIX w. stanowiła siedzibę rodu. Na przełomie XVII i XVIII w. rodzina się spolonizowała. Za protoplastę polskiej gałęzi Hylzenów uznać można Jerzego Konstantego (zm. 1737), szambelana Augusta II i starostę marienhauskiego. To właśnie drugi z synów Jana Fryderyka, tak jak inna szlachta inflancka: Borchowie, Denhoffowie, Felkerzambowie czy Platerowie, służył dworowi polskiemu.
Blasku Hylzenom przydawali bracia: Jerzy Mikołaj (1692–1775) oraz Jan August (1702–1767), przedstawiciele pokolenia, w którym miała płynąć zupełnie polska krew. Szczególnie młodszy z synów Jerzego Konstantego podnosił prestiż rodziny. Jan swoje sukcesy zawdzięczał wierności domowi saskiemu. Taka lojalność, testowana w czasie podwójnej elekcji 1733 r., prowadziła go do coraz wyższych urzędów. Jako starosta marienhauski, brasławski, parchowski i kazuński Hylzen stworzył iście magnacką fortunę porozrzucaną po rodzinnych Inflantach, Litwie, Prusach Królewskich oraz Mazowszu. Poślubienie Konstancji z możnych Platerów dodatkowo wzmocniło jego pozycję. W tym czasie w rodzinnych Inflantach utarło się nawet powiedzenie: Bogaty jak Hylzen, uczony jak Plater. Dzięki sprawowaniu przez Jana Augusta urzędów kasztelana inflanckiego oraz wojewody mińskiego rodzina weszła do grona senatorów, choć nie odgrywała w Rzeczypospolitej znaczącej roli. Oprócz poglądów regalistycznych Hylzenowi w karierze pomagał intelekt. Wojewoda miński znany był ze swych rozwijanych przez lata umiejętności oratorskich, czego dowodem jest jego silva rerum oraz pisane w dobrym stylu mowy i listy znajdujące się w Swadzie polskiej i łacińskiej Jana Ostrowskiego-Daneykowicza. Wojewoda miński miał tak silne poczucie odrębności Inflant, że w 1750 r. opublikował jedną z pierwszych w języku polskim kronikę Livonii. Jego Inflanty w dawnych swych i wielorakich aż do wieku naszego dziejach i rewolucjach należą w XVIII w. do najlepszych podręczników historii Inflant oraz Księstwa Kurlandii i Semigalii.
Jerzy Mikołaj mimo swego starszeństwa obrał stan duchowny. Jego kariera przy poparciu Sapiehów nabrała tempa w 1745 r., kiedy objął biskupstwo smoleńskie. Mimo że brat duchownego prowadził ożywioną działalność misyjną na tych terenach, Jerzy Mikołaj samymi wiernymi niewiele się interesował. Biskupa o wiele bardziej pociąga aktywność literacka – edytorstwo, kompilacja i translacja dzieł religijnych. Duchowny był w bliskich stosunkach z braćmi Załuskimi, założoną przez nich biblioteką i Towarzystwem Czytelniczym, przez co uznaje się go za jednego z erudytów czasów saskich.
W następnym pokoleniu ród zaczął przygasać. Za ostatniego wybitnego reprezentanta rodziny można uznać Józefa Jerzego Hylzena (1736–1786). Syn Jana Augusta oraz Konstancji z Platerów podobnie jak ojciec był kasztelanem inflanckim (1760) oraz wojewodą mińskim (1767). Za konsekwentne popieranie Poniatowskiego w 1770 r. awansował o cztery krzesła w senacie na województwo mścisławskie. Jednak i jemu nie udało się wyjść poza Wielkie Księstwo Litewskie, choć nieustannie nękał króla kolejnymi prośbami o nowe urzędy. W latach 70., widząc że więcej nie osiągnie, Hylzen oddał się działalności wolnomularskiej. W 1781 r. został pierwszym mistrzem prowincjonalnym polskiej masonerii. Zgodnie z wysoką kulturą literacką rodu Józef Jerzy nieustannie przestawał z książkami, pisał dzienniki oraz krótkie traktaty naukowe. Jak w każdej magnackiej rodzinie wzmacnianiu potęgi rodu służyło łączenie się z pierwszymi rodami Rzeczypospolitej. W przypadku Hylzenów związane było to również ze spolszczaniem rodu. I tak siostra Józefa Anna Rozalia wyszła za wojewodę mazowieckiego Pawła Mostowskiego, natomiast sam Józef Jerzy ożenił się w 1761 r. z Teresą Potocką. Niestety małżeństwo to nie przyniosło magnatowi szczęścia, z Potocką rozwiódł się po kilku latach, a ich jedyny potomek zmarł w dziecinnych latach.
Utrzymanie ciągłości rodu zostało w rękach ostatniego z Hylzenów – Justyniana. Ten jednak nie piastował już tak zaszczytnych urzędów jak ojciec i starszy brat, ograniczając się do bycia generałem majorem wojsk koronnych i komandorem maltańskim. Toteż nie udało mu się utrzymać pozycji rodu. A i te skromne w porównaniu z poprzednikami godności przedostatni z Hylzenów niedługo sprawował, gdyż po nieznanej chorobie umarł w młodym wieku (w 1778 r.). To jednak on dał nadzieję na przedłużenie gasnącego rodu. Niestety jego syn, a zarazem ostatni potomek rodu, Idzi, okazał się idiotą, jak ówcześnie określano chorego umysłowo. Jego małżeństwo z Marią Brzostowską rozpadło się po czterech latach. Wraz ze śmiercią Idziego w 1801 r. polska gałąź rodziny Hülsenów vel Hylzenów wygasła.
