Harem stanowił osobną część pałacu sułtańskiego. Był on zamknięty dla osób postronnych i zarezerwowany dla rodziny i kobiet sułtana. Niewolnice do pałacu wybierano spośród jeńców lub na targowiskach (kobiety nie podlegały dewszirme). Z chwilą przyjęcia do pałacu kwaterowano je w osobnych pawilonach jako tzw. adżemi – nowicjuszki. Opiekowała się nimi ochmistrzyni – kahja kadyn. W pałacu nowicjuszki uczyły się zasad islamu i kształciły w umiejętnościach, jakie im najbardziej odpowiadały – haft, śpiew, taniec czy sztuka lecznicza. Najzdolniejsze awansowały i były przeznaczane do osobistych posług sułtanowi. Te, które sułtan wybrał do łoża, nosiły tytuł „has odalik” (odaliska) lub „haseki” (chaseki).
W tym miejscu trzeba powiedzieć kilka słów o związkach sułtanów z kobietami. Otóż, aż do czasów Sulejmana Wspaniałego (1520-1566) sułtanowie z reguły żenili się zgodnie z prawem kanonicznym. Ich małżonkami były często córki cudzoziemskich władców, nawet chrześcijańskich – przykładowo w 1346 r. sułtan Orchan poślubił Teodorę, córkę cesarza bizantyńskiego Jana VI Kantakuzena, a w 1435 r. Murad II wziął za żonę Marę, córkę despoty serbskiego Jerzego Brankovicia. Małżeństwa takie były wyrazem sojuszy, ale też tureckiej dominacji. Z czasem ich poniechano, zaś Sulejman Wspaniały poślubił ruską niewolnicę Roskolanę, którą prawdziwie kochał.
Roksolana, zwana Churrem Sułtan, zdobyła niespotykany przedtem wpływ na władcę. Za jej sprawą Sulejman zaczął coraz częściej bywać w haremie, a sprytna Roksolana zaczęła mieszać się do polityki. To wskutek jej intryg sułtan polecił zgładzić w 1553 r. swego najstarszego – i najzdolniejszego – syna Mustafę, spłodzonego z inną kobietą. Roksolana przyczyniła się w ten sposób do objęcia tronu przez jej syna, Selima II.
Począwszy od czasów Selima II sułtanowie niemal zamieszkali na stałe w haremie, a wpływy kobiet stale rosły. Zaniechano też małżeństw – w XVII w. ożenili się jedynie Osman II i jego najmłodszy brat, Ibrahim I. Ta rezygnacja z małżeństw wiązała się ze wzrostem pozycji matki sułtana i była skutkiem naturalnej rywalizacji o wpływ na władcę, jaka rozgrywała się między matką a żoną.
Od końca XVI w. zatem sułtanowie nie żenili się, ale dobierali sobie kobiety spośród niewolnic haremowych. Zwano je haseki kadyn (pani). Szariat dozwalał sułtanowi na posiadanie czterech haseki. Ta, która nosiła w sobie potomka sułtana, otrzymywała specjalne przywileje – koronowano ją i ubierano w sobolowe szaty, pozwalano całować dłoń władcy i oddawano do użytku prywatną komnatę. Haseki, która jako pierwsza urodziła syna, otrzymywała na znak prymatu tytuł basz kadyn.
Cały harem podlegał najważniejszej kobiecie w pałacu, którą – wobec braku legalnej żony – była matka sułtana. Nosiła ona tytuł walide sułtan. Podlegał jej naczelnik czarnych eunuchów, sprawujących służbę w haremie, tzw. harem agasy (inaczej kyzłar agasy). Z czasem, wobec słabości kolejnych sułtanów i uleganiu przez nich wpływom matek, wzrosła również rola harem agasy, który stał się jedną z głównych osób w państwie, swego rodzaju szarą eminencją.
W haremie panowała ścisła hierarchia. Kiedy sułtan wchodził do haremu, nosił na nogach podkute srebrem kapcie – ich dźwięk nakazywał wszystkim niewolnicom kryć się, gdyż spotkanie władcy twarzą w twarz uważane było za przestępstwo. Jeszcze większa afera wybuchała, gdy któraś z nowicjuszek ośmieliła się rozkochać w sobie sułtana – cierpiał na tym autorytet walide sułtan oraz starszych rangą niewolnic. Stąd też matka sułtana sama starannie dobierała synowi niewolnice, które miały mu usługiwać.
Dodajmy, że znakomita większość niewolnic, zamieszkujących harem, po ukończeniu nauk wydawana była za paziów, służących w męskiej części pałacu i wysyłana wraz z nimi na prowincję, gdy ci jechali objąć urząd. Awansowani na wysokie stanowiska paziowie, już jako namiestnicy bądź wezyrowie, kopiowali system niewolniczy pałacu i sami otaczali się służbą. W efekcie więc, zarówno oni, jak i ich żony, pochodzące z haremu sułtańskiego, dzięki własnym zdolnościom i łasce sułtana mogli osiągnąć pozycję, o jakiej nie mogli nawet marzyć wolni Turcy. Sami sułtanowie zaś byli również coraz mniej „tureccy”, skoro ich matki pochodziły spośród niewolnic. Przykładowo, kiedy na tronie zasiadł Selim II (1566-1574), syn Roksolany, a faktyczną władzę sprawował wielki wezyr Mehmed Sokollu pasza, czyli Serb Sokołović, moglibyśmy powiedzieć, że Imperium rządzili sturczeni Słowianie.
