Pałac Herbsta to miejsce niezwykłe. Jego historia nierozerwalnie związana jest nie tylko z losami rodziny Herbstów i Scheiblerów, lecz także z dziejami Księżego Młyna, czyli dawnej osady przemysłowej. Położone nad rzeką Jasień tereny były obszarem, na którym powstało potężne przedsiębiorstwo włókiennicze Scheiblerów. Miało ono fundamentalne znaczenie dla rozwoju przemysłu włókienniczego w Łodzi.
Karol Wilhelm Scheibler (1820-1881), obywatel belgijski, przybył do Łodzi w połowie XIX wieku. Wydzierżawił od miasta tereny przy Wodnym Rynku. W 1869 roku był już właścicielem nowoczesnego, wielowydziałowego przedsiębiorstwa. W 1870 roku kupił graniczące z Wodnym Rynkiem posiadła wodno-fabryczne Księży Młyn i Młyn Wójtowski. Wkrótce przystąpił do wznoszenia na terenie Księżego Młyna czterokondygnacyjnego murowanego budynku przędzalni, a następnie tkalni. Przypuszczalnie w tym samym czasie zaczęło powstawać osiedle dla pracowników. Najpierw zbudowano domu usytuowane wzdłuż głównej alei, wytyczonej prostopadle do zabudowań fabrycznych, obsadzonej czterema rzędami drzew. Obok domów mieszkalnych powstało na Księżym Młynie całe niezbędne zaplecze socjalne: sklep, szkoła elementarna, szpital, apteka. W pobliżu znajdowała się straż pożarna, co w tamtych czasach miało pierwszorzędne znaczenie. Księży Młyn stanowił samodzielny, samowystarczalny organizm, zaspokajał wszystkie potrzeby mieszkańców. „Niektórzy całe życie tu przeżyli i nie byli w Łodzi” – wspominali dawni mieszkańcy Księżego Młyna.
Integralny element zespołu fabryczno-mieszkalnego stanowiła rezydencja Herbstów. Otoczona ogrodem willa, zlokalizowana w sąsiedztwie zabudowań fabrycznych i osiedla mieszkaniowego, wyróżnia się wśród sąsiadujących z nią budynków i stanowi charakterystyczną enklawę. Budowę willi rozpoczęto prawdopodobnie około roku 1875, w związku ze ślubem Matyldy Scheibler z Edwardem Herbstem, dla których dom był przeznaczony. Materiały ikonograficzne z lat 80. XIX wieku przedstawiają już cały kompleks budynków. Dom Matyldy i Edwarda Herbstów został zaprojektowany jako jednopiętrowa neorenesansowa willa. Obok wzniesiono budynek tzw. dużej sali, z której można było przejść przez przeszklony łącznik do oranżerii. W sąsiedztwie willi usytuowano piętrową oficynę gospodarczą. Parter budynku zajmowały kuchnia i spiżarnia. W drugim skrzydle mieściły się garaże. Piętro było przeznaczone między innymi na pokoje gospodyni i panien pokojowych.
Kolejny budynek gospodarczy – zaprojektowany przez Adolfa Seligsona (1867-1919) – został wzniesiony z czerwonej cegły, zdobiła go dekoracja wykonana w tynku. W budynku tym znajdowały się powozownia i stajnie, a w wieży pomieszczenia mieszkalne dla służby.
Rezydencja pozostawała w rękach rodziny Herbstów do roku 1942. Mieszkały tam dwa pokolenia: najpierw Matylda i Edward, a później ich syn Leon z żoną Aleksandrą. Po śmierci Leona (1942) Aleksandra wyprowadziła się z Łodzi.
Po II wojnie światowej pałac został znacjonalizowany. Wtedy to pełnił różne funkcje m.in. ośrodka szkolenia pracowników pomocy społecznej, domu pobytu dziennego dla nerwowo chorych, był siedzibą ORMO, a nawet spółdzielni inwalidów. Skutkiem niewłaściwego użytkowania obiektu była oczywiście daleko posunięta dewastacja.
Gdy w 1976 roku rezydencję przejęło Muzeum Sztuki wszystkie zabudowania wymagały kapitalnego remontu.
