Det var Jens Werenskiold som bygde hovedgården, men bygningen har stadig blitt utvidet. Fram til 1970-åra bodde topplederne i bedriften her, men da Borregaard fusjonerte med Orkla ble bygningen stående tom. De siste tiår har den imidlertid blitt rehabilitert som kurs- og konferansesenter. Noen av de hemmelige møtene som ledet fram Osloavtalen i 1993 ble holdt her.
De aller største herrene på Borregaard hadde adresse i hovedgården. Det står ikke samme glans av denne herregården som av Hafslunds rett over fossen. Fram til den moderne industribedriften ble etablert i 1889 måtte Borregaard pent finne seg i å leve i sin nabos skygge.
Om Borregaards hovedgård er mindre glansfull er dens historie desto mer dramatisk. Natt til 14. februar 1702 gikk det et jordras på Borregaardssiden –Norges nest største jordras gjennom tidene – og det sveipet med seg hele hovedgården, alle dyra og de fleste tjenestefolkene. Finfolket gikk nå som ellers en blidere skjebne i møte. Legenden forteller at herr Jens Werenskiold kom seg i sikkerhet ikledd slåbrok, og med sin pengekiste under armen. Fruen ble også berget, men fødte kort tid etter et dødfødt barn. Hvorom allting er – hovedgården ble klokelig flyttet lenger vekk fra fossen, og har de siste 300 år ligget ved Kulåsparken.
