De nuværende bygninger er underlagt fredning og blev opført af Holger Ottesen Rosenkrantz og hans frue Karen Gyldenstierne i årene 1537-1588. Stedet har altid været ejet af magtfulde og velhavende familier, hvorfor der jævnligt har fundet store ombygninger sted, så bygningerne har kunnet tilfredsstille de skiftende tiders krav til både mode og bekvemmelighed. I årene 1759-69 fandt den største ombygning sted, hvor blandt andet slottets tre tårne blev fjernet.
Hovedbygningen blev solgt til De Danske Sygekasser og ombygget til rekonvalescenshjem i 1931-1932. Slottet fungerede i mange år som plejehjem, men lukkede i 2012. I 2015 erhvervede Peter Vognsen Nørgaard slottet, der gennem en restauering omdannede stedet til lejligheder og liberalt erhverv.
Den store park er offentlig tilgængelig i sommerhalvåret. Den passes af en haveforening og indeholder mange slags planter. I parken ses flere store og sjældne træer – bl.a. Almindelig Tulipantræ, Almindelig Platan og Kalopanax, samt et af Danmarks ældste, bestående eg, Margretheegen.
Annette Hoff: Boller Slot i 650 år. En godshistorie om mennesker, magt og muld ved Horsens Fjord, Wormianum 2012. ISBN9788789531373