Sorø er pakket med danmarkshistorie og usædvanlige, gamle bygninger. 

Særligt berømt er byens gamle kostskole, Sorø Akademi, der blev grundlagt i 1586. Men bygningerne går helt tilbage til 1100-tallet og var før Reformationen et stort klosterkompleks.