La première construction était probablement en bois, tout au moins partiellement. Le donjon dont la construction révèle une origine bourguignonne, constitue la partie la plus ancienne sans que l'on puisse assigner une date bien précise à sa construction. Il servit de résidence d'été aux évêques de Lausanne, d'où son nom d'évêché.
Brûlé, détruit et pris d'assaut à plusieurs reprises, il fut reconstruit par Landri de Durnes vers 1170. C'est pourquoi on lui attribue la construction de la partie médiévale du château à laquelle il adjoignit des fortifications plus considérables.
Dès lors, Lucens connut une longue période de paix, durant laquelle les évêques firent du château leur lieu de séjour favori. Ces prélats séjourneront plus de 5 siècles dans l'évêché et le donjon. Une belle salle subsiste de ce temps de splendeur; elle a conservé son plafond orné de peintures, son vaste foyer dont le manteau est décoré des armoiries de l'évêché. Une paroi porte les écussons de tous les évêques de Lausanne.