Le plus curieux des propriétaires du château de Lucens fut certainement Sir Adrian Conan Doyle, fils du célèbre romancier Arthur Conan Doyle, qui y résida jusqu'à sa mort, en 1970. Au château de Lucens, il apporta une foule de souvenirs de son père. Et même, dans l'une de ses malles, il cacha sans doute les fantômes de Sherlock Holmes et de son "cher et fidèle ami" le Dr Watson.
Sir Conan Doyle fils décida de faire de Lucens un gîte digne du plus britannique des héros. Sur le grand manteau de la cheminée de la salle des baillis, il fit peindre les armes de sa noble famille. Et il peut paraître curieux d'observer ces blasons d'Outre-Manche figurer en l'un des plus beaux châteaux vaudois. En 1965, pour parfaire encore la mystification, le nouveau châtelain créa la Fondation Sir Arthur Conan Doyle et un musée où l'on pouvait admirer le salon du détective parfaitement reconstitué.
Après la mort de Sir Conan Doyle fils, en 1970, le château fut racheté par M. Pierre Koller, propriétaire de la célèbre Galerie Koller de Zürich qui le revendit, en 1994 à M. Max Kohler de Zürich également.
Dès lors, le château fut fermé au public, le nouveau propriétaire ayant décidé de le réserver à son usage personnel.
Le musée Sherlock Holmes a été installé dans une ancienne bâtisse communale "La Maison Rouge", où il attire de nombreux visiteurs.