Le noyau primitif du Château de Colombier, construit sur l'emplacement d'une villa romaine, devait consister en un donjon du Xle ou XIle siècle, entouré d'une enceinte.

Dès le milieu du XlVe siècle on assiste à une transformation du vieux donjon en un manoir habitable. Au XVIe siècle le Château est le lieu de résidence des Chauvirey et des Watteville. Lors de l'achat du fief, en 1564, il constituait déjà une ample construction: 
sous les Chauvirey, sans doute, allongement du vieux château vers l'ouest comprenant la tour d'honneur avec  escalier tournant et voûte octopartite; sous les Watteville, tour carrée sur voûte en ogive au milieu de la façade sud, agrandissement au nord du vieux  château et tour du portail d'entrée.

Le Château ainsi agrandi a pris sa forme essentielle et son style XVIe siècle. Devenu le siège de la recette de Colombier, il reçut des adjonctions de caractère utilitaire (maison des dîmes, etc.).

Au cours du XVIle siècle la seigneurie fait aménager dans la grande cour une cuisine à deux cheminées et une galerie surmontée des armoiries des Orléans-Longueville. C'est à cette époque que sont aussi plantées les fameuses allées.

Dans le courant du XVIlle siècle des réparations sont nécessaires. Mais ce sont là de menus détails en regard du lustre qui allait rejaillir sur l'édifice lorsque vint s'y établir en 1757 le gouverneur de la Principauté, Georges Keith, comte maréchal héréditaire d'Ecosse (dit Milord Maréchal), et sa fille adoptive Emetulla à qui la Seigneurie accordait "la jouissance du second étage du Château de Colombier pendant toute leur vie".

Le site de Colombier l'enchanta. Il projeta d'établir dans le village une fonderie de canons et une fabrique de vermicelles. Grâce à ses recommandations, Jaquet-Droz présenta avec succès ses pendules à la Cour d'Espagne. Mais Milord Maréchal ne s'entendit pas avec les Neuchâtelois et il quitta le pays pour l'Espagne.

Il revint toutefois à Colombier en 1762, juste à temps pour accueillir et protéger Jean-Jacques Rousseau qui, proscrit de France, avait trouvé asile, pour peu de temps certes, à Môtiers. Le respect et la reconnaissance que ressentit l'illustre écrivain à l'égard de Milord Maréchal ont trouvé au Livre XII des Confessions un écho vibrant et prolongé.

Avec le séjour de Rousseau, le Château de Colombier est entré dans la littérature; il y resta avec Benjamin Constant, qui y logea quelques années plus tard, à l'occasion de divers séjours chez Madame de Charrière. Rappelons que celle-ci fut une femme de lettres remarquable et qu'elle reçut, au Pontet, de nombreuses personnalités de premier plan, venues de toute l'Europe pour la rencontrer. Elle figure parmi les précurseurs les plus marquants de la littérature féminine.

Pour l'édifice qui se dégrade, le XIXe siècle est une triste époque. Déjà en 1794 LL.EE. de Berne demandaient qu'on y établît un hôpital militaire; c'est chose faite entre 1794 et 1802. En 1806 on y hospitalise "les galeux français du 28e" régiment d'infanterie venus occuper la principauté de Neuchâtel. De nombreuses chambres sont aménagées à l'usage du dépôt des recrues des Tirailleurs de la Garde, au service de Prusse en 1818. En juin 1871, on inaugure aux abords du château l'arsenal cantonal et Colombier est promu au rang de place d'armes fédérale.

Au début du XXe siècle le mal était si grand, les locaux à tel point insalubres, qu'il fut question de tout démolir! Dès 1908 on s'employa cependant à assainir et à consolider le château. Le colonel-divisionnaire de Loys acquit des meubles anciens et des tapis d'orient. Non satisfait encore, il rêva, pour la salle des Chevaliers, devenue grande salle de réception, d'une décoration totale des murs. Il en confia la réalisation à Charles l'Eplattenier.

Comme autres enrichissements du Château, il reste à signaler qu'en 1921, le caveau, ouvert sur la cour, a été aménagé en chapelle du souvenir. En 1953 on inaugure un bas-relief de Paulo Rôthlisberger posé dans la niche supérieure de la tour du portail qui représente l'épisode d'Abram Mouchet secourant Henri ler à Ivry.

Fait plus notable encore, le Château de Colombier est devenu depuis 1954 le siège de deux musées :
- le musée militaire qui présente de remarquables collections d'armes et d'habillement;
- le musée des toiles peintes qui rappelle l'industrie des indiennes qui fit la fortune de la région au XVIlle siècle.

Jusqu'au début du XVIle siècle, le comté de Neuchâtel semble avoir tiré son approvisionnement en sel presque uniquement de Franche-Comté. Le Conseil d'Etat, dans sa séance du 21 novembre 1612, décida d'affecter l'ancien moulin de Colombier à l'usage d'un magasin et grenier à sel marin. La marchandise devait arriver à l'état brut de la Méditerranée; amené en Suisse par Genève et Yverdon, le sel devait ensuite être transporté par eau jusqu'à Colombier. Le bâtiment en question était situé à l'extrémité Est de l'actuelle Allée du Port.

Cette installation, désignée dorénavant sous le nom de "Saunerie de Colombier" devait fonctionner très irrégulièrement vu la forte concurrence de la Franche-Comté; en effet les mines de Salins, appartenant à la cour d'Espagne, étaient jalousement mises en concurrence avec le sel marin des rois de France! Fin 1682, le responsable de la Saunerie manifesta quelque négligence... Il fut prié de quitter promptement les Etats de son Altesse.

Dès lors, le bâtiment complètement inoccupé acheva de se dégrader. En 1704, le Conseil d'Etat le mit en vente pour le faire démolir. Vers 1783 on édifia une maisonnette de vigneron qui, après avoir fait partie des biens des Charrière de Penthaz (propriétaires du Pontet), fut achetée en 1890 par l'Etat de Neuchâtel comme dépendance de l'Ecole de viticulture. Ce "pavillon de la Saunerie" fut démoli en 1935 pour permettre l'élargissement de la route cantonale au tournant des Allées et reconstruit un peu plus au Nord.