Tracce dell'utilizzo di matrici risalgono fino ai primi secoli a.C. (Antonio Coccaro) Nel corso della storia più volte è capitato che matematici vissuti in epoche e luoghi diversi, durante lo studio di sistemi lineari, abbiano disposto i coefficienti del sistema in forma tabellare, fatto che evidenzia come le matrici siano una struttura particolarmente intuitiva e conveniente per questi scopi.<ref name="mactutor">{{en}} [http://www-history.mcs.st-andrews.ac.uk/HistTopics/Matrices_and_determinants.html Storia dell'uso delle matrici e dei determinanti] su [[MacTutor]]</ref> Interessanti reperti sono anche i [[Quadrato latino|quadrati latini]] e i [[quadrato magico|quadrati magici]]. Fu solo a partire dal XVII secolo comunque che l'idea delle matrici fu ripresa e sviluppata, prima con risultati e idee ottenuti in contesti di studio specifici, poi con la loro generalizzazione. Lo sviluppo infine è continuato fino a dare alla teoria delle matrici la forma che oggi conosciamo.<ref name="mactutor"/>
I primi a sfruttare le matrici per agevolare i propri calcoli furono i matematici cinesi, proprio nell'affrontare i sistemi lineari.