Das College wurde 1836 gegründet und nach Queen Victoria benannt. Vorläufer war die Upper Canada Academy der Wesleyan Methodist Church. Die Victoria University entstand 1884 durch die Fusion des Victoria College und des Albert College in Belleville, Ontario. 1890 ging die Victoria University mit der University of Toronto zusammen.
Die heutige Victoria University mit ca. 3000 Studierenden besteht aus dem Emmanuel College, das theologische Studien auf Hochschulniveau anbietet und eines der Mitgliedskollegs der Toronto School of Theology ist, und dem Victoria College, einem der sieben Bachelor-Colleges an der Fakultät für Künste und Wissenschaften der Universität von Toronto mit Ausbildung der Geistes-, Sozial-, Kunst-, Lebenswissenschaften, physikalische und mathematische Wissenschaften, Pädagogik und Philosophie.