Auf dem Gebiet des heutigen Charkivs siedelten im 8. Jahrhundert Slawen. Sie gründeten die Festung und Stadt Donez. Der Ort wurde schnell zum Zentrum des Handwerks und des Handels. Die erste urkundliche Erwähnung Donez stammt aus dem Jahre 1185. Am südlichen Stadtrand findet man noch Überreste dieser Stadt. Nach dem Befreiungskrieg 1648 bis 1654 unter Bogdan Chmelnizki siedelten auf dem Gebiet "Wildes Feld" Kosaken und verarmte Bauern. Aus dem Westen zogen Ukrainer, aus dem Norden Russen hinzu. Aufgrund der zahlreichen Angriffe wurde eine Befestigungsanlage errichtet, deren östliche Grenze beim heutigen Palast der Arbeit, die westliche Grenze an den Ufern des Flusses Lopan verlief. Laut der Legende stammt der Stadtname von dem Kosaken Charko (Chariton), einem der ersten ukrainischen Siedler. Der Ort wurde bald Handelszentrum, vier der sechs größten Warenmärkte der Region befanden sich in Charkiv.
Im Jahre 1765 wurde Charkiv Kreisstadt, der erste Gouverneur dieses Kreises war Schtscherninin, im Gouverneurspalast wurde im Jahre 1804 die erste Universität eingerichtet. Mit dem "Erlass zur Erbauung von Steinhäusern" aus St. Petersburg begann die Erbauung zahlreicher Gebäude im Stile des frühen Klassizismus. Es war verboten, in den Hauptstraßen Holzhäuser zu bauen. Der noch heute existierende Zentralmarkt wurde im Jahre 1843 eingerichtet.
In der zweiten Hälfte des 19. Jahrhunderts war Charkiv bereits eines der größten Wirtschaftszentren des Landes. Im Jahre 1869 wurde die Eisenbahnlinie zwischen Moskau und Charkiv in Betrieb genommen, erst später führte diese Linie auch nach Kiew und in den Donbass. In kürzester Zeit wurde Charkiv somit der größte Zulieferer von Agrartechnik. Der Boom der Eisenbahn und die Entwicklung der Industrie machten Charkiv zu einem der größten Finanzzentren und lockten viele russische Bank- und Kaufhausfilialen in die Stadt. Zu Beginn des 20. Jahrhunderts lebten bereits 200.000 Leute in Charkiv. Seit 1871 gibt es Gaslaternen, seit 1881 Wasserleitungen und im Jahre 1906 wurde die erste Straßenbahn in Betrieb genommen.
Anfang des 20. Jahrhunderts war Charkiv Zentrum der Metallurgie, des Maschinenbaus und der Nahrungsmittelindustrie. Nach der Oktoberrevolution im Jahre 1918 wurde Charkiv Hauptstadt der ukrainischen Sowjetrepublik bis zum Jahre 1934. Die Grenznähe und die politische Stabilität förderten die Einführung der Panzer- und Flugzeugbaus. Viele Charkiver Künstler schrieben sich während der Kulturrevolution in das Buch der Geschichte der Kultur ein. Im Jahre 1940 gab es bereits 36 Universitäten und 46 Hochschulen.
Der "große Vaterländische Krieg" (Zweiter Weltkrieg) war eine schwere Probe für die Stadt und seine Einwohner. Die Stadt fiel zweimal in die Hände der Faschisten und verlor viele materielle Werte. Bei Kriegsende hatten nur noch 20 Prozent der Bevölkerung überlebt. In den Nachkriegsjahren wurden Theater und Buchverlage, eine Flugzeugfabrik und eine Autofabrik errichtet. Im Jahre 1948 hatte das Wirtschaftsniveau wieder Vorkriegsniveau erreicht. Der technologische Fortschritt förderte das wirtschaftliche und wissenschaftliche Potential der Stadt. Die Stadt wuchs rasch an, in kürzester Zeit wurden zahlreiche Wohngebiete erbaut, 1962 lebten bereits mehr als eine Million Menschen in Charkiv. Die erste Metrolinie wurde am 15. Juni 1975 in Betrieb genommen (die zweite im Jahre 1984, die dritte im Jahre 1995).
Charkiv stellte ein Industrie- und Wissenschaftszentrum dar und wurde in diesen Jahren als zweite Hauptstadt betrachtet. Mit der Unabhängigkeit der Ukraine seit 1991 begann eine neue Etappe Charkivs, die neue politische Lage und die wirtschaftliche Krise hatten starken Einfluss auf das Leben in Charkiv. Experten des Kiewer Hippokrat-Instituts haben einen Entwicklungsplan für Charkiv bis ins Jahr 2026 erstellt, der den weiteren Ausbau der Infrastruktur beinhaltet. Charkiv hat sich von einer Befestigungsanlage zu einem Wissenschafts- und Industriezentrum entwickelt.