Türkmenler “ot” a “yoz” derler. Çapanoğlu Aşireti Horasan’dan bu bölgeye geldiklerinde yemyeşil uzanıp giden bir otlakla karşılaşınca sürülerini bu otlağa bırakıp çadırlarını kurmuşlardır. Zamanla çadırların yerini taş ve kerpiç binalar almış ve küçük bir kasaba meydana gelmiştir. Türkmenler bu kasabaya “Yoz Kant” (Otlak Kenti) ismini vermişlerdir. Zamanla bu kelime “Yozgat” olarak halk dilinde yerleşmiştir. Yozgat ili ile ilgili efsane şöyledir: Çapanoğlu Aşireti henüz Yozgat bölgesine varmış, sürüler otlağa bırakılmıştı. Çadırların yanında aşiretin en yaşlısı Cabbar Ağa koyunlarını otlatırken bir yandan da, elinde tesbih kalben zikrederken, nur yüzlü aksakallı bir derviş Cabbar Ağadan su istedi. “Suyum yok ama buz gibi bir bakraç süt var. Az önce gelinim Gülsüm Hatun getirdi. Kabul edersen çok sevinirim.” dedi. Nur yüzlü zat oturdu ve üç nefeste bütün sütü içti. Cabbar Ağa hepsini içtiği için çok memnun oldu. Nur yüzlü zat Cabbar Ağanın sırtını okşadı ve “Gönlün gani, mülkün de fâni olsun. Yozuna yoz katılsın, köyün oban Yozkent olsun.” dedi ve kayboldu. Bakraç içindeki süt yine ilk hâlini almış olup, ağzına kadar dolu haldeydi. Bu hâdiseyi, aşiret beylerine anlattı ve hepsi bu zatın Hızır aleyhisselâm olduğuna inandılar ve bulundukları yerde kalarak “Yozkent” kurmaya karar verdiler. Yozgat ili Anadolu’nun en eski yerleşim merkezlerinden biridir. Ali şar Höyüğünde 5000 sene önceye ait eserler bulunmuştur. Yozgat il toprakları Anadolu’da ilk siyasî birliği kuran ve Anadolu’da tarih devrinin başlangıcı kabul edilen Hititlerin sınırları içinde ve en kalabalık yerleşme merkezlerinden biriydi. M.Ö. 1500–2000 yılları arasında kurulan Hitit Krallığının merkezi Hattuşaş, Yozgat il sınırları içindedir. Samî Asurlular Kızılırmak’ı geçerek buraya kadar gelmişlerse de, bu bölgeye hâkim olamamışlardır. Frikya ve Lidya krallıkları bu bölgeye devamlı hâkim olamadılar. M.Ö. 6. asırda Presler Anadolu’nun mühim kısmını ve bu bölgeyi istilâ ettiler. M.Ö. 4. asırda Makedonya Kralı İskender, Pers Devletini yenerek Anadolu ve İran’ı krallığına kattı.

İskender’in ölümü üzerine imparatorluk komutanları arasında taksim edilerek Anadolu, Asya İmparatorluğu (Selevkoslar Devleti)nin payına düştü. Az sonra bu bölge Kapadokya Krallığına geçerek Kayseri’den idare edilmiştir. M.Ö. 1. asırda Roma İmparatorluğu bütün Anadolu gibi bu bölgeyi de kendi toprakları içine kattı. M.S. 395 senesinde Roma İmparatorluğu ikiye bölününce Anadolu Doğu Roma (Bizans)nın payına düştü. İslâm orduları ve Sâsânîler zaman zaman Bizans’ın elindeki bu bölgeye akınlar yapmışlarsa da bu bölgeyi devamlı olarak ellerinde tutamadılar. 1071 Malazgirt Zaferinden sonra Anadolu fatihi ve Anadolu’da ilk Türk devletinin kurucusu Kutalmışoğlu Gazi Süleyman Şah başkumandanlığındaki Selçuklu Oğuz orduları, bütün Anadolu gibi Yozgat bölgesini de fethederek 1077’de kurulan Selçuklu Türk Devletine kattı.

Bir ara Danişmendoğullarının nüfuzuna giren bu bölge, devamlı Konya’ya yani, Anadolu Selçuklu Türk Devletine bağlı kaldı. 1308’de Selçukoğulları Hanedanı düşünce, Anadolu gibi bu bölge de İlhanlı Devletine bağlandı. İlhanlıların sonuncu Anadolu Genel Valisi Uygur Türklerinden Eratna Bey 1335’te Sivas’ta istiklâlini ilân edince bu bölge Eretna Beyliğine geçti. Bu topraklar 1380’de Selçukoğullarından Melik Rükneddîn’e intikal etti. 1398’de Kadı Burhâneddîn öldürülünce Sultan Yıldırım Bâyezîd Han bu bölgeyi 1398’de Osmanlı Devletine kattı.

Timur Han 1402–1403 senelerinde Yozgat’ı ele geçirdi. Timur Han Anadolu’yu terk edince Çelebi Sultan Mehmed Han bu bölgeyi Osmanlı Devleti sınırlarına yeniden kattı.

Bu tarihten itibaren Osmanlı Devleti yıkılıncaya kadar Yozgat bir İç Anadolu şehri olarak Osmanlı idaresinde yaşadı. Türkmen beylerinden Çapanoğlu Ahmed Paşa Yozgat’ı yeni baştan imar etti. Bu zat 1762–1813 arasında 51 yıl valilik yaptı. Bir ara Çorum, Kayseri, Ankara, Amasya, Çankırı, Niğde, Tarsus bu ailenin idaresine verildi. Sultan İkinci Mahmûd Han zamanında idarî değişiklikler olunca, Üçüncü Çapanoğlu Süleyman Beyin büyük oğlu Celâleddîn Paşa vezir (mareşal) olarak devlet hizmetinde çalıştı. Diyarbakır, Halep, Maraş, Erzurum, Adana ve Kayseri valiliği yaptı ve 1846’da vefat etti. Çapan (Çapar) veya Cebbaroğullarından Ahmed Paşa ve oğulları Hacı Mustafa ile Süleyman Bey; Ömer Ağa ve Müderris Abdülcebbar ve Abdülfettah Efendiler bu aileden olup, devlete büyük hizmetleri oldu. Osmanlı devrinde “Bozok” denilen ve aşağı yukarı bugünkü Yozgat topraklarını içine alan Sancak (vilâyet), Sivas Beylerbeyliğinin (eyaletinin) 8 sancağından biriydi.

Tanzimat’tan sonra ise Ankara vilâyetinin (eyaletinin) beş sancağından biri oldu. Üç kazası vardı. Cumhuriyet devrinde sancaklara (mutasarrıflıklara) vilâyet (il) denilince Yozgat vilâyet oldu.