Penggunaan timbal dan grafit yang memberikan efek goresan abu-abu sudah dimulai sejak zaman Yunani. Pada tahun 1564 ditemukan kandungan grafit murni dalam jumlah besar di Inggris bagian utara. Walaupun terlihat seperti batu bara, grafit tidak dapat terbakar, dan meninggalkan bekas berwarna hitam mengkilap serta mudah dihapus. Pada masa itu grafit masih disalahartikan dengan timah hitam dan plumbago. Karena itulah istilah lead pencil (pensil timah) masih digunakan sampai sekarang.
Karena berminyak, dahulu grafit dibungkus dengan kulit domba atau potongan kecil timah berbentuk tongkat dibungkus dengan tali.
Tidak diketahui dengan pasti siapa yang pada awalnya memasukkan grafit ke dalam wadah kayu sehingga berbentuk pensil yang kita kenal sekarang ini. Namun, pada tahun 1560-an, pensil dengan bentuk yang primitif sudah ada di benua Eropa.
Grafit kemudian diekspor untuk para seniman, dan pada abad ke 17 bisa dikatakan grafit telah digunakan dimana-mana.
Para pembuat pensil melakukan percobaan dengan grafit untuk menciptakan alat tulis yang lebih baik. Karena grafit menjadi hal yang begitu berharga dan menjadi incaran pencuri, pada tahun 1752 Parlemen Inggris mengeluarkan undang-undang yang menetapkan bahwa pencuri grafit bisa dipenjarakan.
Pada tahun 1789 nama grafit yang berasal dari bahasa Yunani graphein resmi diberikan, sehingga menghilangkan kebingungan antara grafit dengan timah hitam. Dalam pembuatan pensil modern, grafit murni digunakan dengan cara dicampur dengan tanah liat.