Asal-usul sempoa sulit dilacak karena alat hitung yang mirip-mirip sempoa banyak dikenal di berbagai kebudayaan di dunia. Konon sempoa sudah ada di Babilonia dan di Tiongkok sekitar tahun 2400 SM dan 300 SM. Orang zaman kuno menghitung dengan membuat garis-garis dan meletakkan batu-batu di atas pasir yang merupakan bentuk awal dari berbagai macam variasi sempoa.
Dalam bahasa Inggris, sempoa dikenal dengan nama abacus. Penggunaan kata abacus sudah dimulai sejak tahun 1387, meminjam kata dalam bahasa Latin abakos yang berasal dari kata abax yang dalam bahasa Yunani berarti “tabel perhitungan.” Dalam bahasa Yunani, kata abax juga berarti tabel untuk menggambar bentuk-bentuk geometris di atas debu atau pasir. Ahli linguistik berspekulasi bahwa kata abax berasal dari kata ābāq yang dalam bahasa Ibrani yang berarti “debu.” Pendapat lain mengatakan abacus berasal dari kata abak yang dalam keluarga bahasa Fenisia berarti “pasir.”
Dalam bahasa Inggris, sempoa dikenal dengan nama abacus. Penggunaan kata abacus sudah dimulai sejak tahun 1387, meminjam kata dalam bahasa Latin abakos yang berasal dari kata abax yang dalam bahasa Yunani berarti “tabel perhitungan.” Dalam bahasa Yunani, kata abax juga berarti tabel untuk menggambar bentuk-bentuk geometris di atas debu atau pasir. Ahli linguistik berspekulasi bahwa kata abax berasal dari kata ābāq yang dalam bahasa Ibrani yang berarti “debu.” Pendapat lain mengatakan abacus berasal dari kata abak yang dalam keluarga bahasa Fenisia berarti “pasir.”