Υπάρχουν δύο εκδοχές για το πώς προήλθε η ονομασία του νησιού. Η πρώτη υποστηρίζει πως το όνομα προέρχεται από την αρχαιότητα και το πήρε από τον κόλπο που βρίσκεται μεταξύ των δύο νησιών και του Γλαρονησίου και λεγόταν «Κουφός Λιμήν», δηλαδή απάνεμο λιμάνι, όπου μπορούσε να ελλιμενιστεί πλοίο.

Η δεύτερη εκδοχή έχει δοθεί από το νησιογράφο Μάνεση που υποστηρίζει ότι η ονομασία Κουφονήσια οφείλεται στις πολλές σπηλιές και τα ιζήματα γύρω-γύρω στο νησί, χωρίς συμπαγή βράχο (κουφό το χώμα - Κουφονήσια). Στον αντίποδα των δυο αυτών θεωριών, συναντάμε τη μαρτυρία του Αντώνη Μηλιαράκη που το 1920 έγραψε ότι το Πάνω Κουφονήσι ονομαζόταν «Φακούσα» από το σχήμα φακής που έχει το νησί και το Κάτω Κουφονήσι ονομαζόταν «Πίνο» από τις πολλές Πίνες (είδος ψαριού) που υπάρχουν στο νησί.

Τα Κουφονήσια κατοικούνται αδιάλειπτα από την προϊστορική ακόμα εποχή. Ανασκαφές που έγιναν στην περιοχή "Επάνω Μύλοι" έφεραν στο φως σημαντικά ευρήματα, ταφικά και άλλα των πρώιμων φάσεων του κυκλαδικού πολιτισμού. Ίσως το πιο σημαντικό από αυτά, ένα τηγανόσχημο αγγείο με χαραγμένο επάνω του ένα εννιάκτινο αστέρι φυλάσσεται σήμερα στο Μουσείο της Νάξου. Μια δεύτερη ανασκαφή στο νότιο άκρο της ανατολικής ακτής αποκάλυψε ευρήματα Ελληνιστικών και Ρωμαϊκών χρόνων.

Στο ρου της ιστορίας τα Κουφονήσια ακολούθησαν την κοινή μοίρα όλων των νησιών των Κυκλάδων. Γνώρισαν την κυριαρχία των Ενετών και των Τούρκων, οι οποίοι κατά τη διάρκεια κυρίως του 17ου αιώνα συγκρούστηκαν αρκετές φορές για την εξουσία των νησιών του Αιγαίου Πελάγους. Οι Κουφονησιώτες άλλοτε από ανάγκη και άλλοτε κατ' επιλογή, συνέπρατταν συχνά με Μανιάτες ή με άλλους πειρατές, οι οποίοι χρησιμοποιούσαν τον πορθμό ανάμεσα στο Άνω και το Κάτω Κουφονήσι ως ασφαλές καταφύγιο. Τα Κουφονήσια απελευθερώθηκαν μαζί με τις υπόλοιπες Κυκλάδες και ενσωματώθηκαν στο νεοσύστατο ελληνικό κράτος το 1830.

Κατά τη διάρκεια της Κατοχής (1941-1945) οι κάτοικοι γνώρισαν πολλές δύσκολες στιγμές. Μεταπολεμικά κατοικούσαν 1000 περίπου άτομα στο Κουφονήσι. Πολλοί όμως, φύγανε μετανάστες στην Αθήνα για να δουλέψουν και οι άνδρες κυρίως, για να μπαρκάρουν. Ο ΟΤΕ ήρθε το 1964 στο νησί και η ΔΕΗ το 1984. Οι κάτοικοι επικοινωνούσαν με τ' άλλα νησιά και με την υπόλοιπη Ελλάδα με καΐκια και με ένα καράβι που περνούσε από την Ηρακλειά κάθε 8 ημέρες. Όταν υπήρχε φουρτούνα, ο γιατρός δεν μπορούσε να επισκεφτεί το νησί. Παλιότερα υπήρχε ένας γιατρός για όλες τις Μικρές Κυκλάδες.