Sahih Bukhari Volume 2, Book 25, Hadith 1586

حَدَّثَنَا عُبَيْدُ بْنُ إِسْمَاعِيلَ، حَدَّثَنَا أَبُو أُسَامَةَ، عَنْ هِشَامٍ، عَنْ أَبِيهِ، عَنْ عَائِشَةَ ـ رضى الله عنها ـ قَالَتْ قَالَ لِي رَسُولُ اللَّهِ صلى الله عليه وسلم ‏"‏ لَوْلاَ حَدَاثَةُ قَوْمِكِ بِالْكُفْرِ لَنَقَضْتُ الْبَيْتَ ثُمَّ لَبَنَيْتُهُ عَلَى أَسَاسِ إِبْرَاهِيمَ ـ عَلَيْهِ السَّلاَمُ ـ فَإِنَّ قُرَيْشًا اسْتَقْصَرَتْ بِنَاءَهُ ـ وَجَعَلْتُ لَهُ خَلْفًا ‏"‏‏.‏ قَالَ أَبُو مُعَاوِيَةَ حَدَّثَنَا هِشَامٌ خَلْفًا يَعْنِي بَابًا‏

Narrated By 'Aisha : Allah's Apostle said to me, "Were your people not close to the Pre-Islamic period of ignorance, I would have demolished the Ka'ba and would have rebuilt it on its original foundations laid by Abraham (for Quraish had curtailed its building), and I would have built a back door (too)."