ولما حضرته الوفاة أوصى إلى أخيه إسحاق، وزوج ابنته نسمة من ابن أخيه العيص بن إسحاق فولدت له الروم، ويقال لهم: بنو الأصفر لصفرة كانت في العيص. وولدت له اليونان في أحد الأقوال، ومن ولد العيص الأشبان، قيل منهما أيضاً.
ودفن إسماعيل نبي الله بالحجر مع أمه هاجر، وكان عمره يوم مات مائة وسبعاً وثلاثين سنة، وروي عن عمر بن عبد العزيز أنه قال: شكى إسماعيل عليه السلام إلى ربه عز وجل حرَّ مكة، فأوحى الله إليه أني سأفتح لك باباً إلى الجنة إلى الموضع الذي تدفن فيه، تجري عليك روحها إلى يوم القيامة.