كان عبد الله بن رواحة صديقًا حميمًا لأبي الدرداء في الجاهلية وكان له الأثر الأكبر في إسلامه.
وكان لأبي الدرداء صنم في بيته يقول على عبادته، وذات يوم عزم عبد الله بن رواحة أن يفعل شيئًا من أجل مصلحة أبي الدرداء، فانطلق قاصدًا بيته، فلما وصل حيَّا زوجته وأولادهما واستأذن للدخول، فاستغربت زوجة أبي الدرداء ولكنها لم تكن تعلم عن عبد الله بن رواحة إلا خيرًا، عندئذ أذنت له أن يدخل وراحت إلى شؤون بيتها، فدخل عبد الله بن رواحة على صنم أبي الدرداء وأخرج فأسًا كانت معه وجعل يضرب الصنم وهو يردد: "ألا كلُ ما يُدعى مع الله باطل" حتى حطم الصنم عن ءاخره.
وخرج متسللاً يحمل فأسه وقد استراحت نفسه بما فعل برغم أنه حسب في نفسه عواقب قد تنعكس على علاقته بصاحبه أبي الدرداء إلا أن رجلاً كهذا لا يخشى في الحق لومة لائم، وهذا شعار دائم لأنصار رسول الله صلى الله عليه وسلم.
وجاء أبو الدرداء إلى بيته لتوه من تجارته، ولما دخل على زوجته وجدها تبكي خائفة ترتجف وتنظر إليه بخوف وحذر فقال: ما بك؟ فقالت: عبد الله بن رواحة... وصمتت. قال: ماذا حدث منه؟ قالت: جاء في غيابك، وحطم صنمك وجعله حطمًا متناثرة. فدخل أبو الدرداء إلى حجرة الصنم وراح يتأمل وقد اشتد غضبه في البداية، وظل على حاله ثم وقف لوقت طويل حتى هدأت نفسه وذهب عنه الغضب وتساءل في نفسه: ترى لو كان يستحق العبادة أليس بالأحرى أن يدفع الضرر عن نفسه؟ كيف أعبد صنمًا عاجزًا؟ والله لقد ضللت، ربما كان عبد الله بن رواحة أعلم مني بجهلي.
وانطلق الرجل قاصدًا عبد الله بن رواحة، والتقى به فأطرق عبد الله ينتظر ما سيقوله صاحبه.
وسأل أبو الدرداء: أين رسول الله يا ابن رواحة؟ فهلل وجه صاحبه بابتسامة الاستبشار فقد شعر أن أبا الدرداء يريد الدخول في دين الإسلام، فذهبا إلى رسول الله فقال عليه الصلاة والسلام: "إن ربي وعدني بأبي الدرداء أن يُسلم". فأقبل أبو الدرداء وشهد أن لا إله إلا الله وأن محمدًا عبده ورسوله صلى الله عليه وسلم.
رحم الله أبا الدرداء الذي منّ الله عليه بالإسلام. وفتح الله عليه فتوح العارفين فاغترف من مناهل العلم، وزهد في هذه الدنيا حتى إنه يروى عن الرسول صلى الله عليه وسلم: "عُويمر حكيم أمتي".