Masjid an-Nabawi ligger i byen Medina, den by, hvortil profeten Muhammed (fvmh) og hans første tilhængere i 622 foretog deres udvandring fra Mekka (hidjra) og skabte den første muslimske stat.

Byen hed tidligere Yathrib, men blev efter udvandringen kaldt Madînat an-Nabî, dvs. "profetens by" forkortet til Medina, som faktisk bare betyder by.

Masjid an-Nabawi betyder i virkeligheden profetens moské og profeten er da også begravet dér. Men at moskéen hedder det, som den nu gør, har også en anden årsag.

Moskéen er den ældste moské af "betydning" og i virkeligheden blev selve fundamentet af moskéen grundlagt af profeten (fvmh) selv. Det berettes, at profeten (fvmh) lod sin kamel lejre sig, hvor den ville; den lagde sig da på en karavaneplads, hvor der stod nogle palmetræer, og her slog profeten (fvmh) sig ned. Han lod træerne rydde og moskéen blev anlagt. Anlægget bestod blot i en simpel mur af soltørret tegl, der indhegnede pladsen. Kun imod nord, i retning af Jerusalem, som de troende dengang endnu vendte sig imod under bønnen, var der et stykke tag som blev båret af nedrammede palmestammer. Denne moské, som siden af al-Walid I. blev bygget op med de senere tiders prægtige arkitektur, var i hele islams ældste tid muslimernes hovedkvarter.

Byen Medina i almindelighed og profetens moské i særdeleshed er sammen med Mekka harâm (ikke-tilladt) for ikke-muslimer og de to byer betegnes under ét som al-haramayn (de to hellige områder). Den saudiske konge har siden 1986 betegnet sig selv som khâdim al-haramayn. Det skal forstås som "beskytter af de to harâm-områder". Det var i middelalderen én af khaliffens ærestitler og pligter. Under de saudiske konger har profetens moské fået endnu en arkitektonisk modernisering og en stor del af den nuværende moskés facade er et resultat heraf.