En la época fenicia y griega, la costa fue muy visitada, habiéndose encontrado restos fenicios, fundándose Zilil (o Zilis, según otros autores) en el siglo II a.c., fue posterior colonia cartaginesa, revelándose contra Cartago, llegando a tener su propia moneda. Perdería importancia por el resurgir de Lixus. En el siglo I a. C. se asentaron los romanos, denominándola Colonia Augusti Iulia Constantia Zilil (Augusta Zilil).

Conquistada por los árabes en el 712, vuelve a resurgir con el nombre de Asila, siendo punto de encuentro de comerciantes del sur de España y regiones vecinas, conociendo actividades científicas y culturales con la aparición sabios y escritores, es la época de los idrisíes. En 1471 fue tomada por los portugueses, que la fortificaron convirtiéndose en un centro comercial en la ruta del oro sahariano. En 1578 el rey Sebastián I desembarca con su ejército para la conquista de Marruecos, siendo derrotado en Alcazarquivir (1578), regresando la ciudad a manos de los saadíes.

La ciudad durante los siglos XV y XVI fue una fortaleza importante bien protegida por armas de diferente calibre. Pasó a manos del rey Felipe II de España tras la muerte del rey de Portugal (1578), siendo reconquistada por Mulay Ismail en 1691. En 1860 coincidiendo con la primera guerra de África fue bombardeada por la armada Española. En 1906 fue tomada por Raisuni, quien se nombró a sí mismo pachá, instaurando un régimen de terror.

Las murallas que rodean la ciudad fueron construidas por Alfonso V de Portugal en el siglo XV. En la zona del mar quedan antiguos cañones. Bab Homar o puerta Tierra abierta, bajo una torre tiene un escudo de armas del rey de Portugal. La puerta del mar, junto al la torre cuadrada portuguesa que domina toda la ciudad, se sitúa, el la plaza de Sidi Ali ben Hamdush, cuyo interior se dedica a exposiciones. Junto al mar está el caserón hispano morisco, palacio de Raisuni, hoy palacio de cultura asiento del mussel cultural.

La medina está formada por casas blancas muy limpias y silenciosas con pinturas murales muy coloristas, el alumbrado público es original: "la linterna de Arcila"; las casas se están rehabilitando con bonito diseño neoárabe. El enlosado de las calles es obra de artistas locales. Destaca junto al mar un antiguo cementerio musulmán, con tumbas de cerámica multicolor, y el mausoleo de Sidi Ahmed El Mansur, saadí que reconquisto la ciudad tras la Batalla de los Tres Reyes.

En la calle de la alcazaba está, desde 1988, el centro Hasan II de encuentros internacionales lugar de conferencias exposiciones y otras manifestaciones, plazas, en esta calle quedan restos de acuartelamientos. españoles la Yamaa Kebira y termina en la puerta de la Alcazaba rodeada de jardines. Dentro de la medina hay algunos edificios de la época del protectorado como las escuelas de Sidi Mohamed Ali Marzok, y junto a esta, la medersa coránica, obras de Larrucea de los años 1929-1930.