Sí, necesitas Alertmanager. Piénsalo así: Prometheus es el que detecta que "algo va mal" (evalúa las reglas de alerta). Pero Alertmanager es el "cartero inteligente". Recibe las alertas de Prometheus y se encarga de deduplicarlas (para no enviarte 100 mensajes si el problema persiste), agruparlas, silenciarlas si es necesario, y enviarlas al destino correcto (Slack, email, PagerDuty...).
Prometheus solo sabe "disparar", Alertmanager sabe "gestionar y entregar". Es una pieza fundamental y muy potente.