La respuesta corta es: SÍ, es absolutamente crucial. Hoy en día, más del 50% del tráfico de internet es móvil. Un reclutador puede que vea tu portfolio en el PC, pero también puede que le eche un ojo rápido desde su móvil. Si tu web no se ve bien, la impresión que das es que no estás al día con las prácticas básicas del desarrollo web.
Además, Google penaliza en sus rankings a las webs que no son "mobile-friendly". No es un extra, es un requisito fundamental.