Lo primero es hacer limpieza. Usa el comando "Extensions: Show Installed Extensions" y desinstala o deshabilita (para el workspace actual) todas las extensiones que no uses realmente. Muchas extensiones se ejecutan en segundo plano y consumen recursos.
También puedes usar el comando "Developer: Show Running Extensions" para ver un perfilador que te dice qué extensiones están tardando más en arrancar.