Ho usato spesso backgroundworker, sia per webservice che non.
Non mi risulta che rallenti sensibilmente l'esecuzione del codice.

Secondo me, se hai già usato il backgroundworker, ti conviene continuare ad usarlo, perché è un'ottimo modo per consentire all'App di fare o continuare a fare qualcos'altro. Anche se adesso l'applicazione non deve fare null'altro, non si può mai sapere cosa ti servirà in futuro...

Per capire dove rallenta io ti consiglierei di usare l'evento ProgressChange, passando anche altri dati tramite l'oggetto UserState che può essere un tuo oggetto personalizzato per passare informazioni di qualsiasi tipo. In questo modo potresti visualizzare le varie fasi e vedere quella che impiega tanto tempo.