Silverlight non necessita obbligatoriamente di un webserver. Se lo installi come Out Of browser può tranquillamente lavorare in modo indipendente. Il problema si verifica quando devi fare qualcosa non supportato da Silverlight, come per l'appunto accedere ai dati.
In quel caso o tramite http (servizi REST o SOAP) o tramite socket necessiti di un altro gente che effettua il lavoro che silverlight non può fare.
Nel tuo caso quindi potresti usare quei webserver leggeri che si installano con un semplice xcopy, oppure accompagnare l'app SL con un'altra che risponda su socket, ma a questo punto non so se ti venga usare SL. Piuttosto passi a WPF e hai tutto di quello che hai bisogno