Ciao Edika,
ospitando un servizio WCF all'interno del servizio per Windows riusciresti ad esporre una API che il client Winforms (o qualsiasi altro tipo di client) riuscirà a consumare molto agevolmente.
Qui trovi la procedura completa.
http://msdn.microsoft.com/it-it/library/ms733069.aspx

edika ha scritto:

Come devo strutturare il servizio per poter accedere al thread di lavoro della libreria dall'applicazione windows form

Che sia esattamente lo stesso thread non ha molta importanza, infatti potrai condividere dati tra il worker thread e il thread che si occupa di rispondere alle richieste WCF. Potresti ad esempio usare un ConcurrentQueue che faccia da intermediario. E' una collezione thread-safe, idonea ad essere scritta e letta da più thread contemporaneamente.

edika ha scritto:

e poter visualizzare i messaggi generati dalla libreria

Se il tuo scopo è appunto quello di accodare/scodare messaggi, allora il thread del worker potrebbe invocare il metodo Enqueue mentre il servizio WCF, quando viene invocato dall'applicazione winforms, invocherebbe il TryDequeue.

Da qui si capisce che l'applicazione Winforms dovrà fare polling al servizio WCF per chiedere periodicamente se ci sono eventuali nuovi messaggi. Se questo ti sembra poco efficiente, c'è un metodo migliore per affrontare la questione. Creando un servizio WCF duplex potrai fare in modo che sia lo stesso servizio per windows a fare il push dei messaggi verso l'applicazione client, nonappena questi si rendono disponibili.
Leggi qui come fare:
http://msdn.microsoft.com/en-us/library/ms731064.aspx

ciao