Ok grazie ancora dei suggerimenti, nel frattempo ho implementato con successo HangFire e devo dire che mi ha risolto il problema, ora riesco a far precaricare in "background" i dati senza che la webApp si blocchi potendo così informare l'utente in caso venga fatta una richiesta al sito durante appunto il processo di precaricamento.
Grazie!!!
Ovviamente l'intenzione è quella di impostare il riavvio del del pool di IIS secondo tempistiche ben definite, e ovviamente in orari notturni, anche se poi si tratta di qualche minuto.
In questo modo se per qualsiasi eventualità si dovesse riavviare IIS in orari lavorativi almeno non blocca la richiesta al sito.
Se poi il progetto "prenderà il volo" sicuramente mi preoccuperò di utilizzare un ORM quale EF o Nhibernate anche se non so ancora tra i due... forse EF perchè lo immagino un prodotto meglio integrato vista la sua natura, e comunque è quasi d'obbligo un ORM, pensa che mi sono scritto a mano qualsiasi iterazione col DB ovviamente tramite ADOnet.
Il fatto è che così riesco ad intervenire in qualsiasi punto del codice, non so se riuscirei a fare altrettanto con un un ORM, c'è anche da dire però che non è buona pratica progettare un applicazione di media complessità in questo modo, non è molto "funzionale".
Oltre a questo lavorerò anche sul fronte dell'ottimizzazione LINQ-to-Object perchè il rallentamento non è dato tanto dalla lettura dei dati e relative conversioni in liste di oggetti ma dalle query LINQ integrate dentro gli oggetti che vengono risolte durante la loro inzializzazione.
Ho letto al volo qualche cosa in merito all'ottimizzazione delle performance di LINQ ma non ho capito molto, dovrò approfondire la questione.