Importazione file di grandi dimensioni

PGH — Fri, 30 Nov 2012 16:03:34 GMT

Ciao,
ho scritto delle procedure in c# per importare dei file di testo di grosse dimensioni (anche 3 Gb)in SQL server. La struttura di questi file è abbastanza complessa essendo formati da varie tipologie di righe; in pratica leggo il file riga per riga ed in base al tipo riga faccio il parsing del tracciato e mi costruisco dinamicamente le query d'inserimento appropriate. Ogni tipologia di riga ha la propria tabella di database associata (sono circa 20 tabelle), comprensiva di primarykey e ...

Continua a leggere Importazione file di grandi dimensioni.

RE: Importazione file di grandi dimensioni

Andrea Montanari — Sun, 02 Dec 2012 11:54:38 GMT

salve,
la modalita' nativa di inserimento storicamente piu' "performnte" e' effettuata in modalita' bulk, appunto tramite le api di bulk insert, offerte anche dal programma a linea di comando BCP.exe... queste api (e/o BCP.exe stesso) richiedono pero' come input dei file sui quali non sia necessario procedere ad operazioni di parsing o altro... vengono letti tramite le api anche in modalita' multithreaded procedendo quindi alle operazioni di insert...
nel tuo caso, potresti vedere come le ...

Continua a leggere RE: Importazione file di grandi dimensioni.

RE: Importazione file di grandi dimensioni

PGH — Mon, 03 Dec 2012 10:32:56 GMT

Ciao Andrea,
ti ringrazio per la risposta esaustiva.
Ne approfitto per altri chiarimenti:
- per interfacciarmi a bulk insert da c# devo utilizzare l'oggetto SqlBulkCopy ?
- Se l'operazione di bulk insert non va a buon fine in che stato viene lasciato il database ? Devo fare delle operazioni di manutenzione in questo caso ?
- Non sempre i file da importare sono corretti o conformi al tracciato, ed in questo caso vorrei che il bulk insert terminasse lasciando o ripristinando il database ...

Continua a leggere RE: Importazione file di grandi dimensioni.

RE: Importazione file di grandi dimensioni

Andrea Montanari — Mon, 03 Dec 2012 12:26:04 GMT

PGH ha scritto:
[quote]Ciao Andrea,
ti ringrazio per la risposta esaustiva.
Ne approfitto per altri chiarimenti:
- per interfacciarmi a bulk insert da c# devo utilizzare l'oggetto SqlBulkCopy ?
- Se l'operazione di bulk insert non va a buon fine in che stato viene lasciato il database ? Devo fare delle operazioni di manutenzione in questo caso ?
[/quote]

leggi anche http://msdn.microsoft.com/en-us/library/tchktcdk(v=vs.80).aspx ...
diciamo che "dipende" da come vuoi considerare ...

Continua a leggere RE: Importazione file di grandi dimensioni.