Ciao,
può darsi che il modulo ISAPI_Rewrite non supporti tutte le direttive di un .htaccess su una macchina Linux. Per esempio, nella documentazione, non viene menzionata alcuna direttiva ErrorDocument.

Dunque dovresti usare solo ciò che è supportato, come RewriteCond e RewriteRule. Devi cercare di crearti una regola di URL Rewriting che reindirizzi tutte le richieste rivolte a file inesistenti su disco.
Butto lì un esempio, ma non sono affatto sicuro che funzioni. Dovrai sperimentare un po'.

In teoria: le due RewriteCond verificano che la richiesta non sia rivolta ad un file o ad una directory. In quel caso, allora l'URL viene riscritto e la richiesta verrà rivolta a 404.html.

Documentazione sul sito di Apache.
http://httpd.apache.org/docs/2.2/rewrite/flags.html

ciao,
Moreno

---

Modificato da BrightSoul il 11 novembre 2014 22.19 -

Ciao,
404.html è un file fisicamente esistente nella directory principale del tuo sito? Sembra che IIS abbia recepito l'impostazione ma non riesca a trovarlo o a caricarlo.

Inoltre, se stai facendo le prove con il tuo IIS locale, prova a settare errorMode="Custom" altrimenti vedresti comunque la pagina di errore dettagliata.

ciao,
Moreno