Prova così:
<%
Dim num : num = Request.Form("numero")
If IsNumeric(num) And InStr(num, ".") = 0 And InStr(num, ",") = 0 Then
Response.Write "OK"
Else
Response.Write "Inserire un numero"
End If
%>
NOTA: IsNumeric accetta anche "." e "," (la stringa è convertibile in un numero decimale) quindi ho aggiunto anche i due controlli InStr.
In alternativa puoi usare una RegExp
Considera cmq di effettuare *anche* un controllo prima dell'invio del form (lato client con javascript). Con js puoi usare isNaN o una RegExp.