io farei una cosa simile:
nel Page_Load aggiungo alla listbox l'evento lato client passando se stessa:

ListBox1.Attributes.Add("onchange","check(this);");

poi come script Javascript potresti fare una cosa simile:

<script language=javascript>
function check(listBox){
count=0;
for(i=0;i<listBox.length;i++){
if(listBox.options[i].selected){
count++;
}
}
if(count>10){
alert('Quello che vuoi');
}
}
</script>