Ни одно заклятие не бывает без последствий. Вот и отраженная Авада оставила свой след на Гарри. Дурсли вполне вменяемые. Да, племянника они могут не любить, кривить нос от волшебства, но выгоду видят, и, вследствие этого, хорошо относятся к ребенку, который способен на необъяснимые вещи. Гарри не забитый ребенок, не пахал на родственников, по крайней мере, не так, как в каноне.