Die Quadrate dienen meines Wissens vor allem dazu, die unterschiedlichen Vorzeichen "wegzukommen" die bei Verwendung der Absolutbeträgen (x-Mittelwert) entstehen würden und somit ein sinnvolles Maß für die Gesamtheit aller Abweichungen zu erhalten. Wenn Du das ganze nicht quadrieren würdest, würden sich positive und negative Abweichungen zum Mittelwert hin aufheben.
Ausreißer sind wie Du schon sagst ein Problem der Varianz (wie bei allen Durchschnittswerten), dehalb sind immer auch andere Verteilungsmaße für eine sinnvolle Interpretation notwendig wie z.B. die Spannweite.
