Bias, Rules and Proof

A bank's model never asked about ethnicity or class. The postal code did it anyway.

Et sans même le savoir, on crée une discrimination, où on se retrouvait à discriminer automatiquement certains codes postaux, parce que, généralement, il y avait une moins bonne capacité d'emprunt.

Zip code in a loan model: the simplest example of how bias hides in AI.

And I saw that zip code was a really high, high importance feature. I would automatically tell that that's probably not a great way of categorizing whether somebody should get a loan or not, just because they live in a particular area. And I know it correlates with race, right? At least in the United States.

Early iPhone face unlock struggled with darker skin. The cause was the training images.

Au départ, ça se retrouvait que les iPhones avaient de la difficulté à ouvrir quand c'était des Afro-Américains, par exemple, qui l'utilisaient ou juste des gens avec la peau plus foncée. Et ça, c'est un biais qui était dû au fait qu'il n'y avait pas assez de diversité dans les images utilisées pour l'entraînement du système.

Nobody wants to open the AI black box anymore. Regulators now focus on what happens before and after it.

Et donc, certains au début disaient il faut ouvrir la boîte, il faut qu'on puisse comprendre, etc. Et là, tout le monde dit aujourd'hui, plus personne ne dit qu'il faut l'ouvrir, en disant de toute façon, ça ne sert à rien, personne ne comprend. Par contre, ce qu'on peut faire et ce que l'on doit faire, c'est poser des obligations avant et des obligations après la boîte.

AI audits will follow the path of cybersecurity audits: no verification, no big customers.

the bottom line is if you want to do business with big companies, they have to trust you. And the only really way to do that is to get an independent third party to somehow verify that you are trustworthy

A car with no steering wheel changes who is liable. The same goes for AI.

Par exemple, si tu es dans une voiture qui n'a pas de volant et que tu as un accident, qu'est-ce qui arrive? En soi, ce qui arrive, c'est que c'est l'organisation qui va avoir bâti la voiture qui va être responsable parce qu'il n'y a aucune façon pour le pilote de pouvoir le prévenir, ce risque-là.