Guest on AI with Sach

Céline Castets-Renard

Professeure titulaire à l'Université d'Ottawa et titulaire de la Chaire de recherche sur l'IA responsable dans un contexte mondial

Episode with Céline

Céline Castets-Renard, Jade Benson-Poitras speaking on AI with Sach, episode 12Episode 12 · September 2024 · FrançaisL'IA et le droit : Enjeux éthiques, risques et régulationTwo law researchers explain how Canada, the EU, the US and China regulate AI, and why existing law already applies.Céline Castets-Renard, Jade Benson-PoitrasProfesseure titulaire à l'Université d'Ottawa et titulaire de la Chaire de recherche sur l'IA responsable dans un contexte mondial · Étudiante en droit, stagiaire chez Rexlex et assistante de recherche à l'Université d'Ottawa

In Céline’s words

Nobody wants to open the AI black box anymore. Regulators now focus on what happens before and after it.

Et donc, certains au début disaient il faut ouvrir la boîte, il faut qu'on puisse comprendre, etc. Et là, tout le monde dit aujourd'hui, plus personne ne dit qu'il faut l'ouvrir, en disant de toute façon, ça ne sert à rien, personne ne comprend. Par contre, ce qu'on peut faire et ce que l'on doit faire, c'est poser des obligations avant et des obligations après la boîte.
Céline Castets-Renard
Answering whether we can regulate AI that even its builders do not fully understand.
Said on AI with Sach · Ep. 12 · Sep 2024 · at 31:20

Neither automatically negative nor naively technophile: how an AI law chair tries to look at the technology.

On essaie de ne pas être automatiquement négatif, mais on essaie aussi de ne pas être trop naïf et d'être toujours technophile, et de toujours penser que l'IA sera forcément un progrès pour tout le monde.
Céline Castets-Renard
Describing the stance of the Research Chair on Responsible AI.
Said on AI with Sach · Ep. 12 · Sep 2024 · at 2:02

A law professor's answer to existential AI risk: deal with today's harms first.

Pour ma part, je me dis que le juriste a déjà affaire avec les risques actuels qui sont identifiés. Donc, regardons déjà ce qui se passe aujourd'hui avant de se préoccuper du futur.
Céline Castets-Renard
Responding to the split between short-term AI risks and the existential risks championed by Yoshua Bengio.
Said on AI with Sach · Ep. 12 · Sep 2024 · at 4:18

Québec got ten non-binding principles on AI. The EU got a 140-page regulation with heavy penalties.

Malheureusement, pour l'instant, ça a débouché sur dix principes généraux qui ne sont pas très contraignants, donc qui n'ont rien à voir avec une véritable législation. Alors, par ailleurs, qu'en Europe, dans l'Union européenne, on a adopté en juin dernier un énorme règlement qui fait 140 pages
Céline Castets-Renard
Comparing Québec's process, which produced ten principles, with the EU AI regulation.
Said on AI with Sach · Ep. 12 · Sep 2024 · at 5:29

China's firewall worked as industrial policy: it shielded its tech giants from American competition.

On constate que le gouvernement chinois, dans un premier temps, les a laissés grossir et a plutôt protégé le marché, puisque la muraille numérique qui exclut la Chine du marché du numérique et du marché de l'Internet, du coup, cette organisation a permis à ces entreprises de grandir sans vraiment la concurrence des grandes américaines
Céline Castets-Renard
Explaining the Chinese regulatory model and how it protected Baidu, Tencent and Huawei.
Said on AI with Sach · Ep. 12 · Sep 2024 · at 8:33

Only a handful of companies can afford the data, infrastructure and people to build large AI models.

qui nécessitent énormément de moyens, énormément de données, d'infrastructures, et seules ces entreprises ont les moyens d'avoir tout à la fois, les données, les infrastructures et les personnes, parce qu'évidemment, il faut beaucoup d'argent pour ça.
Céline Castets-Renard
Describing the US market-led model and how general-purpose AI models lock up the market.
Said on AI with Sach · Ep. 12 · Sep 2024 · at 11:13

Much of AI law exists because researchers exposed biased recidivism scoring tools in US prisons.

Par exemple, les risques de discrimination ont été beaucoup révélés par rapport, par exemple, à des outils de score, de risque de récidive, par exemple, dans le système pénitentiaire américain. On a vu que ces types de scoring étaient biaisés, ces types d'outils étaient biaisés au détriment des populations noires.
Céline Castets-Renard
Showing that AI regulation is built on scandals that revealed discrimination.
Said on AI with Sach · Ep. 12 · Sep 2024 · at 18:14

Google tried to fix bias in Gemini and ended up generating Black Nazi soldiers.

Mais on voit, par exemple, Google avec son modèle Gemini qui a voulu rectifier certains biais ratios, mais qui, du coup, a montré des soldats nazis noirs. Ce qui est plus qu'une contre-vérité historique, c'est quand même une atrocité de nous montrer ça.
Céline Castets-Renard
Giving an example of how clumsy attempts to debias datasets can go wrong.
Said on AI with Sach · Ep. 12 · Sep 2024 · at 27:26

Regulating AI is like watching milk on the stove: checking at launch is not enough.

Donc, il faut toujours, c'est un peu le lait sur le feu. Il faut toujours le surveiller et ne pas tenir pour acquis que ce qui a été vérifié au moment de la mise sur le marché est suffisant et on n'a plus rien à faire.
Céline Castets-Renard
Explaining why AI systems must be monitored after launch because they can degrade.
Said on AI with Sach · Ep. 12 · Sep 2024 · at 35:22

Give AI legal personhood and nobody pays when it causes harm. That is why lawyers say no.

Il ne se passe rien du tout parce que quand on crée une personnalité juridique, normalement, il y a un patrimoine qui est associé pour justement pouvoir réparer les éventuels problèmes. Donc, en fait, c'est déplacer le problème mais rien régler du tout. Donc, il faut plutôt rendre responsables les concepteurs et les fournisseurs des systèmes d'IA
Céline Castets-Renard
Explaining why AI should not be given legal personhood.
Said on AI with Sach · Ep. 12 · Sep 2024 · at 37:36