# Céline Castets-Renard

Céline Castets-Renard (Professeure titulaire à l'Université d'Ottawa et titulaire de la Chaire de recherche sur l'IA responsable dans un contexte mondial) was a guest on AI with Sach, a podcast hosted by Sacha Gucciardo in Montréal.

## Episode 12: L'IA et le droit : Enjeux éthiques, risques et régulation (September 2024)

Two law researchers explain how Canada, the EU, the US and China regulate AI, and why existing law already applies.

Page: https://aiwithsach.com/episodes/12-l-ia-et-le-droit-enjeux-ethiques-risques-et-regula/

> Et donc, certains au début disaient il faut ouvrir la boîte, il faut qu'on puisse comprendre, etc. Et là, tout le monde dit aujourd'hui, plus personne ne dit qu'il faut l'ouvrir, en disant de toute façon, ça ne sert à rien, personne ne comprend. Par contre, ce qu'on peut faire et ce que l'on doit faire, c'est poser des obligations avant et des obligations après la boîte.
> — at 31:20 (https://www.youtube.com/watch?v=FcwK41CZ8aU&t=1880s)

> On essaie de ne pas être automatiquement négatif, mais on essaie aussi de ne pas être trop naïf et d'être toujours technophile, et de toujours penser que l'IA sera forcément un progrès pour tout le monde.
> — at 2:02 (https://www.youtube.com/watch?v=FcwK41CZ8aU&t=122s)

> Pour ma part, je me dis que le juriste a déjà affaire avec les risques actuels qui sont identifiés. Donc, regardons déjà ce qui se passe aujourd'hui avant de se préoccuper du futur.
> — at 4:18 (https://www.youtube.com/watch?v=FcwK41CZ8aU&t=258s)

> Malheureusement, pour l'instant, ça a débouché sur dix principes généraux qui ne sont pas très contraignants, donc qui n'ont rien à voir avec une véritable législation. Alors, par ailleurs, qu'en Europe, dans l'Union européenne, on a adopté en juin dernier un énorme règlement qui fait 140 pages
> — at 5:29 (https://www.youtube.com/watch?v=FcwK41CZ8aU&t=329s)

> On constate que le gouvernement chinois, dans un premier temps, les a laissés grossir et a plutôt protégé le marché, puisque la muraille numérique qui exclut la Chine du marché du numérique et du marché de l'Internet, du coup, cette organisation a permis à ces entreprises de grandir sans vraiment la concurrence des grandes américaines
> — at 8:33 (https://www.youtube.com/watch?v=FcwK41CZ8aU&t=513s)

> qui nécessitent énormément de moyens, énormément de données, d'infrastructures, et seules ces entreprises ont les moyens d'avoir tout à la fois, les données, les infrastructures et les personnes, parce qu'évidemment, il faut beaucoup d'argent pour ça.
> — at 11:13 (https://www.youtube.com/watch?v=FcwK41CZ8aU&t=673s)

> Par exemple, les risques de discrimination ont été beaucoup révélés par rapport, par exemple, à des outils de score, de risque de récidive, par exemple, dans le système pénitentiaire américain. On a vu que ces types de scoring étaient biaisés, ces types d'outils étaient biaisés au détriment des populations noires.
> — at 18:14 (https://www.youtube.com/watch?v=FcwK41CZ8aU&t=1094s)

> Mais on voit, par exemple, Google avec son modèle Gemini qui a voulu rectifier certains biais ratios, mais qui, du coup, a montré des soldats nazis noirs. Ce qui est plus qu'une contre-vérité historique, c'est quand même une atrocité de nous montrer ça.
> — at 27:26 (https://www.youtube.com/watch?v=FcwK41CZ8aU&t=1646s)

> Donc, il faut toujours, c'est un peu le lait sur le feu. Il faut toujours le surveiller et ne pas tenir pour acquis que ce qui a été vérifié au moment de la mise sur le marché est suffisant et on n'a plus rien à faire.
> — at 35:22 (https://www.youtube.com/watch?v=FcwK41CZ8aU&t=2122s)

> Il ne se passe rien du tout parce que quand on crée une personnalité juridique, normalement, il y a un patrimoine qui est associé pour justement pouvoir réparer les éventuels problèmes. Donc, en fait, c'est déplacer le problème mais rien régler du tout. Donc, il faut plutôt rendre responsables les concepteurs et les fournisseurs des systèmes d'IA
> — at 37:36 (https://www.youtube.com/watch?v=FcwK41CZ8aU&t=2256s)