Jean-Sébastien
Co-fondateur de Fireraven, startup montréalaise de cybersécurité pour l'IA; ancien co-fondateur et CTO de Quotes-n-Go
Episode with Jean-Sébastien
L'IA au service de la Cybersécurité avec son Co-fondateur Jean-SébastienA Montréal co-founder explains how guardrails and monitoring protect AI chatbots and agents, and warns about lost expert knowledge and data that stays in models.Jean-SébastienCo-fondateur de Fireraven, startup montréalaise de cybersécurité pour l'IA; ancien co-fondateur et CTO de Quotes-n-GoIn Jean-Sébastien’s words
A chatbot invented plane ticket discounts. The airline got sued and its market value dropped.
Leur chatbot, pour mettre en contexte, était en train de vendre des faux discounts aux clients. Donc, ils vendaient des faux billets d'avion avec des discounts qu'ils vantaient, qui n'existaient pas vraiment. Puis, ils se sont venus poursuivre, puis ça leur a coûté quand même beaucoup d'argent en lawsuit, mais aussi en capitalisation boursière qui a baissé.Put a credit card number in an AI model and you may never get it out.
Par exemple, dans un modèle d'IA, une fois que c'est là, c'est dans les poids du modèle. Puis c'est vraiment difficile d'aller enlever ça ensuite. Parce que le modèle, si un numéro de carte de crédit est mis dans un modèle d'IA, tu peux toujours l'extraire après parce que c'est caché dans les poids.A guardrail is a firewall for your AI chatbot, on the way in and the way out.
on peut voir sur un firewall, comme une protection, que tu peux soit mettre à l'entrée ou à la sortie d'un modèle. Donc, à l'entrée, ça protège contre tout ce qui est des sujets hors contexte.Some company chatbots hand over their hidden instructions if you just ask.
Des fois, il n'y a aucune protection. Tu peux seulement demander au chatbot, donne-moi ton contexte, puis il va juste commencer à te dire, c'est quoi le premier prompt qu'il a eu sans aucune sécurité, ce qui apporte beaucoup d'enjeux de sécurité aussi.North America: grow fast, and if it breaks, start again. Europe: grow slow.
en Europe, ça va plus être du growth lent mais sustainable. Tandis qu'en Amérique, c'est plus du growth rapide. Si ça brise, c'est pas grave. On va apprendre et on va repartir sur d'autres business après.A cybersecurity founder tells startups not to worry about SOC 2 on day one.
C'est quand même controversé à dire un peu, mais je pense que pour un startup qui commence, il n'y a pas encore de clients, ils ne devraient pas vraiment focusser sur la cyber. tes certifications SOC 2, ISO, etc.We pay for software to avoid a year of development. What happens when that takes minutes?
Ce que je veux dire par là, c'est la plupart des produits qu'on achète aujourd'hui, on les achète parce qu'on veut éviter le temps de développement, par exemple, de un an ou deux que ça prendrait pour avoir accès à cet outil-là.Blu-ray beat a better format through marketing. AI products face the same thing, faster.
Il paraît que l'autre était plus performante, plus efficace que Blu-ray. Une gamme de marketing, une gamme de partenariat qui a fait en sorte que Blu-ray est devenue la norme et l'autre a disparu, puis on ne se rappelle juste plus du nom.Someone with 20 years in a niche has a bigger AI advantage than another young SaaS engineer.
Dès que quelqu'un qui a 40-50 ans connaît super bien un domaine spécifique, connaît tous les pain points de ce domaine-là, va comprendre que, OK, je vais prendre de l'IA puis vraiment l'appliquer de même, puis dans ce domaine-là spécifique, c'est vraiment un avantage comparé à plein d'autres jeunes ingénieurs qui veulent partir leur prochain SaaS productHis unpopular AI belief: we will lose the knowledge of experts who retire.
Je sens qu'il va y avoir beaucoup de connaissances qui vont se perdre. L'expérience de personnes qui ont entre 40 et 60 ans qui sont en train de prendre leur retraite, peut-être pas 40 ans, mais tu comprends ce que je veux dire?Most code online is average. The same will be true of knowledge in every other field.
Si tu regardes la moyenne du code qui existe en ligne, la moyenne du code n'est pas bonne. Ce qui est bon, c'est le tail end, juste ce qui est vraiment la crème de la crème du code que tu veux que les modèles d'IA apprennent de ça seulement.The startup he wants: a marketplace where AI agents hire other AI agents.
Ça fait vraiment avoir comme un network d'agents qui communiquent ensemble sur lesquels on peut chercher, mais pas en tant qu'un humain qui cherche sur le network d'agents, mais vraiment un agent qui cherche sur un network d'agents.