Que s'est-il passé
TechCrunch, citant le Chicago Tribune et un rapport du bureau du shérif du comté de Siskiyou, indique que trois randonneurs ont utilisé Google Gemini pour planifier une expédition sur le mont Shasta et ont atteint le sommet à 19 heures. après un départ à 3 heures du matin, et ont été secourus le lendemain matin après avoir tenté une descente de nuit. Le bureau du shérif a déclaré que Gemini recommandait beaucoup moins de nourriture et d’eau que ce dont le groupe avait besoin.
TechCrunch a rapporté le 5 septembre que trois jeunes hommes avaient été secourus sur le mont Shasta en Californie après avoir utilisé le chatbot Gemini de Google pour planifier leur randonnée. Le récit cite le Chicago Tribune et un rapport du bureau du shérif du comté de Siskiyou ; la source ne fournit pas de transcription examinée de manière indépendante de l’interaction du chatbot.
Selon le compte rendu du bureau du shérif cité par TechCrunch, les randonneurs sont partis à 3 heures du matin et ont atteint le sommet à 19 heures, malgré les indications selon lesquelles les randonneurs devraient faire demi-tour s'ils n'ont pas atteint le sommet à midi. Ils ont ensuite tenté de descendre dans l’obscurité, ont appelé le bureau du shérif pour obtenir des directions et ont passé la nuit à Mud Creek Canyon.
TechCrunch indique que les gardes forestiers et les bénévoles ont sauvé le groupe le lendemain matin. Le bureau du shérif a déclaré que Gemini avait conseillé aux randonneurs d'apporter beaucoup moins de nourriture et d'eau que ce dont le groupe avait besoin, en particulier après que leur ascension prévue de huit heures soit devenue une épreuve de plusieurs jours. La source n’identifie pas le modèle ou la version du Gemini, l’invite exacte, les quantités recommandées ni la réponse des randonneurs aux conseils.
Détails de la source: techcrunch.com ↗
Pourquoi c'est important
L’incident illustre un risque pratique pour la sécurité lorsque les gens traitent un chatbot IA à usage général comme un substitut à l’expertise locale dans des situations où les conditions, le calendrier et les fournitures peuvent déterminer si un voyage est sûr. Le rapport n'établit pas de manière indépendante exactement ce que Gemini a recommandé ni dans quelle mesure les randonneurs s'y sont appuyés, mais il montre pourquoi les conseils en extérieur générés par l'IA nécessitent une vérification par rapport aux sources officielles et aux conditions actuelles.
Les systèmes d’IA peuvent fournir des recommandations fiables et spécifiques sans intégrer de manière fiable les dangers locaux, les conditions météorologiques changeantes, les conditions d’itinéraire, les règles de demi-tour ou les conséquences des retards. Dans l’aménagement extérieur, une erreur concernant les fournitures ou le calendrier peut devenir un problème de sécurité physique plutôt qu’une simple réponse gênante.
Le rapport est un avertissement concret concernant la fiabilité et la vérification, et non une preuve que Gemini a provoqué le sauvetage à lui seul. TechCrunch note qu'il n'est pas clair si Gemini peut être entièrement responsable des décisions des randonneurs. Aucun test indépendant des conseils de Gemini, aucune transcription et aucune réponse de Google ne sont inclus dans la source.
L'implication pratique est simple : les personnes planifiant des voyages à haut risque ou dans des régions éloignées doivent vérifier les informations générées par l'IA auprès des gestionnaires fonciers officiels, des postes de gardes forestiers et des avis de sécurité en vigueur, et doivent emporter des fournitures et des plans d'urgence adaptés à un retour retardé ou de nuit.
Mécanisme interactif : comment cela fonctionne réellement
Explorez de manière interactive la technologie sous-jacente à ce développement.
A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
Que regarder ensuite
Surveillez les autres reportages des autorités locales, des randonneurs ou de Google sur les invites, les conseils et le modèle impliqués. La principale question non résolue est de savoir si Gemini a produit des directives de planification matériellement incorrectes, si un contexte important a été omis ou si les randonneurs se sont considérablement écartés du plan.
Des détails supplémentaires provenant du bureau du shérif du comté de Siskiyou, du Service forestier américain, des randonneurs ou de Google pourraient clarifier ce que Gemini a dit et si les conseils du chatbot étaient inexacts, incomplets ou mal compris.
La source cite le bureau du shérif recommandant aux visiteurs de contacter le poste local de garde forestier du US Forest Service à Mount Shasta avant un voyage et de ne jamais compter uniquement sur l’IA pour planifier le voyage. On ne sait pas si Gemini a modifié son produit, émis un avertissement ou ajouté des mesures de protection spécifiques à un emplacement en réponse.
Toute preuve plus large devrait distinguer les échecs anecdotiques isolés des problèmes systématiques. La source ne fournit aucun test, décompte d'incidents ou évaluation comparative de Gemini par rapport à d'autres outils de planification de voyage.