L'appétit de destruction d'Elon Musk

Une vague de procès fait valoir que le logiciel de conduite autonome de Tesla est dangereusement surmédiatisé. Que peuvent nous apprendre ses angles morts sur le PDG erratique de l'entreprise ?

Crédit...Illustration photo par Justin Metz

Supporté par

Par Christopher Cox

Pour plus de journalisme audio et de narration, téléchargez New York Times Audio, une nouvelle application iOS disponible pour les abonnés aux actualités.

Pour entendre plus d'histoires audio de publications comme le New York Times, téléchargez Audm pour iPhone ou Android.

Au début, le logiciel avait la fâcheuse habitude de heurter les voitures de police. Personne ne savait pourquoi, bien que les ingénieurs de Tesla aient eu de bonnes suppositions : les objets stationnaires et les lumières clignotantes semblaient tromper l'IA. La voiture roulait normalement, l'ordinateur était bien en contrôle, et tout à coup, elle virait à droite ou à gauche et - smash — au moins 10 fois en un peu plus de trois ans.

Pour une entreprise qui dépendait d'un sentiment d'optimisme illimité parmi les investisseurs pour maintenir son cours de bourse élevé - Tesla valait à un moment donné plus que Toyota, Honda, Volkswagen, Mercedes, BMW, Ford et General Motors réunis - ces accidents peuvent sembler être un problème. Mais pour Elon Musk, directeur général de Tesla, ils représentaient une opportunité. Chaque collision a généré des données, et avec suffisamment de données, l'entreprise pourrait accélérer le développement de la première voiture véritablement autonome au monde. Il croyait si fort à cette vision qu'elle l'a amené à faire des prédictions folles : "Je suppose qu'il est sûr pour quelqu'un de s'endormir et de se réveiller à destination : probablement vers la fin de l'année prochaine", Musk a déclaré en 2019. "Je dirais que j'en suis certain. Ce n'est pas un point d'interrogation."

L'avenir de Tesla peut reposer sur la question de savoir si les conducteurs savaient qu'ils étaient engagés dans cette expérience de collecte de données et, dans l'affirmative, si leur appétit pour le risque correspondait à celui de Musk. Je voulais entendre les victimes de certains des accidents les plus mineurs, mais elles avaient tendance à se répartir en deux catégories, dont aucune ne les prédisposait à parler : elles aimaient Tesla et Musk et ne voulaient rien dire de négatif à la presse. , ou ils poursuivaient la société et gardaient le silence sur les conseils d'un avocat. (Umair Ali, dont la Tesla s'est dirigée vers une barrière d'autoroute en 2017, avait une excuse différente : "Mettez-moi comme interview refusée parce que je ne veux pas énerver l'homme le plus riche du monde.")

Puis j'ai trouvé Dave Key. Le 29 mai 2018, la Tesla Model S 2015 de Key le ramenait chez le dentiste en mode pilote automatique. C'était un itinéraire que Key avait suivi d'innombrables fois auparavant : une autoroute à deux voies menant aux collines au-dessus de Laguna Beach, en Californie. Mais lors de ce voyage, alors que Key était distrait, la voiture a dérivé hors de sa voie et a percuté l'arrière. d'un VUS de police garé, faisant tourner la voiture et poussant le VUS sur le trottoir. Personne n'a été blessé.

Key, un ancien entrepreneur en logiciels de 69 ans, a pris un point de vue d'ingénieur impartial sur son propre accident. "Le problème avec les objets fixes - je suis désolé, cela semble stupide - c'est qu'ils ne bougent pas", a-t-il déclaré. Pendant des années, l'intelligence artificielle de Tesla a eu du mal à séparer les objets immobiles de l'arrière-plan. Plutôt que de se sentir frustré que l'ordinateur n'ait pas compris un problème aussi élémentaire, Key s'est rassuré en apprenant qu'il y avait une raison derrière le crash : une limitation logicielle connue, plutôt qu'une sorte d'événement de cygne noir.

L'automne dernier, j'ai demandé à Key de visiter la scène de l'accident avec moi. Il a dit qu'il me ferait mieux; il m'y emmènerait en utilisant le nouveau mode Full Self-Driving de Tesla, qui était encore en version bêta. J'ai dit à Key que j'étais surpris qu'il conduise toujours une Tesla, et encore moins en payant un supplément – ​​FSD coûte maintenant 15 000 $ – pour de nouvelles fonctionnalités autonomes. Si ma voiture avait essayé de me tuer, j'aurais changé de marque. Mais dans les mois et les années qui ont suivi le total de sa Model S, il en a acheté trois autres.

Nous nous sommes rencontrés pour le petit-déjeuner dans un café de Laguna Beach, à environ cinq kilomètres du site de l'accident. Key portait un t-shirt noir à col en V, un short kaki et des sandales : chic de semi-retraite du sud de la Californie. Alors que nous nous dirigions vers notre table, il a verrouillé les portes de sa Model S 2022 rouge et les rétroviseurs latéraux se sont repliés comme les oreilles d'un chien lorsqu'il est caressé.

Key avait apporté une note de quatre pages qu'il avait rédigée pour notre entretien, énumérant les faits sur l'accident, organisés sous des sous-titres tels que "Tesla Full Self-Driving Technology (Discussion)". C'est le genre d'homme qui se promène avec une batterie d'opinions bien formées sur les sujets les plus importants de la vie - les ordinateurs, les logiciels, l'exercice, l'argent - et une volonté de les partager. Il était particulièrement inquiet que je comprenne que le pilote automatique et le FSD sauvaient des vies : "Les données montrent que leur taux d'accidents pendant la bêta est bien inférieur à celui des autres voitures", lit-on dans un point dans Calibri en 11 points. "Ralentir la bêta FSD entraînera plus d'accidents et de pertes de vie sur la base de données statistiques solides."

Des accidents comme le sien - et même les plus mortels - sont malheureux, a-t-il soutenu, mais ils ne pouvaient pas détourner la société de l'objectif plus large d'une adoption généralisée des véhicules autonomes. Key a fait une analogie avec les vaccins contre le coronavirus, qui ont empêché des centaines de milliers de décès, mais ont également causé de rares décès et blessures dus à des effets indésirables. "En tant que société", a-t-il conclu, "nous choisissons la voie pour sauver le plus de vies".

Nous avons fini de déjeuner et avons marché jusqu'à la voiture. Key avait espéré montrer la dernière version de FSD, mais son système n'avait pas encore été mis à jour. "Elon a dit qu'il serait publié à la fin de la semaine", a-t-il déclaré. "Eh bien, c'est dimanche." Musk avait laissé entendre pendant des semaines que la mise à jour serait une amélioration drastique par rapport à FSD 10.13, qui avait été publiée au cours de l'été. Parce que Musk aimait faire de petites blagues sur les noms et les numéros de sa vie, le numéro de version passerait à 10.69 avec cette version. (Les quatre modèles Tesla disponibles sont S, 3, X et Y, probablement parce que cela épelle le mot "sexy".)

Key ne voulait pas parler de Musk, mais l'effondrement de la réputation de l'exécutif était devenu impossible à ignorer. Il était au milieu de sa campagne bizarre, récurrente, pour prendre le contrôle de Twitter, au grand désarroi des fidèles de Tesla. Et bien qu'il n'ait pas encore attaqué Anthony Fauci ou répandu des théories du complot sur le mari de Nancy Pelosi ou fait une frénésie d'interdiction des journalistes sur la plateforme, la question se posait déjà d'elle-même : Comment expliquez-vous Elon Musk ?

"Les gens ont des défauts", a déclaré Key avec prudence, avant de répéter un sentiment que Musk disait souvent de lui-même : si les partisans des deux côtés le détestaient, il doit faire quelque chose de bien. Peu importe les ennuis dans lesquels Musk s'est mis, a déclaré Key, il était honnête – "véridique à son détriment".

Pendant que nous roulions, Key a comparé le FSD et la version du pilote automatique sur sa Tesla 2015. Le pilote automatique, a-t-il dit, était comme un régulateur de vitesse sophistiqué : vitesse, direction, évitement des collisions. Bien que dans son cas, il a dit: "Je suppose que cela n'a pas évité les collisions." Il avait été beaucoup plus impressionné par le FSD. Il était capable de gérer à peu près n'importe quelle situation qu'il lui lançait. "Mon seul vrai reproche est qu'il ne sélectionne pas toujours la voie que je choisirais."

Au bout d'une minute, la voiture avertit Key de garder les mains sur le volant et les yeux sur la route. "Tesla est maintenant une sorte de nounou à ce sujet", s'est-il plaint. Si le pilote automatique était autrefois dangereusement permissif envers les conducteurs inattentifs – leur permettant même de s'endormir derrière le volant – cette faille, comme le bug de l'objet stationnaire, avait été corrigée. "Entre le volant et le suivi des yeux, c'est juste un problème résolu", a déclaré Key.

Bientôt, nous étions près de la scène de l'accident. Des collines couvertes de broussailles traversées par des sentiers de VTT s'élevaient de chaque côté de nous. C'est ce qui a causé des ennuis à Key le jour de l'accident. Il regardait un sentier préféré et ignorait la route. "J'ai levé les yeux vers la gauche et la voiture est partie à droite", a-t-il déclaré. "J'étais dans ce faux sentiment de sécurité."

Nous nous sommes garés à l'endroit où il a percuté le SUV de la police quatre ans plus tôt. Il n'y avait rien de spécial sur la route ici : pas de lignes étranges, pas de changement de voie déroutant, pas de fusion. Juste une seule voie de circulation longeant une rangée de voitures garées. Pourquoi la Tesla a échoué à ce moment-là était un mystère.

Finalement, Key a dit à FSD de nous ramener au café. Cependant, alors que nous amorcions notre virage à gauche, le volant a eu des spasmes et la pédale de frein a tremblé. Key marmonna un nerveux, "OK. … "

Après un autre moment, la voiture s'est arrêtée à mi-chemin de l'autre côté de la route et s'est arrêtée. Une file de voitures fonçait sur notre bordée. Key hésita une seconde mais prit rapidement le relais et termina le virage. "Cela aurait probablement pu s'accélérer, mais je n'étais pas disposé à le couper aussi près", a-t-il déclaré. S'il s'était trompé, bien sûr, il y avait de fortes chances qu'il ait eu son deuxième accident causé par l'IA sur le même tronçon de route d'un mile.

Trois semaines avant Key a frappé le SUV de la police, Musk a écrit un e-mail à Jim Riley, dont le fils Barrett est décédé après que sa Tesla s'est écrasée en accélérant. Musk a envoyé ses condoléances à Riley, et le père en deuil a répondu pour demander si le logiciel de Tesla pouvait être mis à jour pour permettre à un propriétaire de définir une vitesse maximale pour la voiture, ainsi que d'autres restrictions sur l'accélération, l'accès à la radio et au coffre et la distance le voiture pourrait conduire de la maison. Musk, bien que sympathique, a répondu: "S'il y a un grand nombre de paramètres, ce sera trop complexe à utiliser pour la plupart des gens. Je veux m'assurer que nous faisons bien les choses. Le plus bon pour la plupart des gens."

C'était une démonstration brutale de ce qui rend Musk si inhabituel en tant que directeur général. Tout d'abord, il a contacté directement quelqu'un qui a été blessé par l'un de ses produits – quelque chose qu'il est difficile d'imaginer que le chef de GM ou de Ford envisage, ne serait-ce que pour des raisons juridiques. (En effet, cet e-mail a été déposé en preuve après que Riley a poursuivi Tesla.) Et puis Musk a repoussé Riley. Pas de vague "Je vais me renseigner" ou "On verra ce qu'on peut faire". Riley reçoit un non ferme.

Comme Key, je veux résister à la tendance de Musk à raconter toutes les histoires à son sujet. Tesla est une grande entreprise automobile avec des milliers d'employés. Il existait avant Elon Musk. Il pourrait exister après Elon Musk. Mais si vous voulez une explication parcimonieuse des défis auxquels l'entreprise est confrontée – sous la forme de poursuites, d'un cours boursier en chute libre et d'une IA qui semble encore trop capable d'un échec catastrophique – vous devriez vous tourner vers son directeur général mercuriel, brillant et sophomorique .

Il n'y a peut-être pas de mystère ici : Musk est simplement un narcissique, et chaque écart imprudent qu'il fait est uniquement destiné à attirer l'attention du monde. Il a semblé approuver cette théorie d'une manière ironique lors d'une récente déposition, lorsqu'un avocat lui a demandé: "Avez-vous une sorte de capacité unique à identifier les sociopathes narcissiques?" et il a répondu : "Tu veux dire en te regardant dans le miroir ?"

Mais ce qui ressemble à de l'obsession de soi et à un mauvais contrôle des impulsions pourrait plutôt être le fruit d'une philosophie cohérente, celle que Musk a détaillée à de nombreuses reprises. C'est là dans l'email à Riley : le plus grand bien pour le plus grand nombre de personnes. Ce dicton, dans le cadre d'un système ad hoc d'éthique utilitaire, peut expliquer toutes sortes de décisions mystifiantes que Musk a prises, notamment sa poursuite effrénée de l'IA, qui, à long terme, selon lui, sauvera d'innombrables vies.

Malheureusement pour Musk, le court terme passe avant tout et son entreprise fait face à quelques mois difficiles. En février, le premier procès contre Tesla pour un crash impliquant le pilote automatique sera jugé. Quatre autres suivront coup sur coup. Donald Slavik, qui représentera les plaignants dans pas moins de trois de ces affaires, dit qu'un constructeur automobile normal aurait déjà réglé : "Ils considèrent cela comme un coût pour faire des affaires." Musk a juré de se battre devant les tribunaux, quels que soient les dangers que cela pourrait présenter pour Tesla. "Les dollars peuvent s'additionner", a déclaré Slavik, "surtout s'il y a des dommages-intérêts punitifs."

Slavik m'a envoyé l'une des plaintes qu'il a déposées contre Tesla, qui répertorie les principaux accidents de pilote automatique de A à Z - en fait, de A à WW. En Chine, une Tesla a percuté le dos d'une balayeuse. En Floride, une Tesla a heurté un semi-remorque qui s'étendait sur deux voies d'une autoroute. Lors d'une averse dans l'Indiana, une Tesla Model 3 a quitté la route et s'est enflammée. Dans les Florida Keys, une Model S a traversé une intersection et a tué un piéton. À New York, un modèle Y a heurté un homme qui changeait son pneu sur l'accotement de la Long Island Expressway. Dans le Montana, une Tesla a percuté de manière inattendue une barrière d'autoroute. Puis la même chose s'est produite à Dallas, à Mountain View et à San Jose.

L'arrivée des véhicules autonomes n'était pas censée être comme ça. Jour après jour, nous nous faisons peur, nous mutilons et nous tuons dans les voitures. Aux États-Unis l'année dernière, il y a eu environ 11 millions d'accidents de la route, près de cinq millions de blessés et plus de 40 000 morts. L'IA de Tesla était censée mettre fin à ce bain de sang. Au lieu de cela, en moyenne, il y a au moins un accident lié au pilote automatique aux États-Unis chaque jour, et Tesla fait l'objet d'une enquête par la National Highway Traffic Safety Administration.

Depuis la sortie du pilote automatique en octobre 2015, Musk a encouragé les conducteurs à le considérer comme plus avancé qu'il ne l'était, déclarant en janvier 2016 qu'il était "probablement meilleur" qu'un conducteur humain. En novembre de la même année, la société a publié une vidéo d'une Tesla naviguant sur les routes de la Bay Area avec l'avertissement suivant : "La personne au volant n'est là que pour des raisons légales. Il ne fait rien. La voiture se conduit toute seule." Musk a également rejeté le nom "Copilot" en faveur de "Autopilot".

Les petits caractères indiquaient clairement que la technologie était uniquement destinée à l'assistance au conducteur, mais ce message n'a reçu qu'une fraction de l'attention des annonces de Musk. Un grand nombre de conducteurs semblaient vraiment confus quant aux capacités du pilote automatique. (Tesla a également refusé de divulguer que la voiture de la vidéo de 2016 s'est écrasée dans le parking de l'entreprise.) La plainte légale de Slavik ne retient pas : "La conduite de Tesla était méprisable, et si méprisable qu'elle serait méprisée par les gens ordinaires. des gens honnêtes."

Les nombreuses revendications des poursuites en cours reviennent à un seul thème : Tesla a constamment gonflé les attentes des consommateurs et minimisé les dangers encourus. Les voitures n'étaient pas suffisamment surveillées par le conducteur, car Musk ne voulait pas que les conducteurs pensent que la voiture avait besoin d'une surveillance humaine. (Musk en avril 2019 : "Si vous avez un système dont la fiabilité est égale ou inférieure au niveau humain, alors la surveillance du conducteur a du sens. Mais si votre système est nettement meilleur, plus fiable qu'un humain, alors la surveillance n'aide pas beaucoup.") Les conducteurs n'ont pas été avertis des problèmes de freinage automatique ou des "changements de voie non commandés". La société admettrait les limites de la technologie dans le manuel d'utilisation, mais publierait des vidéos virales d'une Tesla conduisant sur un itinéraire compliqué sans intervention humaine.

Le client idéal de Musk était quelqu'un comme Key – prêt à accepter le blâme quand quelque chose tournait mal mais possédant une foi presque illimitée dans la prochaine mise à jour. Dans une déposition, un ingénieur de Tesla l'a dit de manière tout à fait explicite : "Nous voulons faire savoir au client que, n° 1, vous devez avoir confiance en votre véhicule : tout fonctionne comme il se doit. Et, deuxièmement, la raison pour votre accident ou la raison de votre incident retombe toujours sur vous."

Après notre virage à gauche raté à Laguna Beach, Key a rapidement diagnostiqué le problème. Si seulement le système avait été mis à niveau vers FSD 10.69, a-t-il soutenu, la voiture aurait sûrement géré le virage en toute sécurité. Malheureusement pour Musk, tous les propriétaires de Tesla ne sont pas comme Dave Key. Les plaignants dans les procès du pilote automatique pourraient convenir que l'IA s'améliore, mais uniquement sur le dos des premiers utilisateurs et des passants qui pourraient être tués en cours de route.

En ligne, il y a une bataille entre les factions pro-Musk et anti-Musk sur Autopilot et FSD Reddit a un forum appelé r/RealTesla qui présente les ratés les plus embarrassants de l'IA, ainsi que des plaintes plus génériques : volants qui grincent, toits qui fuient, électronique détraquée, cabines bruyantes, suspensions raides, sièges en cuir froissé, poignées de porte cassées. Les stans Musk ont ​​tendance à se séquestrer dans r/TeslaMotors, où ils publient des observations de Tesla, encouragent les dernières ouvertures d'usine de l'entreprise et attendent la prochaine grande annonce du patron.

J'ai trouvé David Alford sur YouTube, où il a posté une vidéo intitulée "Tesla Full Self-Driving Running a Red Light". Dans celui-ci, nous voyons la vue à travers le pare-brise alors que la voiture d'Alford s'approche d'une intersection avec une voie de virage à gauche dotée d'un feu de circulation dédié. A quelques centaines de mètres de la fin, le feu passe du vert au rouge, mais la voiture ne s'arrête pas. Au lieu de cela, il roule dans l'intersection, où il est sur la bonne voie pour entrer en collision avec le trafic venant en sens inverse, jusqu'à ce qu'Alford prenne le relais.

Dans les commentaires, les fans de Tesla se fâchent contre Alford pour avoir publié la vidéo, mais il repousse : "Comment cela aide-t-il à faire pression sur Tesla pour qu'il améliore ses systèmes si vous avez peur de publier ses défauts ?" Répondant à un commentaire, il écrit que le FSD est "contraire à l'éthique dans le contexte où ils l'utilisent".

Quand j'ai appelé Alford, je m'attendais à quelqu'un adapté à r/RealTesla, mais il a fini par avoir plus une ambiance r/TeslaMotors. Il m'a dit qu'il serait prêt à m'emmener sur le site de sa vidéo et à démontrer l'échec, mais je devais d'abord faire une promesse. "La seule chose que je demande, c'est d'essayer de ne pas me mettre sous un mauvais jour envers Tesla", a-t-il déclaré. "Je ne veux pas que quiconque pense que je déteste l'entreprise ou quoi que ce soit d'autre, parce que je suis un très, très grand partisan d'eux."

Alford vit à Fresno, en Californie, et avant d'aller le rencontrer un jour à l'automne dernier, il m'a annoncé une nouvelle passionnante : il venait de recevoir la mise à jour FSD 10.69. Notre lecteur serait sa première tentative pour naviguer à l'intersection de la vidéo YouTube avec le nouveau système.

Le matin où je l'ai rencontré, il portait un T-shirt noir qui laissait voir ses tatouages, des lunettes de soleil noires et un jean noir délavé troué aux genoux. Hollywood le classerait comme un hacker au chapeau blanc, et en effet c'est un gars du logiciel comme Key : il est ingénieur produit pour une entreprise technologique de Bay Area.

Sa Tesla Model 3 blanche de 2020 avait un autocollant de pare-chocs magnétique qu'il a trouvé sur Etsy : ATTENTION TEST D'AUTO-CONDUITE COMPLET EN COURS. Il a dit qu'il conduisait en mode FSD 90% du temps, donc sa voiture agissait toujours un peu étrangement - l'autocollant a aidé à garder à distance certains des klaxons des autres voitures. Il semblait être, comme Key, un bêta-testeur FSD idéal : intéressé par le logiciel, attentif à ses failles, obstiné dans son accumulation de kilomètres autonomes.

J'ai grimpé sur le siège passager et Alford a frappé notre première destination : une place à quelques pâtés de maisons du centre-ville de Fresno. Nous avons eu de la chance que le temps soit couvert, dit-il, car la voiture s'est bien comportée dans ces conditions. Les jours où il faisait beau et qu'il y avait beaucoup d'éblouissement, la voiture pouvait être "de mauvaise humeur". Et quand il y avait du brouillard, et c'était souvent du brouillard à Fresno, "ça panique".

Après quelques minutes, nous nous sommes approchés d'un passage pour piétons juste au moment où deux parents tirant un enfant dans un chariot ont commencé à traverser. Un écran à côté du volant indiquait que l'IA avait enregistré les deux piétons mais pas le wagon. Alford a dit qu'il passait son pied au-dessus du frein, mais la voiture s'est arrêtée toute seule.

Après le wagon est venue une femme en fauteuil roulant. La voiture est restée sur place. Alford m'a dit que le jargon automobile pour quiconque dans la rue qui n'est pas dans une voiture ou un camion est un « VRU », un usager vulnérable de la route. Et c'est vrai : les piétons et les cyclistes et les enfants en poussette et les femmes en fauteuil roulant - ils sont si fragiles comparés à ces machines géantes que nous avons fourrées dans nos villes et sur nos autoroutes. Un faux mouvement, et une voiture les écrasera.

Nous avons tourné sur l'avenue Van Ness, qui traverse le centre-ville. Il avait été nouvellement pavé, et au lieu de lignes dans la rue, il y avait de petits onglets jaunes indiquant où les lignes finiraient par aller. La Tesla détestait cela et esquivait avec inquiétude à droite et à gauche, cherchant quelque chose pour l'ancrer. Il n'y avait pas d'autres voitures autour, alors Alford l'a laissé sortir de son système et a finalement trouvé une ligne de voie à suivre.

"Vous construisez une tolérance aux risques que cela prend", a-t-il déclaré. "Oui, il fait des embardées partout, mais je sais qu'il ne va pas s'écraser sur quelque chose." Pourtant, l'expérience de la bêta avait changé la façon dont il abordait son propre travail. "En tant que développeur de logiciels, cela m'a rendu plus hésitant à mettre mon logiciel entre les mains des gens" avant qu'il ne soit complètement prêt, a-t-il déclaré, "même si ce n'est pas dangereux".

Quelques secondes plus tard, nous avons traversé une intersection alors que deux VRU – un homme promenant un chien – sont entrés dans le passage pour piétons. Ils étaient à bonne distance, mais le chien a commencé à tirer sur sa laisse dans notre direction. Alford et moi savions que l'animal n'était pas en danger parce que la laisse l'arrêterait. Mais tout ce que Tesla a vu était un chien sur le point de sauter devant nous, et il s'est arrêté brusquement. C'était un bon résultat, tout bien considéré - aucune forme de vie blessée - mais c'était loin d'être une expérience de conduite autonome transparente.

Alford a poussé le volant juste assez souvent pour que la voiture ne l'a jamais averti de faire attention. La surveillance stricte du conducteur ne le dérangeait pas : il ne se lassait jamais d'étudier le comportement de la voiture, il n'était donc jamais tenté de se déconnecter. Pourtant, il connaissait des gens qui abusaient du système. Un conducteur a attaché un poids à la cheville au volant pour "se détendre et faire n'importe quoi" pendant les longs trajets. "Je connais quelques personnes avec Teslas qui ont la bêta FSD", a-t-il dit, "et ils l'ont pour boire et conduire au lieu d'avoir à appeler un Uber."

Nous avons quitté le centre-ville et pris l'autoroute, en direction d'une zone au nord-est de la ville appelée Clovis, où se trouvait l'intersection délicate. Alford a relevé ses paramètres FSD. Son mode de conduite par défaut était Moyen, mais il a déclaré avoir constaté que les deux autres options - Chill et Assertive - ne sont pas très différentes : "La voiture est vraiment très agressive de toute façon." Pour la conduite sur autoroute, cependant, il avait réglé la voiture sur quelque chose appelé le mode Mad Max, ce qui signifiait qu'elle dépasserait n'importe quel véhicule devant lui si elle roulait même quelques miles par heure plus lentement que sa vitesse préférée.

Nous avons quitté l'autoroute et sommes rapidement arrivés à un nœud de voitures. Quelque chose avait mal tourné avec le feu de circulation, qui clignotait en rouge, et les conducteurs dans les quatre directions, sur huit voies, devaient déterminer quand partir et quand céder. La chorégraphie ici était délicate : il y avait trop de voitures à entrelacer sans tenir compte de la miséricorde, de la confusion et de l'opportunisme. Parmi les humains, il y avait beaucoup de signes de la main et de contact visuel pour voir si quelqu'un allait céder ou non.

Nous avons rampé vers l'intersection, voiture par voiture, jusqu'à ce que ce soit notre tour. Si nous nous attendions à des nuances, il n'y en avait pas. Une fois que nous nous sommes arrêtés complètement, la Tesla a accéléré rapidement, coupant une voiture qui nous traversait et contournait une autre. Ce n'était pas tant inhumain que le comportement d'un humain déterminé à être un imbécile. "C'était mauvais", a déclaré Alford. "Normalement, je me désengagerais une fois qu'il aurait fait une erreur comme celle-là." Il a cliqué sur un bouton pour envoyer un instantané de l'incident à Tesla.

Plus tard, à un arrêt à quatre voies, la voiture s'est montrée trop prudente. Il a attendu trop longtemps et les deux autres voitures à l'intersection sont parties avant nous. Nous avons parlé du vieil adage au sujet de la conduite sécuritaire : « Ne sois pas gentil, sois prévisible. Pour un ordinateur, l'IA de Tesla était étonnamment erratique. "Ce n'est ni agréable ni prévisible", a déclaré Alford.

Quelques kilomètres plus loin sur la route, nous avons atteint l'intersection de la vidéo : un virage à gauche sur East Shepherd Avenue depuis la State Route 168. Le feu de circulation se trouve juste au point où les derniers développements de la ville se terminent et où les terres ouvertes commencent. Si nous roulions tout droit, nous nous retrouverions immédiatement entourés d'armoises, en montant dans la Sierra.

Pour reproduire l'erreur découverte par Alford, nous devions nous approcher de l'intersection avec une flèche rouge de virage à gauche et un feu vert pour continuer tout droit. Lors de notre premier passage, la flèche est devenue verte à la dernière seconde. Au deuxième col, cependant, sur une route déserte, le timing était bon : un rouge pour notre virage et un vert pour tous les autres.

Alors que nous nous rapprochions, la voiture s'est engagée dans la voie de virage et a commencé à ralentir. "Il voit le rouge," dis-je.

"Non," dit Alford. "Ça ralentit toujours un peu ici avant de traverser." Mais cette fois, ça ralentit. Alford n'arrivait pas à y croire. "Il va encore faire couler la lumière", a-t-il déclaré. Mais il avait tort : nous nous sommes arrêtés proprement sur la ligne. Alford a été choqué. "Ils l'ont réparé !" il a dit. "Celui-là, je leur ai donné un problème pendant deux ans." Nous avons attendu patiemment jusqu'à ce que le feu passe au vert et que la Tesla roule doucement sur Shepherd Avenue. Aucun problème.

C'était une démonstration aussi claire de l'hypothèse de Musk qu'on pouvait l'espérer. Il y avait une situation qui n'arrêtait pas de bloquer l'IA jusqu'à ce que, après que suffisamment de données aient été collectées par des pilotes dédiés comme Alford, le réseau neuronal l'ait compris. Répétez cette conversion risque-récompense X fois, et peut-être que Tesla résoudra la conduite autonome. Peut-être même l'année prochaine.

Sur le chemin du retour vers le centre de Fresno, Alford était dynamique, ravi de la possibilité qu'il ait changé le monde de Tesla pour le mieux. Je lui ai demandé si la version FSD 10.69 avait rencontré le battage médiatique qui l'avait précédée. "Pour être honnête, oui, je pense que oui", a-t-il déclaré. (Il était encore plus enthousiaste à propos de la version de FSD publiée en décembre, qu'il a décrite comme presque sans défaut.)

Quelques minutes plus tard, nous arrivons dans un quartier délabré de la ville. Alford a déclaré qu'en général, l'IA de Tesla fonctionne mieux dans les zones à revenu élevé, peut-être parce que ces zones comptent plus de propriétaires de Tesla. "Existe-t-il des biais de données pour les zones à revenu élevé parce que c'est là que se trouvent les Teslas ?" se demanda-t-il.

Nous nous sommes approchés d'une intersection et avons essayé de tourner à gauche - dans ce qui s'est avéré être une répétition du scénario de Laguna Beach. La Tesla a commencé à ramper, essayant d'avoir un meilleur aperçu des voitures venant de notre gauche. Il avança petit à petit, avança petit à petit, jusqu'à ce que nous soyons à nouveau complètement dans la voie de circulation. Rien n'empêchait la Tesla d'accélérer et de terminer le virage, mais à la place, elle restait là. Au même moment, une Honda Accord trompée s'est précipitée vers nous, à environ trois secondes de frapper la porte du côté conducteur. Alford a rapidement pris le relais et a appuyé sur l'accélérateur, et nous nous sommes échappés en toute sécurité. Cette fois, il n'a rien dit.

C'était un retour difficile à la maison à partir de là. Lors d'un virage à gauche standard à un feu de circulation, le système a paniqué et a essayé d'aller à droite. Alford a dû prendre le relais. Et puis, alors que nous approchions d'une bretelle d'accès en trèfle vers l'autoroute, la voiture a commencé à accélérer. Pour rester sur la rampe, nous devions faire un virage à droite en arc de cercle; devant nous se trouvait une chute abrupte dans un chantier de construction sans garde-corps. La voiture ne montrait aucun signe de virage. Nous avons traversé une ligne blanche solide, à quelques millisecondes de sauter de la route quand, enfin, la roue a brusquement braqué vers la droite, et nous avons de nouveau embrassé la route. Cette fois, FSD s'était corrigé, mais s'il ne l'avait pas fait, le crash nous aurait sûrement tués.

Peter Thiel, l'ancien de Musk partenaire commercial de PayPal, a dit un jour que s'il écrivait un livre, le chapitre sur Musk s'intitulerait "L'homme qui ne savait rien du risque". Mais c'est une incompréhension de l'attitude de Musk : si vous analysez ses déclarations, il se présente comme un homme qui embrasse simplement des quantités étonnantes de risques actuels dans l'hypothèse rationnelle de gains futurs.

L'articulation la plus claire de Musk de sa philosophie est venue, bien sûr, sur Twitter. "Nous devrions prendre l'ensemble des actions qui maximisent le bonheur public total !" il a écrit à un utilisateur qui lui a demandé comment sauver la planète. En août, il a qualifié les écrits de William MacAskill, un éthicien utilitaire écossais, de "correspondant étroitement à ma philosophie". (MacAskill, notamment, était également la muse intellectuelle de Sam Bankman-Fried, bien qu'il ait rompu les liens avec lui après la révélation du scandale FTX.)

L'acceptation du risque par Musk a produit de véritables percées : SpaceX peut faire atterrir des fusées réutilisables sur des aires d'atterrissage télécommandées dans l'océan ; Starlink fournit un service Internet aux Ukrainiens en première ligne ; OpenAI se rapproche de plus en plus de la réussite du test de Turing. Quant à Tesla, même les critiques les plus sévères de Musk – et j'en ai parlé à beaucoup d'entre eux en rapportant cet article – s'arrêteraient, sans y être invités, pour lui donner le mérite d'avoir créé le marché désormais robuste des véhicules électriques aux États-Unis et dans le monde.

Et pourtant, comme l'a écrit Robert Lowell, "Aucune fusée ne s'égare autant que l'homme." Ces derniers mois, alors que les scandales sur Twitter et ailleurs commençaient à se multiplier, Musk semblait déterminé à gaspiller une grande partie de la bonne volonté qu'il avait accumulée au cours de sa carrière. J'ai demandé à Slavik, l'avocat des plaignants, si le récent changement dans l'opinion publique contre Musk avait facilité son travail dans la salle d'audience. "Je pense qu'au moins il y a plus de gens qui sont sceptiques quant à son jugement à ce stade qu'auparavant", a-t-il déclaré. "Si j'étais de l'autre côté, je serais inquiet."

Cependant, certaines des décisions les plus discutables de Musk commencent à avoir un sens si elles sont considérées comme le résultat d'un calcul utilitaire brutal. Le mois dernier, Reuters a rapporté que Neuralink, la société de dispositifs médicaux de Musk, avait causé la mort inutile de dizaines d'animaux de laboratoire grâce à des expériences précipitées. Les messages internes de Musk ont ​​clairement indiqué que l'urgence venait d'en haut. "Nous n'avançons tout simplement pas assez vite", a-t-il écrit. "Ça me rend fou!" L'analyse coûts-avantages devait lui paraître claire : Neuralink avait le potentiel de guérir la paralysie, croyait-il, ce qui améliorerait la vie de millions de futurs humains. La souffrance d'un plus petit nombre d'animaux en valait la peine.

Cette forme de grossisme à long terme, dans laquelle la taille même des générations futures leur donne un poids éthique supplémentaire, apparaît même dans les déclarations de Musk sur l'achat de Twitter. Il a qualifié Twitter de "place de la ville numérique" qui n'était responsable de rien de moins que d'empêcher une nouvelle guerre civile américaine. "Je ne l'ai pas fait pour gagner plus d'argent", a-t-il écrit. "Je l'ai fait pour essayer d'aider l'humanité, que j'aime."

Le pilote automatique et le FSD représentent l'aboutissement de cette approche. "L'objectif primordial de l'ingénierie Tesla", a écrit Musk, "est de maximiser la zone sous la courbe de bonheur des utilisateurs". Contrairement à Twitter ou même à Neuralink, des gens mouraient à la suite de ses décisions – mais peu importe. En 2019, dans un échange de courriels avec l'investisseur activiste et critique inébranlable de Tesla, Aaron Greenspan, Musk s'est hérissé à la suggestion que le pilote automatique était autre chose qu'une technologie qui sauve des vies. "Les données sont sans équivoque que le pilote automatique est plus sûr que la conduite humaine par une marge significative", a-t-il écrit. "Il est contraire à l'éthique et faux de votre part de prétendre le contraire. Ce faisant, vous mettez le public en danger."

je voulais demander Musk pour développer sa philosophie du risque, mais il n'a pas répondu à mes demandes d'entretien. Au lieu de cela, j'ai parlé avec Peter Singer, un éminent philosophe utilitariste, pour trier certaines des questions éthiques impliquées. Musk avait-il raison lorsqu'il affirmait que tout ce qui retarde le développement et l'adoption de véhicules autonomes était intrinsèquement contraire à l'éthique ?

"Je pense qu'il a raison", a déclaré Singer, "s'il a raison sur les faits."

Musk parle rarement du pilote automatique ou du FSD sans mentionner à quel point il est supérieur à un conducteur humain. Lors d'une assemblée des actionnaires en août, il a déclaré que Tesla "résolvait une partie très importante de l'IA, et qui peut finalement sauver des millions de vies et prévenir des dizaines de millions de blessures graves en conduisant juste un ordre de grandeur plus sûr que les gens. " Musk a des données pour étayer cela : à partir de 2018, Tesla a publié des rapports de sécurité trimestriels au public, qui montrent un avantage constant à utiliser le pilote automatique. Le plus récent, datant de la fin de 2022, indiquait que les Tesla avec pilote automatique engagé étaient dix fois plus susceptibles de s'écraser qu'une voiture ordinaire.

C'est l'argument que Tesla doit présenter au public et aux jurys ce printemps. Selon les termes du rapport de sécurité de l'entreprise : "Bien qu'aucune voiture ne puisse prévenir tous les accidents, nous travaillons chaque jour pour essayer de les rendre beaucoup moins susceptibles de se produire." Le pilote automatique peut provoquer un crash WW fois, mais sans cette technologie, nous serions à OOOOOOOOOOOOOOOOOOO.

Singer m'a dit que même si le pilote automatique et les conducteurs humains étaient tout aussi meurtriers, nous devrions préférer l'IA, à condition que la prochaine mise à jour logicielle, basée sur les données des rapports d'accident et des quasi-accidents, rende le système encore plus sûr. "C'est un peu comme des chirurgiens qui font de la chirurgie expérimentale", a-t-il déclaré. "Probablement les premières fois qu'ils pratiquent l'opération, ils vont perdre des patients, mais l'argument en est qu'ils sauveront plus de patients à long terme." Il était important, cependant, a ajouté Singer, que les chirurgiens obtiennent le consentement éclairé des patients.

Tesla a-t-il le consentement éclairé de ses chauffeurs ? La réponse pourrait être différente pour différents propriétaires de voitures - ce serait probablement différent pour Dave Key en 2018 qu'en 2022. Mais la plupart des clients ne savent pas à quel point le pilote automatique est défectueux, a déclaré Philip Koopman, l'auteur de "How Safe Is Safe Assez ? Mesurer et prédire la sécurité des véhicules autonomes." Les voitures continuent de faire "des erreurs vraiment folles, folles et surprenantes", a-t-il déclaré. "La pratique de Tesla consistant à utiliser des civils non formés comme pilotes d'essai pour une technologie immature est vraiment flagrante."

Koopman s'oppose également aux faits supposés de Musk. Un problème évident avec les données publiées par l'entreprise dans son rapport trimestriel sur la sécurité est qu'il compare directement les miles du pilote automatique, qui sont principalement parcourus sur des autoroutes à accès limité, avec tous les miles des véhicules. "Vous utilisez le pilote automatique sur les miles de sécurité", a déclaré Koopman. "Alors, bien sûr, il a l'air génial. Et puis vous le comparez au non-pilote automatique sur les kilomètres difficiles."

Au troisième trimestre de 2022, Tesla a affirmé qu'il y avait un accident pour 6,26 millions de miles parcourus en utilisant le pilote automatique - en fait, près de 10 fois mieux que la référence américaine d'un accident pour 652 000 miles. Les accidents, cependant, sont beaucoup plus probables sur les rues de surface que sur l'autoroute : une étude du ministère des Transports de Pennsylvanie a montré que les accidents étaient cinq fois plus fréquents sur les routes locales que sur les autoroutes à péage. Lorsque l'on compare les numéros de pilote automatique aux numéros d'autoroute, l'avantage de Tesla diminue considérablement.

Les revendications de sécurité de Tesla semblent encore plus fragiles lorsque vous essayez de contrôler l'âge de la voiture et l'âge du conducteur. La plupart des propriétaires de Tesla sont d'âge moyen ou plus âgés, ce qui élimine un groupe de conducteurs à risque : les adolescents. Et le simple fait d'avoir une nouvelle voiture diminue considérablement vos risques d'accident. Il est même possible que le nombre de Teslas en Californie – avec son temps généralement doux et sec – ait faussé les chiffres en sa faveur. Une étude indépendante qui a tenté de corriger certains de ces biais a suggéré que Teslas s'est écrasé aussi souvent lorsque le pilote automatique était activé que lorsqu'il était désactivé.

"Cela a toujours été un problème pour les utilitaires", m'a dit Singer. "Parce qu'il n'y a pas de règles morales strictes, les gens pourraient penser qu'ils peuvent s'en tirer en faisant les sommes d'une manière qui convient à leurs objectifs."

La pensée utilitariste a conduit des individus à accomplir des actes d'une vertu époustouflante, mais remettre ce cadre éthique entre les mains d'un industriel présente certains dangers. Le véritable utilitarisme nécessite un équilibre minutieux de tous les inconvénients et avantages, dans le présent et l'avenir, avec la patience de faire cette évaluation et la patience de s'abstenir d'agir si la quantité de souffrance et de mort causée par la poussée en avant n'était pas claire. Musk utilise l'utilitarisme d'une manière plus limitée, arguant que tant qu'il est sûr que quelque chose aura un avantage net, il est autorisé à le faire maintenant.

Au cours des deux dernières décennies, Musk s'est en quelque sorte manœuvré pour diriger plusieurs entreprises où il peut prétendre de manière plausible travailler pour préserver l'avenir de l'humanité. SpaceX ne peut pas simplement livrer des satellites en orbite basse ; il va aussi nous envoyer sur Mars. Tesla ne peut pas simplement construire une voiture électrique solide ; ça va résoudre le problème de l'auto-conduite. Twitter ne peut pas être un endroit de plus où nous nous rassemblons pour discuter ; c'est l'un des piliers de la civilisation. Avec les enjeux convenablement relevés, toutes sortes de comportements douteux commencent à sembler – presque – raisonnables.

« Les vrais croyants », a écrit la romancière Jeanette Winterson, « préféreraient voir les gouvernements tomber et l'histoire réécrite plutôt que d'érafler la couverture de leur foi ». Musk semble inébranlable dans sa conviction que son approche est la bonne. Mais malgré toute son urgence, il pourrait encore perdre la course à l'IA.

À l'heure actuelle à San Francisco et à Austin, au Texas, et bientôt dans des villes du monde entier, vous pouvez héler un robotaxi exploité par Cruise ou Waymo. "S'il y a un moment dans le temps où nous passons de la fiction à la réalité, c'est maintenant", m'a dit Sebastian Thrun, qui a fondé l'équipe de voitures autonomes de Google. ("Je ne l'ai pas dit l'année dernière, au fait", a-t-il ajouté.) Thrun n'était pas un rôdeur de r / RealTesla; il était sur sa cinquième Tesla, et il a dit qu'il admirait l'entreprise : "Ce que Tesla a est vraiment beau. Ils ont une flotte de véhicules sur le terrain." Mais à ce stade, les concurrents de Tesla sont plus proches de la réalisation d'une conduite entièrement autonome que n'importe quel véhicule équipé de FSD.

Ces derniers mois, Musk a cessé de promettre que les Tesla autonomes sont à nos portes. "Je pensais que le problème de la conduite autonome serait difficile", a-t-il déclaré, "mais c'était plus difficile que je ne le pensais. Ce n'est pas comme si je pensais que ce serait facile. Je pensais que ce serait très difficile. Mais c'était en fait beaucoup plus difficile. que même cela."

Le 29 décembre 2019, Le même jour, une Tesla dans l'Indiana a eu un accident mortel avec un camion de pompiers stationné, un chauffeur hors service nommé Kevin George Aziz Riad conduisait sa Tesla Model S grise 2016 sur l'autoroute Gardena dans la banlieue de Los Angeles. Le retour d'une visite dans le comté d'Orange avait été long et Riad avait activé le pilote automatique. Peu après minuit, la voiture est passée sous un panneau géant qui disait END FREEWAY SIGNAL AHEAD dans des feux jaunes clignotants.

Le pilote automatique maintenait la Tesla de Riad à une vitesse constante à l'approche du feu rouge qui marquait la fin de l'autoroute et le début du boulevard Artesia. Selon un témoin, le feu était rouge, mais la voiture a traversé l'intersection, percutant une Honda Civic. Riad n'a subi que des blessures mineures, mais les deux personnes du Civic, Gilberto Alcazar Lopez et Maria Guadalupe Nieves, sont décédées sur les lieux. Leurs familles ont dit qu'ils étaient à un premier rendez-vous.

Qui était responsable de cet accident ? Des responsables de l'État ont accusé Riad d'homicide involontaire et prévoient de le poursuivre comme s'il était le seul acteur derrière les deux décès. Les familles des victimes, quant à elles, ont intenté des poursuites civiles contre Riad et Tesla. En fonction des résultats des affaires pénales et civiles, le système Autopilot pourrait être jugé, en effet, légalement responsable, non légalement responsable ou les deux simultanément.

Il n'y a pas longtemps, je suis allé voir l'endroit où la Tesla de Riad aurait brûlé le feu rouge. J'avais loué une Tesla pour la journée, pour découvrir de visu, enfin, ce que ça faisait de conduire avec le pilote automatique aux commandes. J'ai conduit vers l'est sur les rues de surface jusqu'à ce que j'atteigne une rampe où je pouvais rejoindre la State Route 91, la Gardena Freeway. Il était tard dans la nuit lorsque Riad s'est écrasé. Je faisais mon tour au milieu de la journée.

Dès que j'étais sur l'autoroute, j'ai engagé le pilote automatique et la voiture a pris le relais. J'avais la route surtout pour moi. Cette Tesla a été programmée pour dépasser de 15% la limite de vitesse chaque fois que le pilote automatique était utilisé, et la voiture a accéléré rapidement à 74 miles par heure, ce qui était la vitesse de Riad lorsqu'il s'est écrasé. Les paramètres de vitesse de son pilote automatique étaient-ils les mêmes ?

La voiture a fait du bon travail pour rester dans sa voie, mieux que tout autre régulateur de vitesse sensible au trafic que j'ai utilisé. J'ai essayé de retirer mes mains du volant, mais la Tesla m'a bipé après quelques secondes.

Alors que je me rapprochais du site de l'accident, je suis passé sous le panneau géant END FREEWAY SIGNAL AHEAD. Le pilote automatique roulait allègrement. Après 500 pieds supplémentaires, le même panneau est apparu à nouveau, clignotant de manière urgente. Il ne restait plus que quelques centaines de pieds d'autoroute séparée, puis la route 91 s'est transformée en une rue de surface, juste à l'intersection avec Vermont Avenue.

J'ai passé mon pied au-dessus du frein. Qu'est-ce que je faisais? Voir si la voiture allait vraiment flamber à travers un feu rouge ? Bien sûr que ce serait le cas. Je suppose que j'essayais d'imaginer à quel point il serait facile de faire une telle chose. À la fin d'une longue nuit, sur une route vide de voitures, avec quelque chose qui s'appelle Autopilot aux commandes ? Je suppose que Riad n'a même pas remarqué qu'il avait quitté l'autoroute.

La voiture a accéléré sous les feux d'avertissement, 74 milles à l'heure. Les données de l'accident montrent qu'avant que la Tesla ne frappe Lopez et Nieves, les freins n'avaient pas été utilisés pendant six minutes.

Ma Tesla a foncé sur l'intersection. Je me suis rapproché de plus en plus de la lumière. Pas de freins. Et puis, juste avant que je sois sur le point de prendre le relais, une camionnette est sortie de la voie la plus à droite et m'a coupé la route. La Tesla l'a immédiatement senti et a freiné fort. Si seulement ce camion – aussi indéniable que puisse l'être n'importe quel morceau de matériel géant – avait été là en décembre 2019, Lopez et Nieves seraient toujours en vie.

Photographies sources : Alamy ; Shutterstock.

Christophe Cox est rédacteur en chef du magazine New York et auteur de "The Deadline Effect". Son dernier article pour The Times Magazine portait sur l'empire commercial du restaurateur Jean-Georges Vongerichten. Justin Metzest un directeur artistique et illustrateur connu pour ses concepts audacieux rendus en CGI

Publicité