Vous appelez la compagnie aérienne pour changer votre vol retardé. L'agent dit qu'il ne peut pas vous aider—l'ordinateur ne le lui permet pas. Vous demandez à parler à son responsable. Elle dit la même chose. Vous escaladez la situation à son responsable. Même réponse. Tout le monde veut vous aider. Personne ne peut. Le système a décidé, et le système ne s'explique pas. C'est ce que Dan Davies appelle un puits de responsabilité dans The Unaccountability Machine. Les puits de responsabilité sont des systèmes conçus de telle sorte que lorsque les choses tournent mal, aucun individu humain ne peut être tenu responsable de les corriger. Il soutient que "les décisions sont déléguées à un manuel de règles complexe ou à un ensemble de procédures standard, rendant impossible l'identification de la source des erreurs lorsqu'elles se produisent." Cela se produit souvent à mesure que l'organisation devient plus grande. C'est une tactique pour diffuser le risque. Avec l'IA, cette dynamique est susceptible d'empirer. En citant le livre, "À l'avenir, 'Je blâme le système' est quelque chose auquel nous devrons nous habituer à dire, et à le signifier littéralement." Je blâme l'IA. Lorsque ces mots sont prononcés, le monde s'arrête comme un Waymo immobilisé au milieu d'une intersection animée. Quelle est la prochaine étape ? Il est donc fortuit que l'éthique du mode fondateur soit apparue en même temps que le blâme du système d'IA. L'essence du mode fondateur est l'opposée des puits de responsabilité. Toute la responsabilité incombe à une seule personne. "L'étendue à laquelle vous êtes capable de changer une décision est précisément l'étendue à laquelle vous pouvez en être responsable." Ainsi, concevoir des organisations responsables signifie définir des rôles et des systèmes pour les personnes où elles sont responsables et peuvent outrepasser la sortie du système. De plus, Davies plaide pour des boucles de rétroaction du bas vers le haut. Les réunions de niveau supérieur où le responsable d'un manager rencontre un membre de l'équipe en est un exemple. Mais à l'ère de l'IA, cela ne suffit pas. Les montagnes d'informations numériques qui circulent dans une organisation peuvent être trop nombreuses pour suivre. Si les puits de responsabilité étaient un problème avant ce déluge, imaginez l'impact par la suite. Redéfinir les rôles et les systèmes d'IA avec des contournements humains sera essentiel pour garantir la responsabilité. Du moins pour l'instant, chaque décision clé a encore besoin d'une personne derrière elle et peut-être que cela suffit pour reprogrammer rapidement afin de rentrer chez soi pour le dîner.