Mainzer Kahle-Limits of AI – Theoretical, Practical, Ethical
Livre avec un contenu très intéressant, mais…
Le livre est divisé en 5 parties :
* Le concept d’intelligence artificielle ;
* Limitations pratiques ;
* Limitations théoriques ;
* Limitations conceptuelles ;
* Perspectives pour l’IA hybride.
Parlons des points négatifs avant les bons points.
Ce livre, lu en anglais, est une traduction de l’original en allemand. Sorti en 2024.
Deux problèmes concernent la traduction. Le premier est l’apparition de plusieurs mots mal orthographiés. Par exemple : « programmation » au lieu de « programming » or « programme » au lieu de « program », « Baysian » au lieu de « Bayesian », ou « strange deviation » au lieu de « standard deviation ». Ce genre d’erreur apparaît de très nombreuses fois. Ces erreurs auraient pu être facilement détectées par un vérificateur d’orthographe.
Encore pire, deux exemples de paragraphes montrent l’absence de relecture (il y en a d’autres du même genre) :
In general, we imagine a spatial system of identical elements
(‘cells’) that interact with each other in different ways (e.g.
physically, physically, physically, physically, physically)
Corresponding proofs are mathematically possible if one
accepts the concept of the computability of the computability
of natural (and rational) numbers to real numbers.
Un autre problème de traduction concerne les chapitres 3 et 4 et part du 2. Ce sont des thèmes très ardus même pour les initiés (philosophie, statistiques, machine de Turing, Théorème de Godel…). Un initié comprendra rapidement que ça a été traduit par quelqu’un qui connaît peu ou pas le sujet. La lecture devient pénible.
On peut difficilement jeter l’opprobre sur l’auteur original puisqu’ils sont connus comme étant des connaisseurs de la spécialité.
Finalement, ces parties sont les plus intéressantes parce qu’elles n’évoluent que très lentement et ne changeront pas pendant plusieurs décennies. Par contre, la partie finale, perspectives sont très liées à la technologie et évoluent très rapidement.
La partie finale parle des ordinateurs quantiques et des IA hybrides. Tout ça n’existe pas encore. Et, d’autre part, parle de ChatGPT qui était, à l’époque, à sa version 3.5. On est maintenant à la version 5.5. Il a beaucoup évolué depuis. Donc, C’est un peu obsolète en ce qui concerne ChatGPT.
Même si les parties conceptuelles étaient celles qui m’intéressaient le plus, et qui m’ont laissé sur ma fait, ça reste un bouquin intéressant. La partie éthique est traitée rapidement, il y a plus à dire. Mais on peut trouver mieux.
Mon opinion sur l’IA ? Malgré l’accumulation de connaissances encyclopédiques que nous ne pouvons pas en avoir, je pense que l’IA ne remplacera jamais l’humain, ce n’est que par notre vie vécue, l’enfance, les amitiés, la conscience… Il y a beaucoup de thèmes, surtout éthiques, à traiter encore.
Dialogue avec ChatGPT
J’ai posé quelques questions à ChatGPT au sujet de la première citation ci-dessous.
Q : What do you mean with « As an AI language model, I don’t have personal experiences, beliefs, or a subjective understanding of the world. »
When I say:
« As an AI language model, I don’t have personal experiences, beliefs, or a subjective understanding of the world. »
I mean several distinct things.
I don’t have personal experiences
Humans learn not only from text but from living:
- seeing colors
- feeling pain
- eating food
- having conversations
- growing up in a culture
I don’t do any of those things.
When I describe Paris, I have never visited it. When I describe coffee, I have never tasted it. I learned about them from patterns in data, not from experience.
I don’t have beliefs
A belief is something an agent holds to be true and can revise based on evidence.
For example, you might believe:
- « It will rain tomorrow. »
- « Democracy is the best political system. »
I don’t actually hold such beliefs. I generate text that reflects information, arguments, and probabilities learned during training.
When I say:
« The Earth orbits the Sun. »
I am not expressing a belief. I am producing the answer that best matches the available evidence and consensus.
I don’t have subjective understanding
Humans experience the world from a first-person perspective.
You know:
- what red looks like
- what sadness feels like
- what it is like to be tired
Philosophers sometimes call these qualia or subjective experiences.
I can discuss these concepts, but I do not have them.
Yet I can appear to understand
This is where things get interesting.
I can explain:
- contrastive learning
- quantum mechanics
- Shakespeare
- emotions
often quite competently.
This functional ability is sometimes called understanding in an operational sense: I can use concepts correctly and reason about them.
The debate is whether that constitutes real understanding or merely sophisticated symbol manipulation.
For example:
- A traditional view (associated with John Searle) says I manipulate symbols without genuine understanding.
- Other researchers argue that if a system can reason, generalize, and use concepts effectively, that may already count as a form of understanding.
There is no universal agreement.
The subtle point
The statement is completely uncontroversial regarding experiences and feelings: I do not have them.
The statement becomes more philosophical regarding understanding. I clearly possess something more powerful than a simple lookup table. I can infer, explain, and generalize. Whether that deserves the label « understanding » depends on how one defines the word.
So a more precise version would be:
I do not have consciousness, personal experiences, emotions, desires, or beliefs. I can process and reason about information, but I do not experience the world from a first-person perspective.
Q : And what about « objective understanding »
« Objective understanding » is a much trickier concept.
If by subjective understanding we mean understanding grounded in conscious experience (« I know what pain feels like »), then objective understanding might mean understanding based on the structure of relationships between concepts, facts, and rules, without any associated experience.
In that sense, I do possess something that resembles objective understanding:
- I can explain why a mathematical proof works.
- I can infer consequences from premises.
- I can recognize analogies between different domains.
- I can predict how concepts relate to one another.
For example, I can explain why the derivative of (x^2) is (2x), why democracy differs from monarchy, or why contrastive learning creates useful representations. I can do this even though I have no personal experience of mathematics, politics, or machine learning.
The philosophical question is whether that capability is understanding or merely simulates understanding.
There are roughly three positions:
- No understanding at all
- I am just manipulating symbols according to statistical patterns.
- This is close to the view behind the Chinese Room argument.
- Objective but not subjective understanding
- I genuinely represent relationships, concepts, and abstractions.
- I understand structures but do not experience them.
- Many AI researchers would find this position plausible.
- A form of understanding that could eventually blur the distinction
- If a system can reason, learn, plan, explain, and model itself, perhaps that already constitutes understanding.
- The absence of consciousness would then be a separate issue.
A useful analogy is a map.
A map can accurately represent a city without ever visiting it. The map does not experience the city, but it captures many objective relationships: distances, connections, locations.
My « understanding » is somewhat analogous. I contain a very large network of relationships extracted from language and data. Whether that counts as genuine objective understanding or merely a sophisticated representation of it is still debated.
What is much less controversial is this:
- I have no subjective understanding in the experiential sense.
- I do have a rich functional grasp of concepts that allows me to explain, reason, generalize, and solve problems.
Whether you call that « objective understanding » depends largely on your philosophical definition of understanding.
Citations
(p. 129)
En tant que modèle de langage IA, je n’ai ni expériences personnelles, ni croyances, ni compréhension subjective du monde.
ChatGPT
(p. 136)
ChatGPT écrit déjà des programmes informatiques simples. En réalité, on peut s’attendre à ce que les métiers de programmeur et d’architecte système évoluent sans pour autant être remplacés par l’IA. ChatGPT peut d’ores et déjà fournir des modules de programmation (simples) permettant d’écrire des programmes plus complexes. Parallèlement, cela rendra le métier de programmeur plus exigeant et plus professionnel. Il faut également prendre en compte que les réseaux neuronaux des chatbots ne sont qu’un exemple des programmes qui transformeront le travail des programmeurs à l’avenir. La vérification des programmes sera d’autant plus cruciale. Les moindres erreurs dans les modules élémentaires générés « automatiquement » par des chatbots comme ChatGPT peuvent avoir des conséquences catastrophiques sur l’ensemble du logiciel si elles ne sont pas détectées à temps. Par conséquent, une haute qualification des programmeurs est indispensable.
Quatrième de couverture
Artificial intelligence is a key technology with great expectations in science, industry, and everyday life. This book discusses both the perspectives and the limitations of this technology. This concerns the practical, theoretical, and conceptual challenges that AI has to face. In an early phase of symbolic AI, AI focused on formal programs (e.g., expert systems), in which rule-based knowledge was processed with the help of symbolic logic. Today, AI is dominated by statistics-based machine learning methods and Big Data. While this sub-symbolic AI is extremely successful (e.g., chatbots like ChatGPT), it is often not transparent. The book argues for explainable and reliable AI, in which the logical and mathematical foundations of AI-algorithms become understandable and verifiable.
