Smartphone France Android Edition : L'Intelligence Artificielle en local, c'est surprenant

Si l'Intelligence Artificielle, l'IA pour les intimes, est un outil extraordinaire, son gros problème est qu'elle utilise toutes les informations qu'on peut lui donner, même quand il s'agit de nos questions. Afin de travailler avec l'IA tout en gardant une confidentialité maximale, le seul moyen fiable aujourd'hui est d'installer "sa propre IA" sur un ordinateur qui répondra aux questions posées sans nécessiter de connexion à Internet. Un truc qui semble hyper compliqué, mais qui en réalité ne l'est pas tant que ça.

Etant curieux nous avons voulu tenter l'expérience sur un Raspberry, enfin sur le plus puissant des Raspberry que nous possédons, un RPi5 avec 8Go de mémoire et un disque de type NVMe de 256Go. Une config qui reste très modeste par rapport à celles des géants de la tech mais qui permet de répondre à notre besoin initial, tester une IA en mode local c'est à dire sans avoir besoin de se connecter à Internet. Un peu comme on le ferait nous-même en réfléchissant. Pour réaliser cette prouesse technique, une première pour nous, nous avons utilisé Ollama pour le cœur de notre IA, le modèle Phi4-mini de chez Microsoft pour la matière grise et Open WebUI pour avoir une interface d'utilisation agréable à utiliser.

Si nous ne sommes pas allés bien loin dans nos tests, principalement à cause du manque de puissance de notre Raspberry, nous devons admettre avoir plutôt été étonnés par le résultat obtenu. S'il a fallu être patient dans l'obtention des réponses aux questions posées, même en mode déconnecté, une IA connait pas mal de choses. Comme nous l'affirmons à tous ceux qui veulent bien nous entendre, une IA n'est qu'un moteur de recherche évolué qui ne peut répondre qu'avec des données préalablement ingurgitées, mais même avec "peu de données" son champ d'action reste très important. En conclusion on peut dire que l'IA ça déchire !

Cette première expérience a été très positive et nous a donné envie d'aller plus loin. On va donc le faire en utilisant "notre cluster de virtualisation Proxmox" pour créer un ordinateur bien plus puissant que notre Raspberry. Avec 20 cœurs et 32Go de mémoire vive, ça devrait être plus performant. On espère même pouvoir l'intégrer sur notre smartphone. Parmi vous, y en a t-ils qui se sont lancés dans l'aventure de l'IA en mode autonome ?