Mozilla face au dilemme de la GenAI dans Firefox

Comment s’y prendre pour intégrer de la GenAI dans ses produits quand on est un héraut de la privacy ?

Pour Mozilla, la question devient concrète dans le contexte d’une expérimentation lancée cette semaine sur Firefox Nightly. Elle donne accès à une sélection de chatbots (ChatGPT, Gemini, HuggingChat et Le Chat). On peut les exploiter dans la barre latérale du navigateur. Et éventuellement les faire travailler sur du texte qu’on aura sélectionné dans une page web (option « Ask chatbot » au sein du menu contextuel). Pour trois usages : synthèse, adaptation du niveau de langage et création de tests de connaissances.

Mozilla insiste sur le caractère opt-in de cette expérimentation et donne une certaine latitude aux testeurs. Par exemple, pour configurer leurs propres prompts. Ou pour intégrer d’autres LLM, en particulier par l’intermédiaire de llamafile.

llamafile, pièce du puzzle GenAI dans Firefox

Le projet llamafile avait émergé fin 2023, avec le soutien de Mozilla. À la racine, il y a une autre initiative : APE (Actually Portable Executable), destinée à faire la synthèse entre les formats binaires d’UNIX, Windows et macOS. Sur cette base est né Cosmopolitan, censé faire de C un langage vraiment « portable » en reconfigurant GCC et Clang pour produire un format POSIX utilisable sur de multiples OS et architectures CPU.
Appliqué au framework llama.cpp, Cosmopolitan permet de distribuer des LLM (poids + code d’inférence) en un seul fichier, exécutable sans installation. Mozilla affirme que de « petits » modèles comme Rocket-3B, TinyLlama-1.5B et Phi-2 peuvent aujourd’hui fonctionner, par ce biais, à des vitesses acceptables sur un Raspberry Pi 5.

Il n’est pas obligatoire de renseigner un jeton d’API pour tester les quatre LLM proposés. On peut par ailleurs y associer une autre expérimentation, combinant sidebar et onglet verticaux.

D’autres fonctionnalités sont prévues à l’expérimentation ces prochains temps. Firefox 130, qui doit sortir début septembre, introduira par exemple une génération locale de texte alternatif pour les images dans les PDF. En ligne de mire, la généralisation de cette capacité sur toute la navigation web.

En parallèle de llamafile, Mozilla soutient le projet sqlite-vec. Celui-ci vise à apporter une fonctionnalité de recherche vectorielle dans SQLite, une base de données que Firefox embarque.

Illustration principale ©