Pour les 6 ans de kleis technology, nous avons demandé au modèle Arpertus de nous écrire une belle lettre d'anniversaire.

Contexte

Utilisateurs de mac, nous utilisons les libraries de machine learning d'Apple : mlx et mlx_lm

Ces librairies tirent partie du modèle mémoire de la série de processeur d'Apple, à savoir sa mémoire unifiée. Tous les processeurs M1, M2, ... ont aussi integré entre 10 et 40 coeurs GPU et quelques coeurs dédiés aux calculs matriciels (Neural Engine)

Mac OS, plateforme de tests de modèles AI en local ?

Ces deux caractéristiques rendent les mac book pro ou dérivés de très bonnes machines pour des expérimentations autour de l'AI.

Cela permet, en effet, de dédier une grande partie de la mémoire aux GPUs et TPUs (Neural Engine) plus efficient pour les calculs nécessaires au machine learning.

De plus, à la différence des architectures classiques (Intel, ...), l'approche de mémoire unifiée, évite de devoir copier les données dans la mémoire du GPU avant chaque calcul. A titre d'éxemple, cette page montre les gains potentiels liés à l'utilisation de MLX en comparaison de pytorch, une autre librairie python très connu dans le monde du machine learning.

Voici donc une plateforme avec des dizaines d'unités de calculs spécialisées dans le machine learning et une capacité de mémoire associée presque inégalé sur des laptops.

Comment dialoguer avec le modèle Apertus (version MLX)

Le script ci-dessous permet d'utiliser la version 8B du modèle Apertus avec la librairie dédiée aux LLMs d'Apple. Ce script va:

• chercher le model sur le registre huggingface.co
• preparer le prompt pour le passer au modèle, et génère une réponse à la question posée

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Apertus-8B-Instruct-2509-bf16")

prompt = "Apertus, écris moi une phrase d'anniversaire pour kleis technology"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

Résultat :

Chers amis de Kleis Technology, aujourd'hui, nous célébrons un anniversaire spécial. Que cette année soit remplie de succès, d'innovations et de moments inoubliables. Continuez à repousser les limites de la technologie et à inspirer les générations futures. Joyeux anniversaire à tous !

Et voila! Merci Apertus!