Mensuel Shaarli
July, 2023
Video stabilization using gyroscope data. Contribute to gyroflow/gyroflow development by creating an account on GitHub.
https://gyroflow.xyz/
Cette page explique comment lancer Llama sur MacBook M2. Et notamment explique comment convertir les modèles natif au bon format.
Par contre je crois qu'il n'y a pas l'option pour utiliser le framework metal qui permet d'utiliser le GPU.
Voir le lien ci-dessous pour quelques infos en plus :
https://simonwillison.net/2023/Jul/19/
Qui nous amène à cette page :
https://gist.githubusercontent.com/adrienbrault/b76631c56c736def9bc1bc2167b5d129/raw/bf9dab711e31566353883055ee5f33092eb0c096/llama2-mac-gpu.sh
CUPS backend for the Canon BJNP network printers. Contribute to bitwiseworks/cups-bjnp-os2 development by creating an account on GitHub.
Un thread Reddit qui donne les bases pour démarrer.
Un GUI pour Llama ?
Une alternative OpenSource à CoPilot. Je n'ai aucune idée de ce que ça vaut, mais il faut une RTX Pour que ça fonctionne.
Une plateforme qui regroupe les communautés autours des différentes AI.
Un système de fichiers dont je n'avais pas entendu parler.
Il semble cocher pas mal de cases par rapport à ZFS et idéalement il serait embarqué par défaut dans le noyau Linux.
En terme de licence je n'ai pas vérifié, mais j'imagine que s'il est comparé à btrfs c'est que ça doit être OK également.
Pour améliorer les performance, il faut "quantizer" un modèle.
J'ai encore pas trop de vision de ce que ça fait, mais en gros ça compresse le modèle et ça permet de l'utiliser en consommant moins de RAM et surtout c'est (beaucoup) plus rapide !
Dans llama.cpp on a des commandes pour convertir les modèles une première fois (les script "convert".
Mais il y a aussi une commande quantize (ou quantize.exe sous windows) qui permet de faire la deuxième étape....et ça va beaucoup plus vite.
.\quantize.exe ....\llama\llama-2-7b-chat\ggml-model-f16.bin --allow-requantizing 2
Accessoirement, comme ça consomme moins de RAM, cela permet également de jouer des modèles plus performants.
en // de OpenAI et de GPT, Meta est en train de développer une IA.
Cette dernière serait apparemment Open Source.
Je n'y connais rien, mais je me demandais s'il était possible de faire tourner cela sur un laptop.
Apparemment à terme cette IA sera prévue pour fonctionner sur des GSM.
Ce site en parle aussi :
https://beebom.com/how-use-llama-2-ai-model/