146 liens privés
daily.dev is the open-source professional network developers deserve. Get free access to unlimited amounts of quality knowledge from all over the web every day.
Learn how to enhance your Python development workflow with auto-completion, syntax highlighting, history navigation, and more. In this tutorial, you'll walk through the fundamentals of ptpython, covering installation, basic usage, and advanced features.
French instruction-following and chat models. Contribute to bofenghuang/vigogne development by creating an account on GitHub.
Pour améliorer les performance, il faut "quantizer" un modèle.
J'ai encore pas trop de vision de ce que ça fait, mais en gros ça compresse le modèle et ça permet de l'utiliser en consommant moins de RAM et surtout c'est (beaucoup) plus rapide !
Dans llama.cpp on a des commandes pour convertir les modèles une première fois (les script "convert".
Mais il y a aussi une commande quantize (ou quantize.exe sous windows) qui permet de faire la deuxième étape....et ça va beaucoup plus vite.
.\quantize.exe ....\llama\llama-2-7b-chat\ggml-model-f16.bin --allow-requantizing 2
Accessoirement, comme ça consomme moins de RAM, cela permet également de jouer des modèles plus performants.
Un nouveau rss a suivre
Un éditeur de texte qui avait l'air intéressant...installé depuis longtemps, mais jamais trop utilisé...
Je le mets içi pour ne pas oublier son nom
beauuuu !!!
PC de destockage
A lire...
Ca me fera du bien
Vidéo à voir
C'est beau des initiatives comme ça !
via sebsauvage..
Une belle leçon
A voir (?)
lol
Encore un blog à suivre ?