Cette page explique comment lancer Llama sur MacBook M2. Et notamment explique comment convertir les modèles natif au bon format.
Par contre je crois qu'il n'y a pas l'option pour utiliser le framework metal qui permet d'utiliser le GPU.

Voir le lien ci-dessous pour quelques infos en plus :
https://simonwillison.net/2023/Jul/19/

Qui nous amène à cette page :
https://gist.githubusercontent.com/adrienbrault/b76631c56c736def9bc1bc2167b5d129/raw/bf9dab711e31566353883055ee5f33092eb0c096/llama2-mac-gpu.sh

Un thread Reddit qui donne les bases pour démarrer.

Un GUI pour Llama ?