GenAI

Pourquoi ce projet ? Dans le post précédent, j’ai fini par faire tourner de l’inférence sur une Tesla T10 récupérée pour 300€ — une carte qui, dans une autre vie, streamait du cloud gaming chez GeForce Now. Sympa, mais soyons honnêtes deux secondes : faire tourner un modèle que quelqu’un d’autre a entraîné, c’est le service minimum syndical. N’importe qui avec ollama pull sait faire ça en trente secondes. Ce qui me démangeait, c’était la partie d’avant. D’où sort le modèle. Comment on passe d’un tas de texte brut à un truc qui aligne des phrases qui tiennent debout. Quand on utilise Claude, ChatGPT ou Mistral au quotidien, on tape un prompt, ça sort une réponse, et entre les deux c’est de la magie noire pour à peu près tout le monde qui s’en sert. ...

Dans quel but ? Depuis que je m’intéresse à l’IA j’aime bien faire mumuse avec des GPU étranges. Après avoir fait Un setup IA moins cher que Mario Kart World, je me suis demandé si on pouvait héberger des modèles d’IA performants avec des GPU vraiment pas chers. Et spoiler, oui on peut. Mais avec quelques points noirs. Le setup Le setup reste plus ou moins le même que pour l’article précédent. Pour rappel: ...

🔴 Pourquoi faire de l’IA chez soi ? C’est vrai ça, pourquoi faire de l’IA chez soi ? Et puis d’abord, c’est quoi l’IA ? Qu’est-ce que l’IA ? Selon Wikipedia : L’intelligence artificielle (IA) est la capacité des machines à effectuer des tâches typiquement associées à l’intelligence humaine, comme l’apprentissage, le raisonnement, la résolution de problème, la perception ou la prise de décision. L’intelligence artificielle est également le champ de recherche visant à développer de telles machines ainsi que les systèmes informatiques qui en résultent. ...