Devenir le futur Anthropic avec un GPU de 2020
Pourquoi ce projet ? Dans le post précédent, j’ai fini par faire tourner de l’inférence sur une Tesla T10 récupérée pour 300€ — une carte qui, dans une autre vie, streamait du cloud gaming chez GeForce Now. Sympa, mais soyons honnêtes deux secondes : faire tourner un modèle que quelqu’un d’autre a entraîné, c’est le service minimum syndical. N’importe qui avec ollama pull sait faire ça en trente secondes. Ce qui me démangeait, c’était la partie d’avant. D’où sort le modèle. Comment on passe d’un tas de texte brut à un truc qui aligne des phrases qui tiennent debout. Quand on utilise Claude, ChatGPT ou Mistral au quotidien, on tape un prompt, ça sort une réponse, et entre les deux c’est de la magie noire pour à peu près tout le monde qui s’en sert. ...