Tegenwoordig kun je vrijwel elk AI-model rechtstreeks op je Windows-pc of smartphone draaien, mits je hardware het aankan. Wanneer deze modellen beschikbaar komen, geven de officiële pagina’s – zoals GitHub of Hugging Face – meestal wel wat aanwijzingen over de implementatie-instructies. Maar er is een addertje onder het gras: niet elke machine kan deze modellen probleemloos draaien. Hardwarespecificaties, met name GPU VRAM, RAM en soms ook de processorkracht, zijn van groot belang. Om bijvoorbeeld een model als de Microsoft Fara-7B of andere zware modellen te draaien, heb je een degelijke NVIDIA GPU nodig met minimaal 8-16 GB VRAM. Anders gaat het gewoon niet lukken. Weten of je systeem aan de eisen voldoet voordat je een model downloadt of probeert te implementeren, bespaart enorm veel tijd – en is eerlijk gezegd veel beter dan urenlang tegen fouten aanlopen na de installatie.
Hoe controleer je of je AI lokaal op je pc of telefoon kunt uitvoeren?
Gelukkig zijn er websites en tools die proberen te achterhalen of je hardware geschikt is voor die geavanceerde AI-modellen. Het is niet 100% waterdicht, maar je krijgt in ieder geval een idee zonder al je specificaties in een giswerk te hoeven gooien. Hier is een overzicht van wat er zoal beschikbaar is:
Kan ik AI gebruiken?
- CanIRun.ai detecteert snel je hardware en vertelt je welke AI-modellen waarschijnlijk goed zullen draaien. Bij een eerste bezoek probeert de website automatisch je GPU, RAM, CPU en opslag te detecteren. Let op: soms gaat het mis met de specificaties, dus controleer dit even in je systeeminfo (bijvoorbeeld in Apparaatbeheer of ‘ Over deze pc’ ).De detectie is niet perfect en ik heb wel eens meegemaakt dat er iets misging, maar het is beter dan in het duister tasten.
Op sommige systemen wordt er een rood kruisje weergegeven bij WebGPU ; dat betekent in feite dat je browser geen GPU-acceleratie ondersteunt. Probeer een andere browser. Ik heb wel eens problemen gehad met Chrome, maar Edge of Firefox leken betere resultaten te leveren. Na de scan geeft het programma aan hoeveel modellen compatibel zijn, goed werken of gewoonweg te zwaar zijn. Met filters kun je aangeven of je geïnteresseerd bent in beeldgeneratie, tekst of multimodale modellen.
Systeemvereisten Lab
- SystemRequirementsLab is een andere manier om de hardware van je pc te testen, maar in tegenstelling tot CanIRun.ai moet je hiervoor hun Hardware Detection Tool downloaden en uitvoeren. Nadat je dit draagbare EXE-bestand hebt opgeslagen en gestart, draait het op de achtergrond om een gedetailleerder beeld te geven van de specificaties van je systeem. Omdat het actief je hardware detecteert, zijn de resultaten doorgaans nauwkeuriger.
Nadat het klaar is, krijg je een tabel te zien met compatibiliteitsinformatie voor je model, waarin staat welke parametergroottes (zoals 7B, 13B) en kwantiseringsniveaus je systeem ondersteunt. Eerlijk gezegd heeft die informatie me een hoop gepieker bespaard bij zware modellen die absoluut krachtige hardware vereisen. Bovendien kun je naar beneden scrollen om specifieke aanbevolen modellen voor jouw CPU- en GPU-combinatie te bekijken. Ik heb gemerkt dat het vrij betrouwbaar is – beter dan zomaar gokken op basis van de specificaties.
AI-basis
- AI Base werkt een beetje anders. Het detecteert je hardware niet automatisch, maar je selecteert je specificaties handmatig in de interface. Dus als je je RAM, GPU VRAM en CPU weet, vertelt het je of bepaalde modellen op jouw systeem werken. Handig als je je hardware wilt upgraden of gewoon een ruwe schatting wilt zonder iets te installeren.
Deze site geeft een overzicht van modellen onder de sectie ‘Model Prediction Runtime’, wat in feite een compatibiliteitsschatting is op basis van uw invoer. Omdat het handmatig is, kunt u verschillende configuraties gemakkelijk vergelijken, maar de nauwkeurigheid hangt af van uw invoergegevens.
AI-hardwarecompatibiliteitscontrole
- Met AI Hardware Compatibility Checker kunt u achterhalen welke modellen uw computer aankan door uw VRAM- en RAM-gegevens in te voeren. Voer simpelweg uw systeemspecificaties in, klik op ‘ Compatibiliteit controleren ‘ en de tool toont een lijst met AI-modellen en -taken die geschikt zijn, of het nu gaat om tekst, afbeeldingen of objectdetectie. De tool biedt ook filters voor verschillende toepassingen, wat erg handig is.
Het is een snelle manier om te zien of je hardware het systeem kan omzeilen en bepaalde modellen lokaal kan uitvoeren zonder vast te lopen. Op de ene configuratie lukte het me om lichte beeldmodellen te draaien, op een andere gaf het aan dat mijn GPU niet geschikt was voor iets groters dan eenvoudige tekstgeneratie. Vreemd hoe dat werkt, hè?
AI op je telefoon gebruiken? Jazeker, het is mogelijk.
Voor smartphones is het wat minder zeker. De makkelijkste manier is om CanIRun.ai te bezoeken. Deze website detecteert de hardware van je telefoon (of probeert dat in ieder geval) en laat je direct in je browser zien welke modellen compatibel zijn. Als er staat dat bepaalde modellen niet werken, dan is dat waarschijnlijk de reden. Maar in de meeste gevallen heb je een app van een derde partij nodig.
Apps zoals PocketPal AI of de Google AI Edge Gallery zijn ontworpen om je modellen lokaal op je telefoon te laten draaien. Installeer ze gewoon via Google Play of de App Store. Als je apparaat krachtig genoeg is, werken ze of krijg je in ieder geval een melding als het niet wordt ondersteund. Als je de melding ‘Deze app werkt niet op je apparaat’ krijgt, is dat een duidelijk teken dat de hardware niet geschikt is (of dat het besturingssysteem niet compatibel is).
Is het mogelijk om een AI-agent lokaal uit te voeren?
Jazeker! Het hangt alleen af van je hardware. Voor het genereren van afbeeldingen of video’s heb je een goede GPU nodig, bijvoorbeeld een met voldoende VRAM. Voor lichtere taken zoals tekstgeneratie kunnen zelfs sommige geïntegreerde grafische kaarten volstaan, maar verwacht dan wel tragere resultaten. De sleutel is om het juiste model te kiezen dat bij je hardware past; anders leidt het alleen maar tot mislukte pogingen en tijdverspilling.
Hoeveel RAM-geheugen heb je nu echt nodig voor AI?
Dit hangt af van de grootte en het type AI-model, en of je werkt met gekwantiseerde versies of modellen met volledige precisie. Grote modellen zoals GPT-3 of vergelijkbare modellen van 13B+ vereisen absoluut 16 GB of meer RAM-geheugen om te laden. Kleinere modellen of gekwantiseerde versies kunnen soms volstaan met 8 GB of zelfs minder, maar verwacht geen razendsnelle reacties. Eerlijk gezegd heb ik op sommige systemen gezien dat modellen traag draaien, zelfs met behoorlijke specificaties, dus het is een kwestie van de juiste balans vinden.
Kortom: controleer je hardware, begrijp wat de specificaties van het model vereisen en kies dienovereenkomstig. Of probeer in ieder geval de bovenstaande tools – die besparen je een hoop giswerk.