Lucrează cu modelele locale

Ghidul pornește de la pachetul configurat de TekAdvice.ro. Numele celor două LLM-uri și contextul inițial sunt în fișa laptopului. Modelul general este pentru chat și documente, cel pentru cod pentru dezvoltare software; BGE-M3 este separat, pentru căutarea pasajelor.

1. Alege unul dintre modelele instalate

Pornește aplicațiile din scurtăturile primite. În PowerShell poți vedea modelele disponibile și cele încărcate:

ollama list
ollama ps

Pentru o conversație în terminal, înlocuiește MODEL_DIN_LISTA cu tagul LLM-ului general sau al celui pentru cod:

ollama run MODEL_DIN_LISTA

BGE-M3 nu este un model de conversație. Pentru întrebări despre documente, folosește fluxul Open WebUI din ghidul de documente; un apel direct de generare nu caută automat în fișierele de pe disc.

2. Trimite o cerere către API-ul local

Exemplu de utilizare în PowerShell. Înlocuiește tagul din exemplu cu unul din ollama list. Cererea merge către Ollama de pe același laptop:

$body = @{
    model = 'MODEL_DIN_LISTA'
    prompt = 'Explica pe scurt o functie pura in JavaScript.'
    stream = $false
    keep_alive = 0
    options = @{ num_ctx = 8192 }
} | ConvertTo-Json -Depth 4

$answer = Invoke-RestMethod -Uri 'http://127.0.0.1:11434/api/generate' -Method Post -ContentType 'application/json' -Body $body
$answer.response

stream = $false așteaptă răspunsul complet. Contextul cerut este de 8.192 tokeni, iar keep_alive = 0 cere eliberarea modelului după răspuns. Aceste valori sunt opțiuni ale cererii, nu o măsurătoare de memorie sau viteză. Vezi referința API Ollama pentru formatul răspunsului.

3. Folosește modelul pentru cod în Continue

1. Deschide profilul VS Code pregătit și proiectul local cu care vrei să lucrezi.
2. Deschide panoul Continue și selectează modelul pentru cod indicat în fișa laptopului.
3. Selectează o funcție scurtă și cere o explicație. Pentru o modificare, precizează comportamentul dorit și limitează cererea la fișierele relevante.
4. Citește diferențele propuse înainte de a le aplica. Rulează verificările proiectului și păstrează modificările în controlul versiunilor.

Profilul de lucru local folosește furnizorul Ollama pregătit pe laptop. Verifică modelul activ înainte să trimiți cod. Extensiile sau furnizorii online activați separat pot avea alt traseu pentru date.

4. Context, memorie și sesiuni

Pornește de la contextul din fișa laptopului și lucrează cu un singur LLM generativ pe rând. Un context mai mare consumă mai multă memorie. RAM-ul suplimentar nu mărește VRAM-ul dedicat, iar pe Ryzen memoria este partajată.

Dacă apare o eroare de memorie, închide sesiunile concurente și revino la contextul inițial. Folosește ollama ps pentru starea modelului; informațiile afișate nu țin locul măsurătorilor pe o sarcină definită.

Modelele și funcțiile locale pregătite pot fi folosite fără internet. Descărcările și actualizările sunt operațiuni separate. Păstrează versiunea livrată până când o actualizare a fost discutată și verificată pentru configurația ta.

Suport software: contact@aiprivat.ro, 30 de zile calendaristice de la livrare. Include tagul modelului, contextul cerut și eroarea, folosind un exemplu fără date confidențiale.