Słownik AI
Okno kontekstu
Okno kontekstu to ilość tekstu, którą model AI widzi naraz w jednej rozmowie: Twoje polecenia, wklejone dokumenty, swoje odpowiedzi i wyniki narzędzi. Mierzy się je w tokenach, czyli kawałkach słów. Gdy rozmowa przekroczy ten limit, model przestaje widzieć najstarsze fragmenty albo odmawia przyjęcia kolejnego dokumentu.
Zaktualizowano: · 85 Software Group
Okno kontekstu wyjaśnione po ludzku
Model nie pamięta rozmów tak jak człowiek. Za każdym razem czyta całą rozmowę od początku i odpowiada na jej podstawie. Okno kontekstu to maksymalna długość tego, co może przeczytać za jednym razem.
To jak biurko, na którym mieszczą się dokumenty potrzebne do pracy. Na duże biurko zmieścisz całą umowę z załącznikami, na małe tylko kilka stron. Gdy biurko się zapełni, coś trzeba zdjąć, i zwykle jest to to, co leży najdłużej.
Duże okno nie znaczy, że model równie dobrze pamięta każdy fragment. W bardzo długich rozmowach szczegóły z początku łatwiej giną. Lepiej zacząć nową rozmowę z krótkim podsumowaniem niż ciągnąć jedną przez cały tydzień.
Jak używamy tego w praktyce
Streszczanie długich dokumentów
Typowe zastosowanie: wklejasz do asystenta umowę albo raport na kilkadziesiąt stron i prosisz o streszczenie lub listę ryzyk. Gdy dokument nie mieści się w oknie, dzielisz go na części albo korzystasz z asystenta z większym oknem.
Długie rozmowy w zespole
Gdy wątek z asystentem ciągnie się od dni i odpowiedzi zaczynają pomijać ustalenia z początku, warto poprosić o podsumowanie ustaleń i zacząć nową rozmowę od niego.
Powiązane hasła
- LLMLLM to duży model językowy: program wytrenowany na ogromnej ilości tekstu, który przewiduje, jakie słowa powinny paść dalej
- PromptPrompt to polecenie, które wpisujesz do modelu AI, żeby wykonał zadanie: pytanie, instrukcja, przykład albo wklejony dokument
- RAGRAG to sposób budowania asystenta AI, który przed odpowiedzią wyszukuje pasujące fragmenty w dokumentach firmy, a potem odpowiada na ich podstawie
Pytania o Okno kontekstu
Co to jest token w AI?
Token to kawałek tekstu, na który model dzieli słowa: czasem całe słowo, czasem jego część. Po polsku jedno słowo to zwykle więcej niż jeden token. W tokenach liczy się okno kontekstu i często cenę korzystania z modelu.
Dlaczego AI zapomina, co mówiłem na początku rozmowy?
Bo rozmowa przekroczyła okno kontekstu albo jest tak długa, że model gorzej wyłapuje wcześniejsze szczegóły. Najprościej poprosić o podsumowanie najważniejszych ustaleń i zacząć nową rozmowę od tego podsumowania.
Chcesz wdrożyć to w firmie?Pomożemy albo nauczymy.
Budujemy produkty z AI i szkolimy zespoły. Napisz, czego potrzebujesz.
Napisz do nasa@85.pl