Chain of Thought

Promptowanie Chain of Thought (CoT) to technika stosowana do poprawy zdolności rozumowania dużych modeli językowych (LLM) poprzez prowadzenie ich przez serię pośrednich kroków rozumowania.

Promptowanie Chain-of-Thought (CoT) to zaawansowana technika zaprojektowana w celu zwiększenia zdolności rozumowania Dużych Modeli Językowych (LLM). Zamiast bezpośrednio prosić o odpowiedź, promptowanie CoT zachęca model do generowania serii pośrednich kroków rozumowania, które prowadzą do ostatecznego wyniku. Zazwyczaj osiąga się to poprzez dostarczenie w prompcie kilku przykładów demonstrujących ten proces rozumowania krok po kroku, lub po prostu dodając do zapytania użytkownika frazy takie jak „Pomyślmy krok po kroku”. Podstawową zasadą jest to, że poprzez eksternalizację procesu myślowego, LLM może lepiej rozkładać złożone problemy, śledzić własną progresję logiczną i zmniejszać prawdopodobieństwo popełnienia błędów. Metoda ta wykazała znaczącą poprawę wydajności w zadaniach wymagających rozumowania arytmetycznego, zdroworozsądkowego i symbolicznego. Kompromisem jest zwiększenie długości generowanego wyjścia i potencjalnie wyższe koszty obliczeniowe z powodu rozszerzonego procesu generowania. Jednak poprawiona dokładność i interpretowalność często przeważają nad tymi wadami, czyniąc CoT cennym narzędziem do wykorzystania LLM-ów w złożonych scenariuszach rozwiązywania problemów.

        graph LR
  Center["Chain of Thought"]:::main
  Pre_philosophy["philosophy"]:::pre --> Center
  click Pre_philosophy "/terms/philosophy"
  Rel_prompt_engineering["prompt-engineering"]:::related -.-> Center
  click Rel_prompt_engineering "/terms/prompt-engineering"
  Rel_function_calling["function-calling"]:::related -.-> Center
  click Rel_function_calling "/terms/function-calling"
  Rel_machine_learning["machine-learning"]:::related -.-> Center
  click Rel_machine_learning "/terms/machine-learning"
  classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
  classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
  classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
  classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
  linkStyle default stroke:#4b5563,stroke-width:2px;

      

🧠 Sprawdzenie wiedzy

1 / 3

🧒 Wyjaśnij jak 5-latkowi

To tak, jakby poprosić przyjaciela, żeby pokazał swoje obliczenia przy rozwiązywaniu zadania matematycznego, zamiast tylko podawać odpowiedź. Pomaga mu to myśleć jaśniej i uzyskać właściwą odpowiedź.

🤓 Expert Deep Dive

Promptowanie Chain-of-Thought fundamentalnie zmienia proces wnioskowania LLM-ów, wprowadzając wyraźny etap pośredniego rozumowania. Architektonicznie wykorzystuje ono autoregresywną naturę modeli transformatorowych, zachęcając do generowania sekwencji tokenów reprezentujących logiczne kroki. Można to postrzegać jako formę niejawnej syntezy programów lub przewidywania strukturalnego, gdzie LLM generuje „program” kroków rozumowania przed wyprodukowaniem ostatecznego „wyjścia”. Skuteczność wynika ze zdolności modelu do warunkowania generowania kolejnych tokenów na podstawie wcześniej wygenerowanych tokenów, skutecznie tworząc dynamiczny graf obliczeniowy. Kompromisy obejmują zwiększone opóźnienia i zużycie tokenów. Podatności mogą pojawić się, jeśli kroki pośrednie są błędne, prowadząc do „śmieci na wejściu, śmieci na wyjściu” pomimo ustrukturyzowanego podejścia. Badania eksplorują metody automatycznego generowania CoT, optymalizacji granularności kroków i weryfikacji spójności logicznej generowanych łańcuchów.

🔗 Powiązane terminy

Wymagana wiedza:

📚 Źródła