جلسهی 65: مدل زبانی از بیرون A Language Model from the Outside
مدلهای بزرگ روی سرور شرکتها زندگی میکنند و برنامهی ما از راه API با آنها حرف میزند: یک درخواست JSON میفرستد و یک جواب JSON میگیرد. توکن چیست، هزینه چطور حساب میشود و چرا نباید اطلاعات شخصی فرستاد.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم بگویم API چیست و یک درخواست به مدل زبانی چه بخشهایی دارد.
- در پایان این جلسه میتوانم یک جواب JSON را با
json.loadsباز کنم و متن جواب و تعداد توکنها را بیرون بکشم. - در پایان این جلسه میتوانم هزینهی یک درخواست را از روی توکنها حساب کنم.
- در پایان این جلسه میدانم چرا گفتوگوی طولانی گرانتر میشود و چه چیزی را هرگز نباید به مدل فرستاد.
درس
تا اینجا هر مدلی که ساختی داخل برنامهی خودت بود: k-NN، شبکهی XOR، شاعر کوچک. اما ChatGPT، Claude و DeepSeek میلیاردها وزن دارند و روی هزاران کارت گرافیک در سرور شرکت سازنده اجرا میشوند. برنامهی تو آنها را دانلود نمیکند؛ از راه اینترنت با آنها حرف میزند. این فاز دربارهی همین است: مدل زبانی را از بیرون، مثل یک ابزار، در برنامهی خودت به کار بگیری.
API (رابط برنامهنویسی) یعنی «منوی سفارش برای برنامهها»: قانونی که میگوید یک برنامه چطور از برنامهی دیگر چیزی بخواهد. مثل سفارش غذا با برنامهی تحویل: تو فرم سفارش را پر میکنی (درخواست)، آشپزخانه را نمیبینی، و یک بسته تحویل میگیری (جواب). برای مدل زبانی، درخواست و جواب هر دو JSON هستند: همان دیکشنری و لیست پایتون، به شکل متن.
این یک درخواست واقعی به API یک مدل گفتوگو است (شکل OpenAI که DeepSeek هم همان را میفهمد). model اسم مدل است؛ messages لیست پیامهای گفتوگو، هر کدام با role (چه کسی گفته) و content (چه گفته)؛ max_tokens سقف طول جواب. درخواست به یک آدرس (endpoint) فرستاده میشود و کلید API در سرآیند آن است، نه در متن.
POST https://api.deepseek.com/chat/completions
Authorization: Bearer sk-************************ <- the key: a secret!
{
"model": "deepseek-chat",
"messages": [
{"role": "user", "content": "What is a token?"}
],
"max_tokens": 60
}و این جواب است، همانطور که روی صفحه میبینی (اینجا متنِ یک اجرای واقعی را آوردهایم، سایت خودش به هیچ API وصل نمیشود). متن جواب در choices[0]["message"]["content"] است. finish_reason میگوید چرا تمام شد: stop یعنی جوابش تمام شد، length یعنی به سقف max_tokens خورد و نیمهکاره ماند. usage تعداد توکنها را میدهد: prompt_tokens (ورودی)، completion_tokens (خروجی).
{
"id": "chatcmpl-7f3a",
"model": "deepseek-chat",
"choices": [
{
"message": {"role": "assistant",
"content": "A token is a small piece of text, often a word or part of a word."},
"finish_reason": "stop"
}
],
"usage": {"prompt_tokens": 8, "completion_tokens": 17, "total_tokens": 25}
}در پایتون، متن JSON را با json.loads به دیکشنری تبدیل میکنیم و با json.dumps برعکس. بعد با کلید و شماره به داخلش میرویم، لایه به لایه: اول choices، بعد خانهی [0]، بعد message، بعد content.
import json
text = '{"choices": [{"message": {"content": "Hi!"}}], "usage": {"total_tokens": 5}}'
reply = json.loads(text)
print(reply["choices"][0]["message"]["content"]) # Hi!
print(reply["usage"]["total_tokens"]) # 5توکن و هزینه. شرکتها به ازای هر میلیون توکن پول میگیرند، و توکن خروجی معمولاً گرانتر از ورودی است. یک قاعدهی سرانگشتی برای انگلیسی: هر ۴ حرف حدود یک توکن؛ فارسی معمولاً توکن بیشتری میگیرد. فرمول: هزینه = توکن ورودی × قیمت ورودی / ۱٬۰۰۰٬۰۰۰ + توکن خروجی × قیمت خروجی / ۱٬۰۰۰٬۰۰۰. قیمتهای تمرینها نمونهاند؛ قیمت واقعی را همیشه در صفحهی قیمت خود شرکت ببین، چون عوض میشود.
یک نکتهی مهم: مدل حافظه ندارد. هر درخواست جداست؛ اگر میخواهی گفتوگو ادامه پیدا کند، باید کل پیامهای قبلی را هر بار دوباره بفرستی. پس هر نوبت از نوبت قبل گرانتر است. چتباتهای وب همین کار را پنهانی برایت میکنند.
⚠️ هر چیزی که در content بنویسی، روی سرور یک شرکت دیگر میرود و ممکن است ذخیره شود. پس هرگز: اسم کامل با نشانی، شمارهی تلفن، رمز عبور، عکس مدرک، نمره یا اطلاعات همکلاسیها. و یادت باشد مدل از بیرون هم همان مدل است: توهم میزند، با اعتمادبهنفس. کلید API هم مثل رمز عبور است؛ جلسهی بعد مفصل دربارهاش حرف میزنیم.
در این سایت هیچ مدل واقعی صدا زده نمیشود. به جایش در تمرینها تابع fake_api(request) را داریم: یک مدل شبیهسازیشده که چند جواب آماده دارد و جوابش را دقیقاً به شکل جواب واقعی برمیگرداند. کدی که با آن مینویسی، با عوض کردن همین یک تابع، روی کامپیوتر خودت با مدل واقعی هم کار میکند.
مثالهای این جلسه
- مثال پایتون (هوش مصنوعی با پایتون): POST https://api.deepseek.com/chat/completi…
- مثال پایتون (هوش مصنوعی با پایتون): {
- مثال متغیر (هوش مصنوعی با پایتون): text = '{"choices": [{"message": {"content"…
چالشها
- Request or Reply? (آسان)
- Build a Request (آسان)
- Open the Reply (متوسط)
- What Does It Cost? (متوسط)
- Why Long Chats Cost More (سخت)
- A Privacy Guard (سخت)
بیشتر بخوان
← جلسهی 64: ارائه و پورتفولیو جلسهی 66: کلید رایگان روی کامپیوتر خودت →