جلسهی 33: متن برای کامپیوتر Text for the Computer
کامپیوتر متن را نمیفهمد، عدد میفهمد. متن را به توکنها میشکنیم، واژهنامه میسازیم و هر جمله را به «کیسهی کلمات» (شمارش کلمهها) تبدیل میکنیم.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم یک متن را تمیز کنم و به توکن (کلمه) بشکنم.
- در پایان این جلسه میتوانم از چند جمله یک واژهنامه (لیست کلمههای یکتا) بسازم.
- در پایان این جلسه میتوانم هر جمله را به بردارِ شمارش کلمهها تبدیل کنم.
- در پایان این جلسه میدانم چرا این روش ترتیب کلمهها را گم میکند.
درس
در پروژهی هرزنامه فقط پنج کلمه را شمردیم. مدلهای زبانی واقعی همهی کلمهها را میبینند. اما قبل از هر چیز باید متن را به تکههای کوچک بشکنیم. به هر تکه توکن (token) میگوییم؛ برای ما توکن همان کلمه است. ChatGPT و دوستانش هم با توکن کار میکنند، فقط توکنهایشان گاهی نصف کلمه است.
شکستن ساده با split() کار میکند، ولی Hello, و hello دو توکن متفاوت میشوند. پس اول متن را تمیز میکنیم: همهچیز کوچک، علامتها حذف. برای حذف علامتها حرف به حرف نگاه میکنیم و فقط حرف و فاصله را نگه میداریم (isalpha).
def tokens(text):
clean = ""
for ch in text.lower():
if ch.isalpha() or ch == " ":
clean = clean + ch
return clean.split()
print(tokens("Hello, hello! The cat sat."))
# ['hello', 'hello', 'the', 'cat', 'sat']واژهنامه (vocabulary): لیست همهی کلمههای یکتا در همهی جملهها، مرتبشده. هر کلمه یک شماره میگیرد (جایش در لیست). این شماره همان «عددی» است که کامپیوتر به جای کلمه میبیند.
sentences = ["the cat sat", "the dog sat", "a cat and a dog"]
vocab = sorted(set(word for s in sentences for word in tokens(s)))
print(vocab)
# ['a', 'and', 'cat', 'dog', 'sat', 'the']
print(vocab.index("cat")) # 2حالا هر جمله میشود یک لیست عدد به طول واژهنامه: در خانهی هر کلمه مینویسیم چند بار در جمله آمده. به این کیسهی کلمات (bag of words) میگوییم: انگار کلمهها را در یک کیسه ریختهایم و فقط شمردهایم. حالا جمله یک بردار است و k-NN یا نورون میتواند با آن کار کند!
def bag(sentence, vocab):
counts = [0] * len(vocab)
for word in tokens(sentence):
if word in vocab:
counts[vocab.index(word)] += 1
return counts
print(bag("a cat and a dog", vocab)) # [2, 1, 1, 1, 0, 0]پایتون ابزار آمادهای برای شمردن دارد: collections.Counter. یک لیست به آن بده و دیکشنری «کلمه: تعداد» میگیری. most_common(3) سه کلمهی پرتکرار را میدهد. برای تحلیل متن خیلی به کار میآید.
from collections import Counter
c = Counter(tokens("the cat and the dog and the bird"))
print(c["the"]) # 3
print(c.most_common(2)) # [('the', 3), ('and', 2)]کیسهی کلمات یک ضعف بزرگ دارد: ترتیب را گم میکند. «سگ گربه را گاز گرفت» و «گربه سگ را گاز گرفت» دقیقاً یک کیسه دارند! مدلهای زبانی مدرن برای همین به جای کیسه از ترتیب (توالی) استفاده میکنند؛ در جلسهی ۳۵ یک نسخهی کوچکش را میسازیم. ولی برای «این پیام مثبت است یا منفی» کیسهی کلمات بهطرز شگفتانگیزی خوب کار میکند.
اشتباه رایج: فراموش کردن lower()؛ آنوقت The و the دو کلمه میشوند و واژهنامه بزرگ و بیخود میشود. اشتباه دوم: کلمهای که در واژهنامه نیست را با vocab.index جستوجو کردن؛ خطای ValueError میدهد. همیشه اول if word in vocab.
مثالهای این جلسه
- مثال تابع (هوش مصنوعی با پایتون): def tokens(text):
- مثال تاپل و مجموعه (هوش مصنوعی با پایتون): vocab = sorted(set(word for s in sentences …
- مثال تابع (هوش مصنوعی با پایتون): def bag(sentence, vocab):
- مثال متغیر (هوش مصنوعی با پایتون): c = Counter(tokens("the cat and the dog and…
چالشها
- Clean Tokens (آسان)
- Most Common Words (آسان)
- Build the Vocabulary (متوسط)
- Bag of Words (متوسط)
- Same Bag, Different Meaning (سخت)
- Nearest Sentence (سخت)
بیشتر بخوان
- تابع در پایتون: آموزش def، پارامتر و return با مثال
- تاپل و مجموعه (tuple و set) در پایتون: آموزش با مثال
- متغیر در پایتون: تعریف، نامگذاری و تغییر مقدار با مثال
← جلسهی 32: پروژه: شناسای رقم جلسهی 34: احساس مثبت یا منفی →