پایگاه دادهی حرفهای
وقتی دادهها میلیونی میشوند، یک پایگاه دادهی ساده دیگر بس نیست. این کلمهها روشهای سریع نگه داشتن، پخش کردن و امن نگه داشتن دادههای بزرگاند.
اسمهای -tion و -ing: کار به شکل اسم
با -tion و -ing از فعل اسم میسازند: replicate و replication، index و indexing، shard و sharding. این اسمها خود «کار» را نام میبرند و در جمله مثل هر اسم دیگری میآیند: «Indexing made it faster». در جملهی «We are indexing the table» همان -ing بخشی از فعل است، نه اسم.
هشت کلمهی این درس
replication (رِپلیکِیشِن): تکثیر؛ کپی همیشگی و خودکار داده روی چند سرور
replicate یعنی تکثیر کردن و یک نسخهی دیگر ساختن. در پایگاه داده، replication یعنی هر تغییری که روی سرور اصلی (primary) نوشته میشود، خودکار روی یک یا چند سرور دیگر (replica) هم کپی شود. دو فایده دارد: اگر سرور اصلی خراب شد، یک replica جایش را میگیرد، و درخواستهای خواندن را میشود بین replicaها پخش کرد تا سرور اصلی سبکتر شود.
Replication lag was ten seconds, so users saw old data.
تأخیر تکثیر ده ثانیه بود، برای همین کاربرها دادهی قدیمی میدیدند.
sharding (شاردینگ): تکهتکه کردن دادهها بین چند پایگاه داده
shard در انگلیسی یعنی تکهی شکستهی شیشه یا سفال. وقتی دادهها آنقدر زیاد میشوند که در یک سرور جا نمیشوند یا یک سرور از پس درخواستها برنمیآید، آنها را تکهتکه (shard) میکنند و هر تکه را روی یک سرور میگذارند؛ مثلا کاربرهای ۱ تا یک میلیون روی سرور اول و بعدیها روی دومی. مثل کتابخانهای که کتابها را بر اساس حرف اول اسم نویسنده در چند ساختمان پخش کند.
We use sharding by user ID to spread the data over eight servers.
با تکهتکه کردن بر اساس شناسهی کاربر، داده را روی هشت سرور پخش میکنیم.
indexing (ایندِکسینگ): فهرستسازی؛ ساختن index برای پیدا کردن سریعتر داده
index در انگلیسی همان فهرست الفبایی آخر کتاب است که میگوید هر کلمه در کدام صفحه آمده، تا لازم نباشد کل کتاب را ورق بزنی. در پایگاه داده، indexing یعنی ساختن چنین فهرستی برای یک یا چند ستون. بدون index پایگاه داده برای پیدا کردن یک ایمیل باید همهی میلیونها سطر را بخواند؛ با index در یک چشم به هم زدن پیدایش میکند. ولی هر index جا میگیرد و نوشتن را کمی کندتر میکند.
Proper indexing made the search page ten times faster.
فهرستسازی درست، صفحهی جستوجو را ده برابر سریعتر کرد.
connection pool (کِنِکشِن پول): مخزن اتصال؛ چند اتصال باز و آماده به پایگاه داده برای استفادهی دوباره
pool در انگلیسی غیر از استخر، یعنی مجموعهای مشترک که همه از آن برمیدارند و برمیگردانند، مثل car pool یا دوچرخههای اشتراکی شهر. باز کردن یک اتصال تازه به پایگاه داده کند است. connection pool چند اتصال را از قبل باز نگه میدارد؛ هر درخواست یکی را قرض میگیرد، کارش را میکند و پس میدهد. اگر همه در حال استفاده باشند، درخواست تازه باید صبر کند.
The connection pool is full, so new requests wait for a free connection.
مخزن اتصال پر است، برای همین درخواستهای تازه منتظر یک اتصال آزاد میمانند.
ORM (اُوآراِم): کتابخانهای که جدولهای پایگاه داده را به کلاسها و شیءها وصل میکند
ORM یعنی «نگاشت شیء به رابطه». پایگاه دادهی رابطهای با جدول و سطر کار میکند ولی برنامهی تو با کلاس و شیء. ORM مترجم بین این دوست: هر جدول یک کلاس میشود و هر سطر یک شیء، و به جای نوشتن SQL، با متدهای معمولی پایتون یا جاوااسکریپت کار میکنی و ORM خودش SQL را میسازد. Django ORM، SQLAlchemy و Prisma معروفاند.
The ORM generates the SQL for you, but check it when queries get slow.
ORM خودش SQL را برایت میسازد، ولی وقتی کوئریها کند شدند آن را بررسی کن.
stored procedure (اِستورد پرِسیجِر): رویهی ذخیرهشده؛ تابعی که درون خود پایگاه داده نوشته و اجرا میشود
stored یعنی ذخیرهشده و procedure یعنی روال یا دستورالعمل. stored procedure چند دستور SQL است که با یک اسم درون خود پایگاه داده ذخیره شده، مثل یک تابع: ورودی میگیرد و هر وقت صدایش بزنی اجرا میشود. چون کار درون پایگاه داده انجام میشود، داده لازم نیست بین سرور و برنامه رفتوبرگشت کند. ولی نگهداری و تست کردنش از کد معمولی سختتر است.
The monthly report is built by a stored procedure that runs every night.
گزارش ماهانه را یک رویهی ذخیرهشده میسازد که هر شب اجرا میشود.
full-text search (فول تِکست سِرچ): جستوجوی تماممتن؛ گشتن در کلمههای متنهای بلند، مثل یک موتور جستوجو
full text یعنی متن کامل. جستوجوی معمولی (مثل LIKE در SQL) فقط دنبال همان رشتهی دقیق میگردد و روی متنهای زیاد کند است. full-text search متنها را از قبل به کلمه تکه میکند و برایشان index میسازد، پس سریع است، شکلهای مختلف یک کلمه را میشناسد (run و running) و نتیجهها را بر اساس ربط مرتب میکند. جستوجوی یک فروشگاه یا وبلاگ معمولا همین است.
We added full-text search so users can search inside lesson texts.
جستوجوی تماممتن اضافه کردیم تا کاربرها بتوانند درون متن درسها بگردند.
data warehouse (دِیتا وِرهاوس): انبار داده؛ پایگاه دادهای بزرگ برای گزارش و تحلیل
warehouse یعنی انبار بزرگ، جایی که کالاهای همهی فروشگاهها یکجا جمع میشود. data warehouse پایگاه دادهای جداست که دادههای همهی بخشهای یک شرکت (فروش، کاربرها، پرداختها) هر شب یا هر ساعت در آن جمع میشود تا تحلیلگرها رویش گزارش بگیرند و نمودار بکشند. برای کوئریهای سنگینی مثل «فروش هر ماه در سه سال اخیر» ساخته شده، نه برای کارهای روزمرهی سایت.
Sales data is copied to the data warehouse every night for the reports.
دادههای فروش هر شب برای گزارشها به انبار داده کپی میشود.
از جلسهی تیم پایگاه داده
Our users table now has 40 million rows, and the search page is slow. Here is the plan.
First, indexing: we will add an index on the email column. For searching inside posts, we will use full-text search instead of LIKE.
Second, replication: two read replicas will take the read traffic.
We do not need sharding yet. We will also raise the size of the connection pool from 10 to 30.
The nightly reports will move to the data warehouse, so they stop slowing down the main database.
جدول کاربرهای ما حالا ۴۰ میلیون سطر دارد و صفحهی جستوجو کند است. نقشه این است.
اول، فهرستسازی: روی ستون email یک index اضافه میکنیم. برای جستوجو درون پستها، به جای LIKE از جستوجوی تماممتن استفاده میکنیم.
دوم، تکثیر: دو replica خواندنی ترافیک خواندن را میگیرند.
هنوز به تکهتکه کردن داده نیازی نداریم. اندازهی مخزن اتصال را هم از ۱۰ به ۳۰ میرسانیم.
گزارشهای شبانه به انبار داده منتقل میشوند تا دیگر پایگاه دادهی اصلی را کند نکنند.