تحقیقات گوگل یادگیری ماشینی بهتری را پیدا می کند

گوگل اخیراً تکنیکی به نام تنظیم دقیق دستورالعمل را بررسی می کند تا مدلی را آموزش دهد تا بتواند مشکلات پردازش زبان طبیعی را به طور کلی حل کند. این رویکرد به جای آموزش مدلی برای حل یک نوع مشکل، به آن می آموزد که چگونه طیف وسیعی از مسائل را حل کند و کارآمدتر کند و وضعیت هنر را پیش ببرد.

گوگل از همه تحقیقات در الگوریتم های خود استفاده نمی کند

بیانیه رسمی گوگل در مورد مقالات تحقیقاتی این است که صرفاً به این دلیل که الگوریتمی را منتشر می کند به این معنی نیست که در جستجوی گوگل از آن استفاده می شود.

هیچ چیزی در مقاله تحقیقاتی نمی گوید که باید در جستجو استفاده شود. اما چیزی که این تحقیق را مورد توجه قرار می دهد این است که پیشرفت هنر و فناوری فعلی را بهبود می بخشد.

ارزش آگاهی از تکنولوژی

افرادی که نمی دانند موتورهای جستجو چگونه کار می کنند، در نهایت می توانند آن را با عباراتی که حدس و گمان خالص هستند درک کنند.

اینگونه بود که صنعت جستجو با ایده‌های نادرستی مانند «کلید واژه‌های LSI» و استراتژی‌های بی‌معنی مانند تلاش برای شکست دادن رقبا با ایجاد محتوای ده برابر بهتر (یا به سادگی بزرگ‌تر) از محتوای رقیب و بدون در نظر گرفتن محتوای رقیب به پایان رسید. ممکن است نیاز داشته باشد و نیاز داشته باشد.

ارزش دانستن این الگوریتم‌ها و تکنیک‌ها، آگاهی از خطوط کلی آنچه در موتورهای جستجو می‌گذرد است، به گونه‌ای که فرد دچار خطای دست کم گرفتن توانایی‌های موتورهای جستجو نشود.

مشکلی که FLAN حل می کند

مشکل اصلی که این تکنیک حل می کند این است که یک ماشین را قادر می سازد تا از دانش گسترده خود برای حل وظایف دنیای واقعی استفاده کند.

این رویکرد به ماشین می آموزد که چگونه با ارائه دستورالعمل ها برای حل مسائل خاص و سپس تعمیم آن دستورالعمل ها به منظور حل مشکلات دیگر، حل مسئله را به مسائل نادیده تعمیم دهد.

محققان بیان می کنند:

این مدل بر روی مجموعه‌های متفاوتی از دستورالعمل‌ها تنظیم شده و به دستورالعمل‌های دیده نشده تعمیم می‌یابد. همانطور که انواع بیشتری از وظایف به مدل داده تنظیم دقیق اضافه می شود، عملکرد بهبود می یابد.

ما نشان می‌دهیم که با آموزش یک مدل بر اساس این دستورالعمل‌ها، نه تنها در حل انواع دستورالعمل‌هایی که در طول آموزش دیده، خوب می‌شود، بلکه در پیروی از دستورالعمل‌ها به طور کلی خوب می‌شود.»

مقاله تحقیقاتی به یک تکنیک رایج رایج به نام «تشویق صفر یا چند شات» اشاره می‌کند که ماشینی را برای حل یک مشکل زبانی خاص آموزش می‌دهد و نقص این تکنیک را توصیف می‌کند.

ارجاع به تکنیک تحریک شات صفر/چند شات:

“این تکنیک یک کار را بر اساس متنی که یک مدل زبان ممکن است در طول آموزش دیده باشد، فرموله می کند، جایی که مدل زبان با تکمیل متن پاسخ را ایجاد می کند.

به عنوان مثال، برای طبقه بندی احساسات یک نقد فیلم، ممکن است به یک مدل زبانی این جمله داده شود: «The film Review ‘best RomCom since Pretty Woman’ is _» و از او خواسته شود جمله را با کلمه «مثبت» یا «مثبت» کامل کند. “منفی”.”

محققان خاطرنشان می کنند که رویکرد شات صفر عملکرد خوبی دارد، اما عملکرد باید در برابر وظایفی که مدل قبلاً دیده است، اندازه گیری شود.

محققان می نویسند:

“… برای طراحی وظایف به گونه ای که شبیه داده هایی باشد که مدل در طول آموزش دیده است، نیاز به مهندسی سریع دقیق دارد…”

و این نوع نقص همان چیزی است که FLAN حل می کند. از آنجایی که دستورالعمل های آموزشی تعمیم یافته است، این مدل قادر به حل مسائل بیشتری از جمله حل وظایفی است که قبلاً روی آنها آموزش ندیده است.

آیا گوگل می تواند از این تکنیک استفاده کند؟

گوگل به ندرت درباره مقالات تحقیقاتی خاص بحث می کند و اینکه آیا آنچه توضیح داده شده در حال استفاده است یا خیر. موضع رسمی گوگل در مورد مقالات تحقیقاتی این است که بسیاری از آنها را منتشر می کند و این که آنها لزوماً در الگوریتم رتبه بندی جستجوی خود قرار نمی گیرند.

گوگل به طور کلی در مورد آنچه در الگوریتم های خود وجود دارد نامشخص است و درست است.

حتی وقتی فناوری‌های جدید را اعلام می‌کند، گوگل تمایل دارد نام‌هایی را به آن‌ها بدهد که با مقالات تحقیقاتی منتشر شده مطابقت ندارد. به عنوان مثال، نام هایی مانند Neural Matching و Rank Brain با مقالات تحقیقاتی خاصی مطابقت ندارند.

بررسی موفقیت تحقیق بسیار مهم است، زیرا برخی از تحقیقات از اهداف خود کوتاهی می‌کنند و در تکنیک‌ها و الگوریتم‌ها به خوبی وضعیت فعلی هنر عمل نمی‌کنند.

آن دسته از مقالات تحقیقاتی که کوتاه می آیند را می توان کم و بیش نادیده گرفت، اما دانستن آنها خوب است.

مقالات تحقیقاتی که بیشترین ارزش را برای جامعه بازاریابی جستجو دارند، آنهایی هستند که موفق بوده و به طور قابل توجهی بهتر از وضعیت فعلی هنر عمل می کنند.

و این مورد در مورد FLAN است.

FLAN بهتر از سایر تکنیک ها عمل می کند و به همین دلیل FLAN چیزی است که باید از آن آگاه بود.

محققان خاطرنشان کردند:

ما FLAN را روی 25 کار ارزیابی کردیم و متوجه شدیم که در همه آنها به جز چهار مورد، نسبت به درخواست صفر شات بهبود می یابد. ما متوجه شدیم که نتایج ما در 20 کار از 25 کار بهتر از GPT-3 صفر است و در برخی از کارها حتی از GPT-3 چند ضربه ای بهتر است.

استنتاج زبان طبیعی

کار استنتاج زبان طبیعی کاری است که در آن ماشین باید درست، نادرست یا نامشخص/خنثی (نه درست یا نادرست) یک فرض معین را تعیین کند.

عملکرد استنتاج زبان طبیعی FLAN

درک مطلب

این وظیفه پاسخ دادن به یک سوال بر اساس محتوای یک سند است.

عملکرد درک مطلب FLAN

QA کتاب بسته

این توانایی پاسخگویی به سؤالات با داده های واقعی است که توانایی تطبیق حقایق شناخته شده با سؤالات را آزمایش می کند. به عنوان مثال، پاسخ به سؤالاتی مانند رنگ آسمان یا اینکه اولین رئیس جمهور ایالات متحده چه کسی بود، است.

کتاب بسته QA عملکرد FLAN

آیا گوگل از FLAN استفاده می کند؟

همانطور که قبلاً گفته شد، گوگل به طور کلی تأیید نمی کند که آیا آنها از الگوریتم یا تکنیک خاصی استفاده می کنند.

با این حال، این واقعیت که این تکنیک خاص، وضعیت هنر را به جلو می‌برد، می‌تواند به این معنی باشد که گمان اینکه نوعی از آن می‌تواند در الگوریتم Google ادغام شود و توانایی آن در پاسخ به سؤالات جستجو را بهبود بخشد، غیرمنطقی نیست.

این تحقیق در 28 اکتبر 2021 منتشر شده است.

آیا می‌توان برخی از این موارد را در به‌روزرسانی اخیر الگوریتم اصلی گنجاند؟

به‌روزرسانی‌های الگوریتم اصلی عموماً بر درک بهتر سؤالات و صفحات وب و ارائه پاسخ‌های بهتر متمرکز هستند.

تنها می توان حدس زد زیرا گوگل به ندرت جزئیاتی را به اشتراک می گذارد، به خصوص در مورد به روز رسانی های الگوریتم اصلی.

نقل قول

معرفی FLAN: مدل‌های زبان قابل تعمیم بیشتر با تنظیم دقیق دستورالعمل

تصویر توسط Shutterstock