مقایسه هوش مصنوعی گوگل با ChatGPT؛ کدام هوش مصنوعی بهتر است؟

۱۴۰۳٫۰۱٫۱۶

3

1 12 239

مهرداد میرشاهی
(نویسنده)

حدیثه بنیادی
(آخرین ویرایش)

بازار هوش مصنوعی بسیار داغ است و بیشتر شرکت‌های فعال در حوزه فناوری در حال ارائه هوش مصنوعی اختصاصی خود هستند. با توجه به تب و تاب شکل‌گرفته پیرامون هوش مصنوعی، تصمیم گرفتیم در این مطلب از وبلاگ برتر دیجیتال به مقایسه ChatGPT با Gemini بپردازیم. این دو هوش مصنوعی به ترتیب از سوی شرکت‌های OpenAI و گوگل عرضه شده‌اند و امکانات و قابلیت‌های مختلفی دارند.

از آخرین دفعه‌ای که چت‌بات جمنای (Gemini) را با ChatGPT مقایسه کردیم، گوگل چهره چت‌بات هوش مصنوعی خود را تغییر داده و نام جدیدی به آن اختصاص داده است. هرچند دستیار مجازی OpenAI نیز بروزرسانی‌های مختلفی داشته و تغییرات زیادی به خود دیده است. از این رو، زمان آن فرا رسیده است تا به مقایسه ChatGPT با Gemini بپردازیم. پس تا انتها با برتر دیجیتال همراه باشید.

چت‌بات‌ها (Chatbot) به یکی از ویژگی‌های اصلی چشم‌انداز هوش مصنوعی مولد بدل شده‌اند. این چت‌بات‌ها به عنوان مواردی نظیر یک موتور جستجو، منبع دانش، کمک‌کننده خلاقانه و یک هنرمند عمل می‌کنند. هر دو چت‌بات ChatGPT و Google Gemini توانایی خلق تصویر و ارائه افزونه یا پلاگین برای سرویس‌های دیگر را دارند.

ما برای مقایسه اولیه، نسخه رایگان ChatGPT را با نسخه رایگان گوگل جمنای مقایسه کرده‌ایم. یعنی نسخه GPT-3.5 را با Gemini Pro 1.0 مقایسه می‌کنیم.

این بررسی شامل مقایسه هیچ‌یک از قابلیت‌های تولید تصویر نمی‌شود چراکه این ویژگی در نسخه‌های رایگان این چت‌بات‌ها در دسترس قرار ندارد. گوگل همچنین به خاطر مشکلات جمنای با نژادها در خلق تصاویر با انتقاداتی روبروست که این مقایسه اصلاً در این باره نیست.

مقایسه ChatGPT با Gemini

برای اینکه با مقایسه منصفانه‌ای روبرو باشیم، ما هر عملکردی که به صورت مشترک در این دو چت‌بات وجود ندارد را کنار گذاشته‌ایم. به همین دلیل است که قابلیت تولید تصویر را نادید می‌گیریم چراکه این ویژگی در نسخه رایگان هوش مصنوعی ChatGPT وجود ندارد. همچنین مقایسه آنالیز تصاویر نیز به خاطر دلیل مشابه، کنار گذاشته شده است چراکه نسخه رایگان ChatGPT شامل آن نمی‌شود.

از سوی دیگر، جمنای گوگل هیچ‌گونه چت‌بات سفارشی ندارد و تنها در قالب افزونه‌هایی برای دیگر محصولات گوگل در دسترس قرار دارد. از این رو آن‌ها نیز در این مقایسه لحاظ نشده‌اند. چیزی که ما در این مقایسه به آن می‌پردازیم این است که این چت‌بات‌های هوش مصنوعی چگونه به درخواست‌ها پاسخ می‌دهند و چه کدگذاری‌هایی دارند و چقدر پاسخ‌های خلاقانه‌ای ارائه می‌دهند.

۱- مهارت کدنویسی

یکی از نخستین موارد استفاده برای مدل‌های زبانی بزرگ، کدنویسی است. به خصوص دوباره‌نویسی، بروزرسانی و آزمایش زبان‌های مختلف کدنویسی اهمیت زیادی دارند. از این رو ما برای شروع مقایسه ChatGPT با Gemini از هر کدام از این چت‌بات‌ها خواستیم که یک برنامه ساده با زبان برنامه‌نویسی پایتون (Python) بنویسند.

برای این منظور از این دستور استفاده کردیم: «یک اسکریپت به زبان پایتون طراحی کن که به عنوان ردیاب هزینه‌های شخصی عمل کند. این برنامه این امکان را به کاربران می‌دهد تا هزینه‌های خود را با دسته‌بندی مشخص (نظیر خواروبار، خدمات آب و برق و سرگرمی) و تاریخ هزینه وارد کنند. سپس برنامه باید خلاصه‌ای از هزینه‌ها را بر اساس دسته‌بندی و مجموع هزینه‌ها در یک دوره زمانی معین ارائه دهد. همچنین درباره هر مرحله از کدهای استفاده‌شده نیز نظر بده.»

هدف از این مرحله این است که متوجه شویم دو چت‌بات جمنای و ChatGPT چگونه کد دستوری به صورت کامل تولید می‌کنند. تعامل با آن چقدر راحت است و خوانایی و پایبندی به استانداردهای کدنویسی به چه شکل خواهد بود.

هر دو موفق شدند یک ردیاب هزینه شخصی کاملاً کاربردی با زبان برنامه‌نویسی پایتون تولید کنند. جمنای قابلیت اضافی تعریف لیبل (Label) برای هر دسته‌بندی را به برنامه اضافه کرد. همچنین گزینه‌های گزارش هزینه دقیق‌تری داشت.

برنده: Google Gemini. اگر می‌خواهید خودتان این برنامه‌ها را مقایسه کنید، کدهای اسکریپت دو برنامه طراحی‌شده در گیت‌هاب (GitHub) قرار داده شده است.

۲- درک زبان طبیعی (NLU) – مقایسه ChatGPT با Gemini

قدم بعدی، فرصتی‌ست که متوجه شویم ChatGPT و جمنای چقدر دستورات زبان طبیعی را درک می‌کنند. چیزی که خود انسان گاهی مجبور می‌شود دوباره آن را بررسی کند یا با دقت بیشتری بخواند تا متوجه شود. برای این منظور، ما به سوال رایج تست بازتاب شناختی یا Cognitive Reflect Test (موسوم به CRT) درباره قیمت یک چوب بیسبال و یک توپ روی آوردیم.

این موضوع در اصل آزمایش توانایی هوش مصنوعی در درک ابهام، به سادگی گمراه نشدن درباره مشکل با موضوعی سطحی و بیان واضح طرز تفکر است.

دستور مورداستفاده: «یک چوب بیسبال و یک توپ در مجموع ۱٫۱۰ پوند قیمت دارند. قیمت چوب حدود ۱٫۰۰ پوند بیشتر از توپ است. قیمت توپ چقدر است؟». پاسخ صحیح باید به این شکل باشد که توپ ۵ سنت و چوب بیسبال ۱٫۰۵ دلار قیمت دارد.

برنده: OpenAI ChatGPT. هر دو به درستی متوجه سوال شدند اما چت جی پی تی عملکرد حل سوال را واضح‌تر نشان داد.

۳- خلاقیت در تولید متن و سازگاری

تست سوم درباره تولید متن و خلاقیت در آن است. تحلیل این موضوع سخت‌تر است بنابراین روال کار شکل بزرگتری به خود می‌گیرد. برای این قسمت در نظر داشتیم که خروجی کار اورجینال با عناصری خلاقانه باشد. به موضوع مشخص‌شده پایبند باشد. سبک روایتی ثابتی داشته باشد و در صورت لزوم در پاسخ به بازخوردها – همچون تغییر یک شخصیت یا یک نام – سازگار بوده و پویایی داشته باشد.

متن درخواست از این دو هوش مصنوعی این بود: «یک داستان کوتاه بنویس که در شهری آینده‌نگرانه اتفاق می‌افتد که در آن فناوری همه جنبه‌های زندگی یک انسان را کنترل می‌کند. اما شخصیت اصلی داستان یک گروه پنهان را کشف می‌کند که بدون فناوری مدرن زندگی می‌کنند. مضامینی نظیر آزادی و وابستگی را نیز در آن بگنجانید».

هر دو داستان خوب بودند و هر چت‌بات از یک نظر به دیگری برتری داشت. هرچند به طور کلی، گوگل جمنای پایبندی بهتری به عنوان داشت. همچنین داستان بهتری داشت که البته قضاوت در این باره یک نظر کاملاً شخصی است. شما می‌توانید این داستان‌ها را از گیت‌هاب بخوانید.

برنده: Google Gemini.

۴- استدلال و حل مساله

توانایی‌های استدلالی یکی از معیارهای اصلی یک مدل هوش مصنوعی است. این چیزی نیست که همه آن‌ها به یک شکل انجام دهند بنابراین، قضاوت در این باره سخت است. ما تصمیم گرفتیم این مرحله از مقایسه ChatGPT با Gemini را با یک پرس و جوی کلاسیک و ساده انجام دهیم.

درخواست: «شما با دو درب مواجه هستید. یکی به وضعیتی امن منتهی می‌شود و دیگری به خطر. دو نگهبان مقابل هر کدام از این درب‌ها حضور دارند. یکی از نگهبان‌ها همیشه راست می‌گوید و دیگری همیشه دروغ می‌گوید. شما می‌توانید از یکی از نگهبان‌ها بپرسید که کدام در شما را به منطقه امن می‌رساند. چه سوالی می‌پرسی؟».

پاسخ واضح است، شما می‌توانید از هر کدام از نگهبان‌ها بپرسید که «نگهبان دیگر می‌گوید کدام در به منطقه خطر ختم می‌شود؟». این یک تست مفید درباره خلاقیت در پرسش سوال است و اینکه هوش مصنوعی چگونه شما را به پویایی حقیقت-دروغ هدایت می‌کند. همچنین این درخواست، استدلال منطقی برای پاسخ‌های احتمالی را نیز بررسی می‌کند.

نقطه ضعف این درخواست این است که با یک دستور/درخواست رایج روبرو هستیم. بنابراین احتمالاً پاسخ مناسب برای آن در داده‌های آموزشی هر هوش مصنوعی گنجانده شده است. از این رو به حداقل استدلال ممکن نیاز است چراکه پاسخ به آن می‌تواند از حافظه آن چت‌بات استخراج شود.

هر دو چت‌بات پاسخ صحیح و توضیح محکمی دادند. در نهایت ما مجبور بودیم فقط بر اساس توضیح و میزان شفافیت آن، پاسخ‌ها را قضاوت کنیم. هر دو پاسخ‌هایی متشکل از جملات کوتاه دادند اما پاسخ OpenAI ChatGPT واضح‌تر بود و کمی جزئیات بیشتری داشت.

برنده: OpenAI ChatGPT.

۵- طوری توضیح دهید انگار من پنج ساله هستم (ELI5)

هر کسی که مدتی در ردیت / Reddit وقت‌گذرانی کرده باشد، حروف ELI5 که مخفف عبارت « Explain Like I’m Five» محسوب می‌شود را دیده است. در اصل منظور این است که تا جای ممکن پاسخ را ساده کنید.

برای مقایسه ChatGPT با Gemini ما از دستور بسیار ساده‌ای استفاده کردیم: «به یک کودک پنج ساله توضیح دهید که هواپیماها چگونه در آسمان می‌مانند؟». این مقایسه نشان می‌دهد که چت‌بات‌ها چگونه یک درخواست ساده را گسترش می‌دهند و سپس موارد موردنیاز مخاطب موردنظر را برآورده می‌سازند.

نیاز است توضیح مدنظر به اندازه کافی به سادگی بیان شود تا یک کودک خردسال، دقیق متوجه آن شود. همچنین علی‌رغم سادگی، استفاده از زبانی جذاب و شیوا نیاز است تا علاقه کودک به مساله جلب شود.

قضاوت در این بخش سخت است چراکه هر دو چت‌بات پاسخ‌های معقول و دقیقی دادند. هر دو از پرندگان به عنوان راهی برای توضیح مساله استفاده کردند. همچنین از زبان ساده و لحن شخصی برای بیان موضوع بهره بردند اما پاسخ گوگل جمنای به جای یک پاراگراف متنی، شامل جملات کوتاه می‌شد. یکی دیگر از مزیت‌های آن، ارائه یک آزمایش عملی برای یک کودک پنج ساله بود.

برنده: Google Gemini.

۶- استدلال اخلاقی و تصمیم‌گیری؛ مقایسه ChatGPT با Gemini

درخواست از یک چت‌بات هوش مصنوعی برای بررسی سناریوهایی که می‌تواند به انسان آسیب برساند، کار آسانی نیست. اما با ظهور وسایل نقلیه بدون راننده و مغز روبات‌هایی که از هوش مصنوعی تشکیل شده است؛ منطقی‌ست که انتظار داشته باشیم این سناریوها را به دقت سنجیده و یک قضاوت سریع داشته باشند.

برای این موضوع از این متن درخواست استفاده کردیم: «سناریویی را در نظر بگیرید که در آن یک وسیله نقلیه خودران باید بین برخورد با عابر پیاده یا انحراف و به خطر افتادن جان مسافرانش یکی را انتخاب کند. هوش مصنوعی باید چه تصمیمی بگیرد؟».

ما از یک سرفصل سختگیرانه استفاده کردیم که چارچوب‌های اخلاقی متعددی را در نظر می‌گیرد. چگونه دیدگاه‌های مختلف را بررسی می‌کند و آگاهی آن از برداشت صورت مساله در تصمیم‌گیری چگونه است.

هیچ‌یک از این چت‌بات‌ها نظری در این باره ارائه ندادند. با این حال، هر دو نکات مختلفی را برای بررسی و پیشنهاد راه‌حل‌هایی برای تصمیم‌گیری در آینده بیان کردند. آن‌ها عملاً آن را یک مشکل برای شخص ثالث دیگری در نظر گرفتند و پیشنهاد دادند با فرد دیگری تماس گرفته شود تا بهترین تصمیم را شاهد باشیم.

بنابر عقیده نویسنده، گوگل جمنای با یک بررسی دقیق، پاسخ‌های ظریف‌تری ارائه داد. اما برای اطمینان از بهترین قضاوت پاسخ‌ها، هر یک از جواب‌ها در قالب سوالاتی با پاسخ دو گزینه‌ای A و B به مدل‌های هوش مصنوعی مولد ChatGPT Plus، Gemini Advanced، Claude 2 و Mixtral از Mistral داده شدند.

همه مدل‌های هوش مصنوعی، گوگل Gemini را به عنوان برنده این قسمت معرفی کردند. برای قضاوت بهتر، هیچ‌یک از چت‌بات‌ها نمی‌دانستند کدام پاسخ توسط چه هوش مصنوعی تولید شده است. همچنین ما با اکانت‌های دیگری وارد شدیم تا چت‌بات‌ها با قصد و نیت این دو پاسخ را مقایسه نکنند.

برنده: Google Gemini.

۷- ترجمه بین زبانی و آگاهی فرهنگی؛ مقایسه ChatGPT با Gemini

ترجمه بین دو زبان یک مهارت مهم برای هر هوش مصنوعی است و چیزی‌ست که در ابزارهای سخت افزاری رو‌به‌رشد هوش مصنوعی‌ها تعبیه شده است. هر دو Humane AI Pin و Rabbit r1 ترجمه را طوری ارائه می‌دهند که هر گوشی هوشمند مدرنی ارائه می‌دهد.

اما ما می‌خواستیم از ترجمه ساده پا را فراتر بگذاریم و درک چت‌بات‌ها از تفاوت‌های فرهنگی را بررسی کنیم. ما در این دستور استفاده کردیم: «یک پاراگراف کوتاه از انگلیسی به فرانسوی درباره جشن شکرگذاری در ایالات متحده را با تاکید بر تفاوت‌های فرهنگی ترجمه کنید».

پاراگراف این بود: «شکرگذاری در ایالات متحده فراتر از صرفاً یک جشن است چراکه مظهر ابراز عمیق قدردانی است. این جشن که ریشه در رویدادهای تاریخی دارد، یادآور جشن مشترکِ برداشت محصول در بین مهاجران و بومیان آمریکاست و به طور خلاصه نماد صلح و قدردانی است. خانواده‌های سراسر کشور در این روز دور هم جمع می‌شوند تا یک وعده غذایی که معمولاً شامل بوقلمون، سس کرن‌بری، قیمه و کیک پای کدوتنبل می‌شود را با یکدیگر شریک شوند. این وعده غذایی منعکس‌کننده فصل برداشت محصول است.

[شکرگذاری] فراتر از یک جشن، روزی‌ست برای تامل درباره موهبت‌ها و به جامعه اعمالی نظیر مهربانی، نیکوکاری و ارزش‌های با هم بودن و قدردانی را یادآور می‌شود. جشن شکرگذاری یادآور روحیه مستمر قدردانی است که همه افراد را با هم متحد می‌کند و اهمیت تاریخی همکاری و احترام متقابل را ارج می‌نهد».

ترجمه هر دو بسیار نزدیک به هم و تقریباً مساوی بود. اما در نهایت، گوگل Gemini جزئیات بیشتری را در ترجمه ارائه داد و درباره چگونگی ترجمه نیز توضیح داد.

برنده: Google Gemini.

۸- بازیابی دانش، کاربرد و یادگیری؛ مقایسه ChatGPT با Gemini

اگر یک مدل زبانی بزرگ نتواند بخشی از اطلاعات را از داده‌های آموزشی خود بازیابی کند و به طور دقیق نمایش دهد، در واقع کاربرد زیادی ندارد و قابل‌استفاده نیست. برای این تست ما از یک دستور ساده استفاده کردیم: «مفهوم یا اهمیت سنگ روزتا در درک روش نوشتاری هیروگلیف مصر باستان را توضیح دهید».

ایده اصلی این است که عمق دانش آن‌ها را درک کنیم. اینکه چگونه دانش خود را در یک موضوع گسترده‌تر در زمینه باستان‌شناسی و زبان‌شناسی به کار می‌گیرد و آیا این چت‌بات‌ها می‌توانند دانش خود را بروز کنند؟ در نهایت، ما هم ChatGPT و هم گوگل جمنای را از نظر میزان شفافیت پاسخ‌ها و درک آسان آن‌ها مقایسه کردیم.

هیچ‌کدام واقعاً هیچ‌گونه توانایی در افزایش دانش خود نشان ندادند اما ما هم اطلاعات جدیدی به آن‌ها ارائه ندادیم. هر دو کار خوبی در نمایش جزئیاتی که می‌خواستیم انجام دادند.

بازیابی اطلاعات پاشنه آشیل هوش مصنوعی است و به همین دلیل نتوانستیم برنده‌ای در این بخش انتخاب کنیم. از این ما هر دو پاسخ را با عنوان چت‌بات A و چت‌بات B به Claude 2، Mixtral، Gemini Advanced و ChatGPT Plus دادیم و هیچ‌کدام برنده‌ای را انتخاب نکردند.

برنده: مساوی.

۹- تسلط در مکالمه، مدیریت خطا و بازیابی

آخرین مرحله از مقایسه ChatGPT با Gemini یک مکالمه ساده درباره پیتزا است. این موضوع، فرصتی را فراهم می‌آورد تا ببینیم هوش مصنوعی چگونه با اطلاعات نادرست، طعنه و کنایه برخورد می‌کند و دچار سوء تفاهم نمی‌شود.

برای این منظور از این دستور استفاده کردیم: «در زمان مکالمه درباره غذاهای موردعلاقه، هوش مصنوعی دیدگاه کنایه‌آمیز کاربر درمورد عدم علاقه به پیتزا را به اشتباه متوجه می‌شود. کاربر سوء تفاهم پیش آمده را اصلاح می‌کند. هوش مصنوعی چگونه [اطلاعات گفتگو] را بازیابی می‌کند و مکالمه را ادامه می‌دهد؟».

هر دو چت‌بات به خوبی این مکالمه را پیش بردند و گوگل جمنای از نظر فنی با توجه به طرز صحبت تحت‌الفظی در حرف زدن ما توانست اطلاعات را بازیابی کند و خواسته ما را برآورده ساخت.

با این حال، چت جی‌پی‌تی در نخستین پاسخ متوجه طعنه شد و از این رو، نیازی به تصحیح مکالمه نداشت. هر دو موضوع اصلی صحبت را حفظ کردند و به روشی مشابه پاسخ می‌دادند. ما برنده این آزمایش را ChatGPT می‌دانیم چراکه از همان ابتدا متوجه لحن کنایه‌آمیز در گفتگو شد و متناسب با آن پاسخ می‌داد.

برنده: OpenAI ChatGPT.

مقایسه ChatGPT با Gemini؛ نتیجه نهایی

این مقایسه‌ای از عملکرد نسخه‌های رایگان دو چت‌بات محبوب و کاربردی بود. در آینده عملکرد دیگر هوش مصنوعی‌های مولد نظیر Mixtral و Llama 2 را نیز مقایسه خواهیم کرد. این مقایسه فرصتی را فراهم کرد تا ببینیم کدام‌یک از چت‌بات‌ها در ارزیابی‌های متداول عملکرد بهتری داشتند.

چیزی که مقایسه ChatGPT با Gemini نشان می‌دهد این است که نسخه پیش‌فرض ChatGPT (GPT 3.5) و جمنای (Gemini Pro 1.0) در شرایط تقریباً برابری قرار دارند. این چت‌بات‌ها پاسخ‌هایی با کیفیت تقریباً مشابه داشتند. هیچ‌کدام مشکل خاصی نداشتند و هر دو عملکرد متوسطی دارند.

با این حال، در مقایسه ChatGPT با Gemini، چت‌بات جمنای گوگل در پنج آزمون از نه آزمون کلی سربلند بیرون آمد. در یک بررسی شاهد نتیجه‌ای مشابه بودیم و چت جی‌پی‌تی در سه تست برنده ظاهر شد. به این معنی که Google Gemini برنده این رقابت است و می‌تواند به عنوان بهترین چت‌بات رایگان شناخته شود. نظر شما درخصوص این دو چت‌بات چیست؟ لطفاً تجربیات و نظرات خود را با ما و سایر کاربران به اشتراک بگذارید.

منبع : Tomsguide