بالشراكة مع Google ، أصدر متحف تاريخ الكمبيوتر رمز المصدر إلى Alexnet ، الشبكة العصبية التي بدأت في عام 2012 نهج اليوم السائد تجاه الذكاء الاصطناعي. رمز المصدر متاح كمصدر مفتوح على صفحة GitHub الخاصة بـ CHM.
ما هو Alexnet؟
Alexnet هي شبكة عصبية اصطناعية تم إنشاؤها للتعرف على محتويات الصور الفوتوغرافية. تم تطويره في عام 2012 من قبل طلاب الدراسات العليا في جامعة تورنتو آنذاك أليكس كريزيفسكي وإيليا سوتسكفر ومستشار أعضاء هيئة التدريس ، جيفري هينتون.
يُعتبر هينتون أحد آباء التعلم العميق ، وهو نوع الذكاء الاصطناعي الذي يستخدم الشبكات العصبية وهو أساس منظمة العفو الدولية اليوم. تم بناء الشبكات العصبية المكونة من ثلاث طبقات بسيطة مع طبقة واحدة فقط من الأوزان التكيفية في أواخر الخمسينيات من القرن الماضي-خاصةً باحث كورنيل فرانك روزنبلات-ولكن تبين أنها كانت لها قيود. [This explainer gives more details on how neural networks work.] على وجه الخصوص ، احتاج الباحثون إلى شبكات مع أكثر من طبقة واحدة من الأوزان التكيفية ، ولكن لم تكن هناك طريقة جيدة لتدريبها. بحلول أوائل سبعينيات القرن العشرين ، تم رفض الشبكات العصبية إلى حد كبير من قبل باحثو الذكاء الاصطناعى.
فرانك روزنبلات [left, shown with Charles W. Wightman] طورت أول شبكة عصبية اصطناعية ، The Perceptron ، في عام 1957.تقسيم مجموعات مخطوطات نادرة/مكتبة جامعة كورنيل
في الثمانينيات من القرن الماضي ، تم إحياء أبحاث الشبكة العصبية خارج مجتمع الذكاء الاصطناعى من قبل العلماء المعرفيين في جامعة كاليفورنيا سان دييغو ، تحت اسم “الاتصال” الجديد. بعد الانتهاء من الدكتوراه في جامعة إدنبرة في عام 1978 ، أصبح هينتون زميلًا لما بعد الدكتوراه في جامعة كاليفورنيا ، حيث تعاون مع ديفيد روملهارت ورونالد ويليامز. أعاد فريق الثلاثة اكتشاف خوارزمية التربية الخلفية لتدريب الشبكات العصبية ، وفي عام 1986 نشروا ورقتين توضح أنها مكنت الشبكات العصبية من تعلم طبقات متعددة من الميزات لمهام اللغة والرؤية. يستخدم Backpropingation ، الذي يعد أساسيًا للتعلم العميق اليوم ، الفرق بين الإخراج الحالي والإخراج المطلوب للشبكة لضبط الأوزان في كل طبقة ، من طبقة الإخراج للخلف إلى طبقة الإدخال.
في عام 1987 ، انضم هينتون إلى جامعة تورنتو. بعيدًا عن مراكز الذكاء الاصطناعى التقليدي ، جعل عمل هينتون وتنفيذ طلاب الدراسات العليا تورونتو مركزًا لبحث التعلم العميق خلال العقود المقبلة. طالب ما بعد الدكتوراه في هينتون كان يان ليكون ، كبير العلماء في ميتا. أثناء عمله في تورنتو ، أظهر LeCun أنه عندما تم استخدام backpropation في الشبكات العصبية “التلافيفية” ، أصبحت جيدة جدًا في التعرف على الأرقام المكتوبة بخط اليد.
ImageNet و GPUS
على الرغم من هذه التطورات ، لا يمكن أن تتفوق الشبكات العصبية باستمرار على أنواع أخرى من خوارزميات التعلم الآلي. كانوا يحتاجون إلى تطورين من خارج منظمة العفو الدولية لتمهيد الطريق. الأول كان ظهور كميات أكبر من البيانات للتدريب ، تم توفيرها من خلال الويب. والثاني كان قوة حسابية كافية لأداء هذا التدريب ، في شكل رقائق رسومات ثلاثية الأبعاد ، والمعروفة باسم وحدات معالجة الرسومات. بحلول عام 2012 ، كان الوقت قد انتهى بالنسبة إلى Alexnet.
كانت مجموعة بيانات صور ImageNet الخاصة بـ Fei-Fei Li ، التي تم الانتهاء منها في عام 2009 ، محورية في تدريب Alexnet. هنا ، لي [right] يتحدث مع توم كليل في متحف تاريخ الكمبيوتر.دوغلاس فيربيرن/متحف تاريخ الكمبيوتر
تم العثور على البيانات اللازمة لتدريب Alexnet في ImageNet ، وهو مشروع بدأه بروفيسور فاي فاي لي. ابتداءً من عام 2006 ، وضد الحكمة التقليدية ، تصور لي مجموعة بيانات من الصور التي تغطي كل اسم باللغة الإنجليزية. بدأت هي وطلاب الدراسات العليا في جمع الصور الموجودة على الإنترنت وتصنيفها باستخدام تصنيف يقدمه WordNet ، وقاعدة بيانات للكلمات وعلاقاتها مع بعضها البعض. بالنظر إلى ضخامة مهمتهم ، قامت LI ومتعاونوها في نهاية المطاف بمهمة وضع وصف الصور على العمال ، باستخدام منصة الأمازون التركي.
تم الانتهاء منه في عام 2009 ، كان ImageNet أكبر من أي مجموعة بيانات صور سابقة من خلال عدة أوامر من حيث الحجم. أعربت لي إلى أن توافره يحفز اختراقات جديدة ، وبدأت مسابقة في عام 2010 لتشجيع فرق البحث على تحسين خوارزميات التعرف على الصور. ولكن على مدار العامين المقبلين ، قامت أفضل الأنظمة فقط بتحسينات هامشية.
كانت الحالة الثانية اللازمة لنجاح الشبكات العصبية هو الوصول الاقتصادي إلى كميات هائلة من الحساب. يتضمن التدريب على الشبكة العصبية الكثير من مضاعفات المصفوفة المتكررة ، ويفضل أن يتم بالتوازي ، وهو أمر تم تصميم وحدات معالجة الرسومات. قاد Nvidia ، الذي تم تأسيسه من قبل الرئيس التنفيذي Jensen Huang ، الطريق في 2000s في جعل وحدات معالجة الرسومات أكثر تعميمًا وقابلة للبرمجة للتطبيقات التي تتجاوز الرسومات ثلاثية الأبعاد ، وخاصة مع نظام برمجة CUDA الذي تم إصداره في عام 2007.
كان كل من ImageNet و Cuda ، مثل الشبكات العصبية نفسها ، تطورات متخصصة إلى حد ما التي كانت تنتظر الظروف المناسبة للتألق. في عام 2012 ، جمعت Alexnet هذه العناصر – الشبكات العصبية العاطفية ، ومجموعات البيانات الكبيرة ، ووحدات معالجة الرسومات – لأول مرة ، مع نتائج مفترسة. كل من هؤلاء يحتاجون إلى الآخر.
كيف تم إنشاء Alexnet
بحلول أواخر العقد الأول من القرن العشرين ، بدأ طلاب الدراسات العليا في هينتون في جامعة تورنتو في استخدام وحدات معالجة الرسومات لتدريب الشبكات العصبية على كل من الصور والتعرف على الكلام. جاءت نجاحاتهم الأولى في التعرف على الكلام ، لكن النجاح في التعرف على الصور سيشير إلى التعلم العميق كحل محتمل للأغراض العامة لمنظمة العفو الدولية. يعتقد طالب واحد ، Ilya Sutskever ، أن أداء الشبكات العصبية سيتوسع مع كمية البيانات المتاحة ، وتوصل وصول ImageNet الفرصة.
في عام 2011 ، أقنع Sutskever زميله الطالب أليكس كريزيفسكي ، الذي كان لديه قدرة حريصة على إخراج أقصى أداء من وحدات معالجة الرسومات ، لتدريب شبكة عصبية تلافيفية لـ ImageNet ، مع شركة Hinton كمحقق رئيسي.
استخدم Alexnet NVIDIA GPUs تشغيل رمز CUDA المدربين على مجموعة بيانات ImageNet. تم تعيين جنسن هوانغ ، الرئيس التنفيذي لشركة Nvidia ، زميلًا في CHM 2024 لمساهماته في رقائق رسومات الكمبيوتر و AI.دوغلاس فيربيرن/متحف تاريخ الكمبيوتر
كان Krizhevsky قد كتب بالفعل رمز CUDA لشبكة عصبية تلافيفية باستخدام وحدات معالجة الرسومات NVIDIA ، ودعا CUDA-CONVNETتدرب على أصغر بكثير مجموعة بيانات CIFAR-10. قام بتوسيع CUDA-Convnet بدعم من معالجة وحدات معالجة الرسومات المتعددة والميزات الأخرى وأعيد تدريبها على ImageNet. تم التدريب على جهاز كمبيوتر مع بطاقتي Nvidia في غرفة نوم Krizhevsky في منزل والديه. على مدار العام المقبل ، قام باستمرار بتعديل معلمات الشبكة وأعيد تدريبها حتى حقق أداءً متفوقًا على منافسيها. في النهاية سيتم تسمية الشبكة Alexnet ، بعد Krizhevsky. لخص جيف هينتون مشروع Alexnet بهذه الطريقة: “اعتقدت إيليا أننا يجب أن نفعل ذلك ، جعلها أليكس تعمل ، وحصلت على جائزة نوبل“
كتب Krizhevsky و Sutskever و Hinton ورقة عن Alexnet تم نشرها في خريف عام 2012 وقدمها Krizhevsky في مؤتمر رؤية الكمبيوتر في فلورنسا ، إيطاليا ، في أكتوبر. لم يكن باحثو رؤية الكمبيوتر المخضرمين مقتنعين ، لكن ليكون ، الذي كان في الاجتماع ، أعلن أنه نقطة تحول لمنظمة العفو الدولية. كان على حق. قبل Alexnet ، لم تستخدم أي من أوراق رؤية الكمبيوتر الرائدة الشباك العصبية. بعد ذلك ، كلهم تقريبا سوف.
كان Alexnet مجرد البداية. في العقد المقبل ، ستتقدم الشبكات العصبية لتوليف أصوات بشرية يمكن تصديقها ، وتغلب على لاعبي البطل ، وتوليد أعمال فنية ، وبلغت ذروتها بإصدار Chatgpt في نوفمبر 2022 من قبل Openai ، وهي شركة قام بها شركة Sutskever.
إطلاق رمز مصدر Alexnet
في عام 2020 ، تواصلت مع Krizhevsky للسؤال عن إمكانية السماح لـ CHM بإصدار رمز مصدر Alexnet ، بسبب أهميته التاريخية. لقد ربطني إلى هينتون ، الذي كان يعمل في Google في ذلك الوقت. تملك Google Alexnet ، بعد أن حصلت على DNNResearch ، الشركة المملوكة لشركة Hinton و Sutskever و Krizhevsky. حصل Hinton على الكرة من خلال توصيل CHM بالفريق المناسب في Google. عملت CHM مع فريق Google لمدة خمس سنوات للتفاوض على الإصدار. ساعدنا الفريق أيضًا في تحديد النسخة المحددة من رمز مصدر Alexnet لإصدارها – كانت هناك العديد من إصدارات Alexnet على مر السنين. هناك مستودعات أخرى من الكود تسمى Alexnet على Github ، ولكن العديد من هذه الإبداع بناءً على الورقة الشهيرة ، وليس الكود الأصلي.
تفخر CHM بتقديم الكود المصدر إلى إصدار Alexnet لعام 2012 ، والذي حول مجال الذكاء الاصطناعي. يمكنك الوصول إلى الكود المصدري على صفحة GitHub الخاصة بـ CHM.
ظهر هذا المنشور في الأصل على مدونة متحف تاريخ الكمبيوتر.
شكر وتقدير
شكر خاص لجيفري هينتون لتقديم اقتباسه ومراجعة النص ، إلى Cade Metz و Alex Krizhevsky على توضيحات إضافية ، ولديفيد بيبر وبقية الفريق في Google لعملهما في تأمين إصدار رمز المصدر.
من مقالات موقعك
المقالات ذات الصلة حول الويب