https://bodybydarwin.com
Slider Image

Facebook Open-Πηγές Οι υπολογιστές πίσω από την τεχνητή νοημοσύνη του

2020

Λαμβάνοντας το ισχυρό λογισμικό τεχνητής νοημοσύνης και κάνοντάς το ανοιχτό, ο καθένας στον κόσμο μπορεί να το χρησιμοποιήσει, μοιάζει με κάτι από μια sci-fi ταινία, αλλά τόσο η Google όσο και η Microsoft έχουν κάνει ακριβώς αυτό τους τελευταίους μήνες. Τώρα το Facebook προχωράει ένα βήμα παραπέρα και ανοίγει τα ισχυρά του σχεδιαστικά συστήματα για υπολογιστές AI στον κόσμο.

Είναι μια μεγάλη κίνηση, επειδή, ενώ οι πλατφόρμες λογισμικού μπορούν να κάνουν κάπως την έρευνα για την AI ευκολότερη, πιο επαναληπτική και πιο κοινή, όλη η διαδικασία είναι σχεδόν αδύνατη χωρίς ισχυρούς υπολογιστές.

Σήμερα, το Facebook ανακοίνωσε ότι είναι ανοιχτό να προμηθεύει τα σχέδια των servers του - τα οποία ισχυρίζονται ότι τρέχουν δύο φορές πιο γρήγορα από πριν. Ο νέος σχεδιασμός, που ονομάζεται Big Sur, απαιτεί οκτώ μονάδες επεξεργασίας γραφικών υψηλής ισχύος ή GPU, μεταξύ των άλλων παραδοσιακών τμημάτων του υπολογιστή, όπως η κεντρική μονάδα επεξεργασίας ή η CPU, ο σκληρός δίσκος και η μητρική πλακέτα. Αλλά το Facebook λέει ότι οι νέες μονάδες GPU επιτρέπουν ιδιαίτερα στους ερευνητές της να δουλεύουν με το διπλάσιο μέγεθος και ταχύτητα των μοντέλων μηχανικής μάθησης.

Η τακτική εργασία με εικόνες ή ηχογράφηση μπορεί να επιβάλλει φόρο για εξοπλισμό ποιότητας για τους καταναλωτές και ορισμένοι τύποι τεχνητής νοημοσύνης πρέπει να σπάσουν και να μάθουν από 10 εκατομμύρια φωτογραφίες για να μάθουν από αυτούς. Η διαδικασία, που ονομάζεται εκπαίδευση, απαιτεί σοβαρή υπολογιστική ισχύ.

Για να μάθει ο υπολογιστής ποια είναι η γάτα, θα πρέπει να το δείξετε σε εκατομμύρια φωτογραφίες γατών.

Πρώτον, ας δημιουργήσουμε κάποιες βασικές γνώσεις, το υπογάστριο του AI μπορεί να είναι αποθαρρυντικό και περίπλοκο. Η τεχνητή νοημοσύνη είναι ένας όρος ομπρέλα για μια σειρά προσεγγίσεων για τη δημιουργία ενός τεχνητού συστήματος που μιμείται την ανθρώπινη σκέψη και συλλογιστική. Υπήρξαν πολλές προσεγγίσεις σε αυτό. τώρα οι πιο δημοφιλείς μέθοδοι είναι διαφορετικά είδη τεχνητών νευρωνικών δικτύων για βαθιά εκμάθηση. Αυτά τα δίκτυα πρέπει να εκπαιδευτούν ή να παρουσιαστούν παραδείγματα, προτού να μπορέσουν να αποκτήσουν πληροφορίες. Για να μάθει ο υπολογιστής τι είναι μια γάτα, θα πρέπει να το δείξετε δυνητικά με εκατομμύρια φωτογραφίες από γάτες (αν και οι μέθοδοι του Facebook έχουν μειώσει δραματικά αυτόν τον αριθμό). Τα νευρωνικά δίκτυα είναι εικονικά σύνολα μαθηματικών μονάδων που μπορούν να επεξεργάζονται μεμονωμένα μικρά κομμάτια πληροφοριών, όπως τα εικονοστοιχεία, και όταν συγκεντρωθούν και στρώματα μπορούν να αντιμετωπίσουν απείρως πιο πολύπλοκα καθήκοντα.

Αυτό σημαίνει ότι εκατομμύρια φωτογραφίες ή φράσεις ή κομμάτια ήχου πρέπει να αναλύονται και να εξετάζονται από δυνητικά εκατομμύρια τεχνητούς νευρώνες σε διαφορετικά επίπεδα αφαίρεσης. Αν εξετάζουμε τα τμήματα του παραδοσιακού υπολογιστή που είναι υποψήφιοι για αυτή τη δουλειά, μας δίνουν δύο επιλογές: τον επεξεργαστή (CPU) ή τη μονάδα επεξεργασίας γραφικών (GPU).

Η CPU, ο κύριος «εγκέφαλος» του σύγχρονου υπολογιστή, είναι ιδανική για την εργασία σε μερικά γενικά υπολογιστικά καθήκοντα. Έχει σχετικά λίγους πυρήνες (4-8 σε καταναλωτικούς υπολογιστές και τηλέφωνα), αλλά κάθε πυρήνας έχει μια βαθύτερη μνήμη cache για να δουλεύει σε ένα πράγμα για περισσότερες φορές. Παγιδεύει τη μνήμη τυχαίας προσπέλασης (RAM) του υπολογιστή για δεδομένα που απαιτούνται στις διαδικασίες του.

Η GPU είναι το αντίθετο. Μια ενιαία GPU με δυνατότητα διακομιστή μπορεί να έχει χιλιάδες πυρήνες με ελάχιστη μνήμη, βελτιστοποιημένη για την εκτέλεση μικροσκοπικών, επαναλαμβανόμενων εργασιών (όπως απόδοση γραφικών). Επιστρέφοντας στην τεχνητή νοημοσύνη, ο πλήθος πυρήνων σε μια GPU επιτρέπει την εκτέλεση περισσότερων υπολογισμών ταυτόχρονα, επιταχύνοντας όλη την προσπάθεια. Οι CPU αποτελούσαν το go-to για αυτό το είδος βαριάς επεξεργασίας, αλλά μεγάλης κλίμακας έργα απαιτούσαν τεράστιους στόλους τσιπ δικτύων, περισσότερο από ό, τι αν υπολογίστηκαν με GPU, σύμφωνα με τον Serkan Piantino, Διευθυντή Μηχανικών της AI Research του Facebook.

"Αυτή τη στιγμή, οι GPU είναι οι καλύτερες για πολλά δίκτυα που μας ενδιαφέρουν."

"Το πλεονέκτημα που προσφέρουν οι GPU είναι η καθαρή πυκνότητα του υπολογισμού σε ένα μέρος", δήλωσε ο Piantino. "Αυτή τη στιγμή, οι GPU είναι οι καλύτερες για πολλά δίκτυα που μας ενδιαφέρουν".

Το Facebook λέει ότι το Big Sur συνεργάζεται με μια μεγάλη γκάμα μονάδων GPU από διάφορους κατασκευαστές, αλλά χρησιμοποιεί συγκεκριμένα ένα μοντέλο που κυκλοφόρησε πρόσφατα από τη Nvidia, η οποία έχει βάλει τα προϊόντα της σε μεγάλο βαθμό στην έρευνα τεχνητής νοημοσύνης. Στις δοκιμές τους για απόδοση CPU vs GPU για εκπαίδευση εικόνας, διπλή 10-core Ivy Bridge CPUs (διαβάσει: πολύ γρήγορα) επεξεργάστηκε 256 εικόνες σε 2 λεπτά και 17 δευτερόλεπτα. Μια από τις διακομιστές K40 GPU τους επεξεργάστηκε τις ίδιες εικόνες σε μόλις 28, 5 δευτερόλεπτα. Και το νεότερο μοντέλο που χρησιμοποιεί το Facebook στο Big Sur, το M40 της Nvidia, είναι πραγματικά πιο γρήγορο.

Πολλές συσκευές Nvidia έρχονται επίσης με την πλατφόρμα Compute Unified Device Architecture (CUDA), η οποία επιτρέπει στους προγραμματιστές να γράψουν εγγενή κώδικα όπως C ή C ++ απευθείας στη GPU, να ενορχηστρώνουν τους πυρήνες παράλληλα με μεγαλύτερη ακρίβεια. Το CUDA είναι βασικό σε πολλά ερευνητικά κέντρα της AI, όπως το Facebook, η Microsoft και το Baidu.

Η GPU είναι η κινητήρια δύναμη της σύγχρονης AI, αλλά μερικοί ερευνητές πιστεύουν ότι το status quo του computing δεν είναι η απάντηση. Το DARPA (Defense Advanced Research Projects Agency) χρηματοδοτούμενο από την Ομοσπονδιακή Τράπεζα συνεργάζεται με την IBM το 2013 για το πρόγραμμα SyNapse, με στόχο τη δημιουργία μιας νέας γενιάς τσιπ υπολογιστών που μαθαίνει φυσικά - η ίδια η πράξη λήψης εισροών θα διδάσκει το υλικό. Το αποτέλεσμα ήταν TrueNorth: ένα τσιπ "neuromorphic" που ανακοινώθηκε το 2014.

Το TrueNorth αποτελείται από 5, 4 δισεκατομμύρια τρανζίστορ, τα οποία είναι δομημένα σε 1 εκατομμύριο τεχνητούς νευρώνες. Οι τεχνητοί νευρώνες δημιουργούν 256 εκατομμύρια τεχνητές συνάψεις, οι οποίες μεταδίδουν πληροφορίες από τον νευρώνα στον νευρώνα όταν λαμβάνονται δεδομένα. Τα δεδομένα ταξιδεύουν μέσω των νευρώνων, δημιουργώντας μοτίβα που μπορούν να μεταφραστούν σε χρήσιμες πληροφορίες για το δίκτυο.

Στην Ευρώπη, μια ομάδα ερευνητών εργάζεται σε ένα έργο που ονομάζεται FACETS ή Fast Analog Computing με εκκρεμή μεταβατικά κράτη. Το τσιπ τους έχει 200.000 νευρώνες, αλλά 50 εκατομμύρια συναπτικές συνδέσεις. Η IBM και η ομάδα FACETS έχουν χτίσει τις μάρκες τους για να είναι κλιμακωτές, δηλαδή να μπορούν να εργάζονται παράλληλα για να αυξήσουν σημαντικά την υπολογιστική ισχύ. Αυτή τη χρονιά η IBM συγκέντρωσε 48 μάρκες TrueNorth για να φτιάξει ένα δίκτυο 48 εκατομμυρίων νευρώνων και η έκθεση MIT Technology Review αναφέρει ότι η FACETS ελπίζει να επιτύχει ένα δισεκατομμύριο νευρώνες με δέκα τρισεκατομμύρια συνάψεις.

Ακόμη και με αυτόν τον αριθμό, είμαστε ακόμα μακριά από την αναδημιουργία του ανθρώπινου εγκεφάλου, που αποτελείται από 86 δισεκατομμύρια νευρώνες και θα μπορούσε να περιέχει 100 τρισεκατομμύρια συνάψεις. (Η IBM έπληξε αυτό τον αριθμό 100 τρισεκατομμυρίων σε προηγούμενες δοκιμές TrueNorth, αλλά το τσιπ έτρεξε 1542 φορές πιο αργά από ό, τι σε πραγματικό χρόνο και πήρε έναν υπερυπολογιστή 96-rack.)

"Αυτό που καταλήγετε είναι έξυπνη τεχνολογία."

Ο Alex Nugent, ο ιδρυτής της Knowm και της DARPA SyNapse alum, προσπαθεί να φέρει το μέλλον της πληροφορικής με μια ειδική φυλή memristors, η οποία λέει ότι θα αντικαταστήσει την CPU, GPU και RAM που τρέχουν σε τρανζίστορ.

Ο memristor είναι ένας μονόκερος της βιομηχανίας τεχνολογίας από το 1971, όταν ο επιστήμονας πληροφορικής Leon Chua πρότεινε για πρώτη φορά τη θεωρία ως "το στοιχείο του κυκλώματος που λείπει". Θεωρητικά, ένα memristor χρησιμεύει ως αντικατάσταση ενός παραδοσιακού τρανζίστορ, του δομικού στοιχείου του σύγχρονου υπολογιστή.

Ένα τρανζίστορ μπορεί να υπάρχει σε δύο καταστάσεις (on ή off). Υπερβολικά απλοποιημένος, ένας υπολογιστής δεν είναι παρά μια τεράστια ποικιλία τρανζίστορ που κυμαίνεται μεταξύ και όχι. Ένα memristor χρησιμοποιεί ηλεκτρικό ρεύμα για να αλλάξει την αντίσταση του μετάλλου, το οποίο δίνει μεγαλύτερη ευελιξία στις τιμές αυτές. Αντί δύο κρατών όπως ένα τρανζίστορ, ένας memristor μπορεί θεωρητικά να έχει τέσσερα ή έξι, πολλαπλασιάζοντας την πολυπλοκότητα των πληροφοριών που θα μπορούσε να συγκρατήσει ένας πίνακας μεμιστρικών.

Ο Nugent συνεργάστηκε με τον προγραμματιστή υλικού Kris Campbell από το Boise State University για να δημιουργήσει ένα συγκεκριμένο τσιπ που λειτουργεί με αυτό που ονομάζει AHaH (Anti-Hebbian and Hebbian) μάθηση. Αυτή η μέθοδος χρησιμοποιεί memristors για να μιμούνται τις αλυσίδες των νευρώνων στον εγκέφαλο. Η ικανότητα των memristors να αλλάξουν την αντίσταση τους με βάση την εφαρμοζόμενη τάση σε αμφίδρομα βήματα είναι πολύ παρόμοια με τον τρόπο που οι νευρώνες μεταδίδουν το δικό τους μικροσκοπικό ηλεκτρικό φορτίο, λέει ο Nugent. Αυτό τους επιτρέπει να προσαρμόζονται καθώς χρησιμοποιούν. Δεδομένου ότι η αντοχή τους λειτουργεί ως φυσική μνήμη, τα memristors θα έσπασαν αυτό που ορισμένοι ερευνητές αποκαλούν τη συμφόρηση von Neumann, το καπάκι επεξεργασίας δεδομένων που δημιουργείται όταν μεταφέρονται δεδομένα μεταξύ του επεξεργαστή και της μνήμης RAM.

Ο υπολογιστής AHaH λέει ότι "Το Let s παίρνει αυτό το δομικό στοιχείο και δημιουργεί από αυτό, " δήλωσε ο Nugent σε συνέντευξή του στη Λαϊκή Επιστήμη. Με βασικό τρόπο την εκμετάλλευση αυτών των neurons, τη σύνδεση τους με διαφορετικούς τρόπους και την αντιστοίχιση των αποτελεσμάτων τους με διαφορετικούς τρόπους, μπορείτε να κάνετε πράξεις μάθησης.

Αυτός είναι ο τρόπος με τον οποίο ο Nugent θεωρεί ότι αυτό το έργο δεν ισχύει μόνο για γενικούς υπολογιστές, αλλά ειδικά προσανατολισμένο στη μηχανική μάθηση.

Αφού παίρνετε την πυκνότητα που μπορούμε ήδη να επιτύχουμε σήμερα, ζευγαρώνετε ότι με τα memristors, συνδυάζετε με μια θεωρία που μας επιτρέπει να την χρησιμοποιήσουμε, στοιβάζετε τα τσιπ σε τρεις διαστάσεις, καταλήγετε σε βιολογική αποδοτικότητα, είπε ο Nugent. Τι καταλήγετε είναι έξυπνη τεχνολογία

13 τρομακτικές ιστορίες επιστήμης

13 τρομακτικές ιστορίες επιστήμης

Ο νόμος περί φτερμενιστικής ομοσπονδίας θα μετατοπίσει τη ρύθμιση στις κρατικές και τοπικές κυβερνήσεις

Ο νόμος περί φτερμενιστικής ομοσπονδίας θα μετατοπίσει τη ρύθμιση στις κρατικές και τοπικές κυβερνήσεις

40 τοις εκατό των προμηθειών γραφείου και άλλες συμφωνίες αξίζει να επισημανθούν

40 τοις εκατό των προμηθειών γραφείου και άλλες συμφωνίες αξίζει να επισημανθούν