Επαναστατική τεχνολογία NPU: 60% ταχύτερο AI με 44% λιγότερη ενέργεια!

Επαναστατική τεχνολογία NPU: 60% ταχύτερο AI με 44% λιγότερη ενέργεια!

Tokio, Japan - Τι υπάρχει στον κόσμο της τεχνητής νοημοσύνης; Σε ένα συναρπαστικό σημείο της τεχνολογικής ανάκαμψης είναι οι ερευνητές στο Ινστιτούτο Επιστήμης και Τεχνολογίας της Κορέας (Kaist). Έχουν αναπτύξει μια νέα, ενεργειακά αποδοτική τεχνολογία NPU που αυξάνει την απόδοση των γενετικών μοντέλων AI κατά εντυπωσιακό 60%, ενώ η κατανάλωση ενέργειας μειώνεται κατά 44%. [CloudComputing-NEWS.NET] αναφέρει την πρόοδο που επιτεύχθηκε στο πλαίσιο αυτής της έρευνας με επικεφαλής τον καθηγητή Jongseok Park, σε συνεργασία με την Hyperaccel Inc ..

Τρέχοντα μεγάλα μοντέλα AI, όπως το OpenAIS CHATGPT-4 και το Google Gemini 2.5, είναι αληθινά αριθμητικά τέρατα που απαιτούν υψηλή χωρητικότητα αποθήκευσης και εύρος ζώνης. Δεν είναι περίεργο το γεγονός ότι εταιρείες όπως η Microsoft και η Google αγοράζουν εκατοντάδες χιλιάδες από NVIDIA GPUs για την κάλυψη αυτών των απαιτήσεων. Αλλά αυτό θα μπορούσε να αλλάξει, επειδή η νέα τεχνολογία NPU στοχεύει στην επίλυση των υφιστάμενων σημείων συμφόρησης στην υποδομή AI και διατηρεί την κατανάλωση ενέργειας στο σκάκι.

Πρόοδος μέσω εξειδικευμένου υλικού

Στον πυρήνα αυτής της καινοτομίας, η βελτιστοποίηση της διαχείρισης αποθήκευσης είναι μέσω της χρήσης εξειδικευμένης αρχιτεκτονικής υλικού. Ο Minsu Kim και ο Dr. Seongmin Hong από την Hyperaccel Inc. συνεργάστηκαν για την έρευνα, τα αποτελέσματα των οποίων παρουσιάστηκαν στο Τόκιο για το Διεθνές Συμπόσιο για την Αρχιτεκτονική Υπολογιστών (ISCA 2025). Το ερευνητικό έργο έχει τίτλο "Oaken: Fast and Effective LLM που εξυπηρετεί με online Hybrid Hybrid KV κβαντισμό" και επικεντρώνεται σε μεγάλο βαθμό στην ποσοτικοποίηση KV-Cache, η οποία αποτελεί τεράστιο μέρος της κατανάλωσης μνήμης σε γενετικά συστήματα AI. Με αυτήν την τεχνολογία, η ίδια απόδοση μπορεί να επιτευχθεί με λιγότερες συσκευές NPU, οι οποίες όχι μόνο μειώνουν το κόστος αλλά και προστατεύουν το περιβάλλον.

Με την εφαρμογή ενός αλγορίθμου ποσοτικοποίησης τριών τεμαχίων, οι μηχανικοί μπορούν να διατηρήσουν ελάχιστα την απώλεια ακρίβειας κατά τη διάρκεια του συμπεράσματος. Αυτό περιλαμβάνει στρατηγικές μαχητικών, όπως η υβριδική ποσοτικοποίηση Offline που βασίζεται σε κατώφλι, η μετατόπιση της κβαντοποίησης ομάδας και η συγχωνευμένη πυκνότητα και η αραιή κωδικοποίηση. Αυτές οι προσεγγίσεις έχουν σχεδιαστεί για να αντιμετωπίζουν βέλτιστα την περιορισμένη εμβέλεια και χωρητικότητα των σημερινών συστημάτων και έτσι να προωθήσουν τη μακροζωία της υποδομής AI.

ένα βήμα στο βιώσιμο μέλλον

Αλλά ποιο είναι το κλειδί για το μέλλον της ενεργειακής απόδοσης AI; Σύμφωνα με το [Focalx.ai], απαιτούνται όχι μόνο καινοτόμο υλικό και εξειδικευμένοι αλγόριθμοι, αλλά και αυξημένη συνεργασία μεταξύ τεχνικών και εταιρειών προκειμένου να δημιουργηθούν βιώσιμες λύσεις. Οι προκλήσεις είναι διαφορετικές: από την ισορροπία μεταξύ της απόδοσης και της αποτελεσματικότητας σε πιθανούς περιορισμούς υλικού.

Συνολικά, βρισκόμαστε αντιμέτωποι με μια συναρπαστική εξέλιξη που θα μπορούσε να μας δείξει πόσο ισχυρές, ενεργειακές αποδοτικές υποδομές μπορούν να εφαρμοστούν στο AI. Παραμένει να δούμε, που θα ωθήσει αυτή τη νέα τεχνολογία NPU στη βιομηχανία και πώς μπορεί να βοηθήσει στη μείωση των οικολογικών αποτυπώσεων των εταιρειών.

έχουμε κατά νου τις εξελίξεις - οι μελλοντικοί ήχοι υποσχόμενοι!