L-intelligenza artificiale si occupa di raggruppare, scegliere, selezionare e apportare modifiche su particolari oggetti. E piu’ questa finestra contestuale si ‘allarga’ e piu lo spazio ed il tempo richiesti per effettuare operazioni intelligenti aumenta. Per porre rimedio a tutto cio’ nel tempo si e- ricorso a particolari tecniche che permettono di ridurre le computazioni necessarie ad arrivare ad un certo risultato. E qui il trasformatore di tipo Reformer ha portato una vera a propria rivoluzione, come difatti lo spazio necessario a contenere la finestra contestuale e- stata ridotta di parecchio grazie all-uso di Layer Reversibili che invece di contenere un risultato completo contengono solamente la differenza rispetto al layer precedente. Ed in piu con l-uso dell’ LSH, locality sensitive hashing, i vettori similari vengono raggruppati assieme in chunks permettendo quindi una ricerca piu- rapida sgravando la cpu e la gpu di numerosi calcoli.
Links
https://ai.googleblog.com/2020/01/reformer-efficient-transformer.html
