Архитектурата на трансформаторите, тъй като въвеждането му в документа за 2017 г. „Вниманието е всичко, от което се нуждаете“, направи революция в областта на обработката на естествен език (NLP) и извън него. Той е основата на многобройните състояния - на - моделите на изкуството, включително GPT серии, Bert и много други. Като доставчик на продукти от серията Transformer, аз станах свидетел на невероятния успех и широко разпространение на тези модели. Въпреки това, като всяка технология, серията Transformer също има своите ограничения.
1. Изисквания за изчисляване и памет
Едно от най -значимите ограничения на серията Transformer са високите изисквания за изчисляване и памет. Механизмът на самообразието, който е сърцевината на архитектурата на трансформатора, има квадратично време и сложност на пространството по отношение на дължината на последователността. Това означава, че с увеличаването на дължината на входната последователност, изчислителната цена и използването на паметта нарастват експоненциално.
Например, при големи мащабни езикови модели, които използват архитектурата на трансформатора, обучението на дълги - текстови последователности може да бъде изключително интензивно. Това не само изисква мощен хардуер, като висококачествени графични процесори или TPU, но и голямо количество енергия. В резултат на това цената на обучението и разгръщането на тези модели става непрекостилно висока за много организации.
Освен това големият отпечатък на паметта на моделите на трансформатори също може да представлява предизвикателства. В реални световни приложения, където паметта често е ограничена, може да бъде трудно да стартирате ефективно тези модели. Например, в крайните устройства с ограничени ресурси на паметта, може да не е възможно да се разгърнат големи модели на трансформатор на мащаби.
2. Липса на причинно -следственото разбиране
Въпреки забележителното си изпълнение в много задачи на NLP, моделите на трансформатори често нямат дълбоко причинно -следствено разбиране на текста. Тези модели се основават главно на статистически модели и асоциации в данните за обучение. Те могат да генерират текст, който е синтактично правилен и семантично съгласуван, но може наистина да не разберат основните причинно -следствени връзки между събитията.
Например, помислете за новина за автомобилна катастрофа. Езиковият модел, базиран на трансформатор, може да обобщи точно статията, но може да не е в състояние да отговаря на въпроси за причинно -следствените фактори на произшествието по всеобхватен начин. Може да не разбере истинската световна физика и човешкото поведение, участващо в произшествието, като се разчита вместо на моделите, които е научила от подобни текстове в данните за обучение.
Тази липса на причинно -следствено разбиране може да ограничи прилагането на трансформаторни модели в области, където причинно -следствените разсъждения са от решаващо значение, като научни изследвания, правен анализ и медицинска диагноза.
3. Зависимост от данни и пристрастия
Моделите на трансформаторите са силно зависими от данни. Изпълнението им до голяма степен зависи от качеството и количеството на данните за обучение. Ако данните за обучение са непълни, шумни или предубедени, полученият модел също ще страда от тези проблеми.
В много случаи данните за обучение, използвани за модели на трансформатори, се събират от интернет, които могат да съдържат широк спектър от пристрастия, включително пол, расови и културни пристрастия. Тези пристрастия могат да се научат по невнимание от модела и да се отразяват в неговите изходи. Например, езикът на езика, обучен на набор от данни с пристрастен към пола език, може да генерира текст, който подсилва стереотипите на пола.
Освен това, данните, задвижвани от моделите на трансформатори, също означават, че те може да не са в състояние да се обобщят добре с нови или невиждани данни. Ако разпределението на тестовите данни е значително различно от данните за обучение, ефективността на модела може да се влоши бързо.
4. Тълкуваемост
Моделите на трансформаторите често се считат за „черни кутии“. Трудно е да се разбере как тези модели вземат своите решения и какви фактори допринасят за техните резултати. Механизмът на самостоятелно внимание, който е сложна операция, включваща множество слоеве и глави, прави предизвикателство да се интерпретира вътрешната работа на модела.
В приложения, където интерпретируемостта е важна, като например в здравеопазването и финансите, тази липса на интерпретируемост може да бъде основен недостатък. Например, в система за медицинска диагностика, лекарите трябва да разберат защо определена диагноза се поставя от модела. Ако моделът не се тълкува, може да е трудно за лекарите да се доверяват и използват системата ефективно.
5. Работа с дълги - зависимости от обхвата
Въпреки че механизмът за самостоятелно внимание в архитектурата на трансформатора е предназначен да се справи с дългите - зависимости от текста, на практика, той все още има ограничения в това отношение. С увеличаването на дължината на последователността способността на модела да улавя дълги - зависимости от диапазона може да се влоши.
Това е така, защото механизмът за самостоятелно внимание изчислява вниманието между всички двойки маркери в последователността. Когато последователността е много дълга, оценките на вниманието могат да станат по -малко значими и моделът може да има затруднения при точното улавяне на връзките между далечните жетони.
6. Ограничено обобщение в домейните
Моделите на трансформаторите обикновено се обучават на големи набори от данни, общи - целенасочени набори от данни. Въпреки че те могат да постигнат добра производителност при широк спектър от задачи, те може да не се обобщят добре до конкретни домейни.
Например, трансформатор, базиран на езиков модел, обучен на общи новинарски статии, не може да се представя добре в специализиран домейн, като медицинска литература или правни документи. Тези домейни често имат свой уникален речник, граматика и семантични структури, които може да не са добре - представени в данните за общите целта.
Стратегии за смекчаване и нашата роля на доставчик
Въпреки тези ограничения, има няколко стратегии, които могат да се използват за тяхното смекчаване на тях. Например, за да се справят с изчислителните и паметта, техники като подрязване, квантоване и дестилация на знания могат да бъдат използвани за намаляване на размера и сложността на модела. За да подобрят причинно -следственото разбиране, изследователите изследват начини за включване на външни знания и причинно -следствени модели в архитектурата на трансформатора.
Като доставчик на продукти от серията Transformer, ние се ангажираме да помогнем на нашите клиенти да преодолеят тези ограничения. Ние предлагаме гама от оптимизирани трансформаторни модели, които са проектирани да намалят изчислителните и паметта, без да жертват много ефективност. Ние също така предоставяме поддръжка в данните преди обработката и моделиране на фини - настройване, за да помогнем на нашите клиенти да се справят с проблемите, свързани с пристрастията на данните и обобщаването на домейни.
В допълнение, ние участваме активно в научните изследвания и разработката, за да изследваме нови техники за подобряване на интерпретацията и причинно -следственото разбиране на трансформаторните модели. Вярваме, че като работим в тясно сътрудничество с нашите клиенти, можем да им помогнем да се възползват максимално от трансформаторните технологии в техните приложения.
Заключение
Серията Transformer несъмнено доведе до значителен пробив в областта на NLP и свързаните с тях области. Важно е обаче да сте наясно с нейните ограничения. Разбирайки тези ограничения и прилагайки подходящи стратегии за смекчаване, можем по -добре да използваме силата на архитектурата на трансформатора.
Ако се интересувате от изследване на нашите продукти от серията Transformer и научете как можем да ви помогнем да преодолеете тези ограничения във вашите приложения, ние ви каним да се свържете с нас за дискусия за обществени поръчки. Уверени сме, че нашите решения могат да отговорят на вашите специфични нужди и да ви помогнат да постигнете целите си.
ЛИТЕРАТУРА
- Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). Вниманието е всичко, от което се нуждаете. Напредък в системите за обработка на неврална информация.
- Bolukbasi, T., Chang, K. - W., Zou, JY, Saligrama, V., & Kalai, AT (2016). Мъжът е на компютърен програмист като жена е на домашния производител? Дедиакт на вграждане на дума. Напредък в системите за обработка на неврална информация.
- Ribeiro, Mt, Singh, S., & Guestrin, C. (2016). „Защо да ви се доверя?“: Обясняване на прогнозите на всеки класификатор. Протоколи от 22 -ра Международна конференция на ACM SIGKDD за откриване на знания и извличане на данни.