GA»Æ½ð¼×

¡°¼«¼ò¡±»ÀР¡¤ È«ÓòÖÇÁª Ø­ GA»Æ½ð¼×м«¼òÁ캽ÏÂÒ»´úÐ£Ô°Íø½¨Éè×êÑлá
date
Ô¤Ô¼Ö±²¥
ÎÞ¸Ð×¼Èë ÈËÎïͳ¹Ü Ø­ RG-SAM+5.X ÐÂÒ»´ú¸ßУAIÈÏ֤ƽ̨°ä²¼
date
Ô¤Ô¼Ö±²¥
GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾
²úÆ·
< ·µ»ØÖ÷²Ëµ¥
²úÆ·ÖÐÐÄ
²úÆ·
½â¾ö¹æ»®
< ·µ»ØÖ÷²Ëµ¥
½â¾ö¹æ»®ÖÐÐÄ
ÐÐÒµ
ºÏ×÷ͬ°é
·µ»ØÖ÷²Ëµ¥
Ñ¡ÔñÇøÓò/˵»°
GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾
GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾ GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾

dz̸MoE¼¼ÊõµÄÒýÈë¶Ô»ú¼äͨѶ´ø¿íµÄÓ°Ïì

¼¼Êõ¸Ä¸ïµÄº£³±Ó¿À´£¬MoE¼¼ÊõµÄ³öÏÖΪ»úе½ø½¨ºÍÉî¶È½ø½¨ÁìÓò×¢ÈëÁËеĻîÁ¦£¬Óë´Ëͬʱ£¬¶ÔÖÇËãÖÐÐÄÍøÂç´øÀ´ÁËеÄÌôÕ½¡£

  • GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾

    °ä²¼¹¦·ò£º2024-03-14

  • GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾

    µã»÷Á¿£º

  • GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾

    µãÔÞ£º

·ÖÏíÖÁ

GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾
GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾
GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾

ÎÒÏëÆÀÂÛ

Ëæ×ÅÈËΪÖÇÄܼ¼ÊõµÄ·É¿ì·¢Õ¹£¬´ó˵»°Ä£ÐÍ£¨LLM£©ÒѳÉΪÌìȻ˵»°´¦ÖÃÁìÓòµÄÈȵ㻰Ìâ¡£¶øÔÚÕⳡ¼¼Êõ¸Ä¸ïµÄº£³±ÖУ¬MoE£¨Mixture of Experts£©¼¼Êõƾ½èÆä¹ÖÒìµÄÓÅÊÆ£¬ÎªLLMѵÁ·×¢ÈëÁËеĻîÁ¦¡£È»¶ø£¬ÔÚÏÖʵÀûÓò¿ÊðÖУ¬MoE ¼¼Êõ¶ÔÖÇËãÖÐÐÄÍøÂç´øÀ´²»Ó×µÄÌôÕ½¡£±¾ÎÄÖØÒª½éÉÜÁËMoE¼¼ÊõµÄµ®Éú²¼¾°µÀÀí¡¢ÀûÓÃÁìÓò£¬»áÉÌÁËÆä¶ÔÖÇËãÖÐÐÄÍøÂç´øÀ´µÄÌôÕ½¡£

 

MoEµ®Éú²¼¾°

MoE¼¼Êõ£¬¼´“Mixture of Experts”£¨×¨¼Ò»ìºÏϵͳ£©£¬·¢Ô´ÓÚ1991ÄêMichael I. JordanºÍRobert A. JacobsËù׫дµÄÂÛÎÄ¡¶Hierarchical Mixtures of Experts and the EM Algorithm¡·¡£ÕâÆªÔÚÉñ¾­ÐÅÏ¢´¦ÖÃϵͳ£¨Neural Information Processing Systems£¬¼ò³ÆNIPS£©»áÒéÉϰ䷢µÄÂÛÎÄ£¬±»¹«ÒÔΪ»úе½ø½¨ÁìÓòµÄ³ÁÒªÀï³Ì±®¡£

ÔÚ¸ÃÂÛÎÄÖУ¬JordanºÍJacobs½éÉÜÁËÒ»ÖÖÐÂÏʵÄÉñ¾­ÍøÂç½á¹¹——“µµ´Î»¯×¨¼Ò»ìºÏϵͳ”Hierarchical Mixtures of Experts£©¡£ÆäÖ÷Ìâ˼ÏëÔÚÓÚ½«¸´ÔÓ¹¤×÷ϸ·ÖΪ¶à¸ö×Ó¹¤×÷£¬²¢±ðÀë½»ÓÉÌØ¶¨µÄ“ר¼ÒÄ£ÐÍ”½øÐд¦Öá£ÕâÖּܹ¹¼¯³ÉÁ˶à¸öר¼ÒÄ£ÐÍÒÔ¼°Ò»¸öÃÅ¿ØÄ£ÐÍ £»ÃÅ¿ØÄ£ÐÍÕÆ¹Üƾ¾ÝÊäÈëµÄÊý¾ÝÌØµã£¬Ñ¡Ôñ×îÊʺϵÄר¼ÒÄ£ÐÍÀ´Ó¦¶ÔÌØ¶¨¹¤×÷¡£

MoE¼¼ÊõµÄÎÊÊÀΪ»úе½ø½¨ºÍÉî¶È½ø½¨ÁìÓò×¢ÈëÁËеĻîÁ¦£¬³ö¸ñÊÇÔÚ´¦ÖÃÔ̺¬¶à¸ö×ÓÎÊÌâ»ò±ØÒªÈں϶àÁìÓò֪ʶµÄ¸´ÔÓ¹¤×÷ʱ£¬MoE¼¼Êõչʾ³öÁËÆä׿ԽµÄ»úÄܺ͹ÖÒìµÄÓÅÊÆ¡£

 

MoE¼¼ÊõµÀÀí

MoEµÄ¼¼ÊõµÀÀí»ùÓÚÒ»ÖÖ·Ö¶øÖÎÖ®µÄÕ½Êõ£¬½«¸´ÔÓÎÊÌâ·Ö»¯Îª¶à¸ö½Ïµ¥Ò»µÄ×ÓÎÊÌ⣬²¢ÎªÃ¿¸ö×ÓÎÊÌâѵÁ·Ò»¸öרÃŵÄÄ£ÐÍ£¨×¨¼Ò£©¡£ÕâЩר¼ÒÄ£Ð͸÷×ÔÕÆ¹Ü´¦ÖÃÊäÈëÊý¾ÝµÄÒ»¸ö×Ó¼¯»òÒ»ÖÖÌØ¶¨µÄÇé¿ö¡£ÎªÁ˶¯Ì¬µØÕûºÏÕâЩר¼ÒµÄÊä³ö²¢ÌìÉú×îÖÕÔ¤²â»ò¾ö²ß£¬MoEÒýÈëÁËÒ»¸öÃÅ¿ØÍøÂ磨Gating Network£©¡£

1£©×¨¼ÒÄ£ÐÍ£º

È·¶¨×¨¼ÒµÄÊýÁ¿ºÍÀàÐÍ¡£Ã¿¸öר¼Òͨ³£ÊÇÒ»¸ö½ÏÓ×µÄÉñ¾­ÍøÂ磬רÃÅÓÃÓÚ´¦ÖÃÊý¾ÝµÄÒ»¸ö×Ó¼¯»òÒ»¸öÌØ¶¨µÄ¹¤×÷¡£×¨¼ÒÍøÂçµÄÉè¼ÆÄܹ»Æ¾¾Ý¹¤×÷ÐèÒª½øÐж¨Ô죬ÀýÈ磬ʹÓÃÈ«ÏνӲ㡢¾í»ý²ã¡¢Ñ­»·²ãµÈ¡£

2£©ÃÅ¿ØÄ£ÐÍ£º

ÃÅ¿ØÄ£ÐÍÊÇÒ»¸öÓÃÓÚ¾ö¶¨ÄÄЩר¼ÒÓ¦¸Ã²Î¼Óµ½µ±Ç°ÊäÈëÊý¾Ý´¦ÖÃÖеĻúÔì¡£Ëüͨ³£Ò²ÊÇÒ»¸ö½ÏÓ×µÄÉñ¾­ÍøÂ磬ÆäÊä³öÊÇÒ»¸ö¸ÅÂÊÉ¢²¼£¬°µÊ¾Ã¿¸öר¼Ò¶Ôµ±Ç°ÊäÈëµÄ³ÁÒªÐÔ¡£ÃÅ¿ØÄ£Ð͵ÄÊäÈë¿ÉËùÒÔԭʼÊäÈëÊý¾ÝµÄÒ»¸ö×Ó¼¯»òÈ«Êý£¬»òÕßÊÇר¼ÒÄ£Ð͵ÄÖÐÑëÊä³ö¡£

 

¼¼ÊõµÀÀí

µ±Ò»¸öÊäÈëÊý¾Ý½øÈëMoEϵͳʱ£¬Ê×ÏÈͨ¹ýÃÅ¿ØÍøÂçÍÆËã³öÿ¸öר¼ÒµÄ¼¤»î¸ÅÂÊ¡£¶øºó£¬Ã¿¸öר¼ÒÍøÂç»ùÓÚÊäÈëÊý¾Ý½øÐÐǰÏò´«²¼£¬²úÉúÊä³ö¡£

½«ËùÓÐר¼ÒµÄÊä³öƾ¾ÝÃÅ¿ØÍøÂçµÄ¼¤»î¸ÅÂʽøÐмÓȨ×éºÏ£¬µÃµ½×îÖÕµÄÄ£ÐÍÊä³ö¡£ÕâÖÖ×éºÏ¿ÉËùÒÔµ¥Ò»µÄ¼ÓȨ¾ùÔÈ£¬Ò²¿ÉËùÒÔ¸ü¸´ÔÓµÄ×éºÏÕ½Êõ¡£

 

MoE¼¼ÊõÀûÓÃÁìÓò

ĿǰMoE¼¼ÊõÔÚÖî¶à³¡¾°Öеõ½ÁË¿í·ºµÄÀûÓò¿Êð£º

1£©ÌìȻ˵»°´¦ÖãºÔÚ»úе·­Òë¡¢¸ÐÇé·ÖÎöµÈÌìȻ˵»°´¦Öù¤×÷ÖУ¬MoEÄܹ»¼¯³É¶à¸öÄ£ÐÍ£¬´Ó¶øÌá¸ßÎı¾Àí½âºÍÌìÉúµÄÖÊÁ¿ºÍÕýÈ·ÐÔ¡£

2£©Í¼Ïñ¼ø±ðºÍÍÆËã»úÊÓ¾õ£ºÔÚͼÏñ·ÖÀà¡¢ÎïÌå¼ì²âºÍͼÏñÌìÉúµÈÍÆËã»úÊÓ¾õ¹¤×÷ÖУ¬MoE¿ÉÄܽáºÏ¶à¸öר¼ÒÄ£Ð͵ÄÌØµã£¬ÌáÉýÄ£ÐͶÔͼÏñµÄ±íÕ÷ºÍÀí½âÄÜÁ¦¡£

3£©ÍƼöϵͳ£ºÔÚ¸öÐÔ»¯ÍƼöºÍ¸æ°×Ͷ·ÅµÈÁìÓò£¬MoEÄܹ»½«¶à¸öÍÆ¼öÄ£ÐÍ×éºÏÆðÀ´£¬Ìṩ¸üÕýÈ·ºÍ¸öÐÔ»¯µÄÍÆ¼öÁ˾Ö£¬Ìá¸ßÓû§ÖÐÒâ¶ÈºÍóÒ×¼ÛÖµ¡£

 

MoE¼¼Êõ¶ÔÍøÂçµÄÌôÕ½

¼´±ãMoE¼¼ÊõÓÐÖî¶à¼¼ÊõÓÅÊÆ£¬µ«ÏÖʵÀûÓò¿ÊðÆðÀ´¶ÔÖÇËãÖÐÐÄÍøÂ绹ÊÇ´æÔÚ²»Ó×µÄÌôÕ½¡£

ÓÉÓÚר¼ÒÄ£Ð͵IJ¢Ðл¯ºÍÉ¢²¼Ê½ÑµÁ·µÄÐèÒª£¬Ã¿¸öר¼Ò¿ÉÄܱØÒª´¦ÖÃËùÓÐÊäÈëÊý¾ÝµÄÒ»²¿ÃÅ£¬²¢ÇÒËüÃǵÄÊä³ö±ØÒª±»»ã×ÜÒÔÌìÉú×îÖÕÁ˾Ö£¬ÕâÖÖÐÅÏ¢»¥»»µÄģʽ¾Í»áÒýÈë»ú¼äall-to-allµÄͨѶ¡£

ÒýÈëall-to-allͨѶµÄ¾ßÌåÔ­ÒòÓÐÒÔϼ¸µã£º

1£©×¨¼Ò¼äµÄÊý¾Ý»¥»»£ºÔÚMoEϵͳÖУ¬Ã¿¸öר¼Ò¿ÉÄܱØÒª½Ó¼ûÀ´×ÔÆäËûר¼ÒµÄÐÅÏ¢£¬ÒÔ±ãÃÅ¿ØÍøÂçÄܹ»¾ö¶¨Ã¿¸öר¼ÒµÄ¼¤»îˮƽ¡£Õâͨ³£Éæ¼°µ½ËùÓÐר¼ÒÖ®¼äµÄÊý¾Ý»¥»»£¬¼´all-to-allͨѶ¡£

2£©²¢ÐÐѵÁ·£ºÔÚÉ¢²¼Ê½ÑµÁ·»·¾³ÖУ¬·ÖÆçµÄר¼Ò¿ÉÄܱ»¸éÖÃÔÚ·ÖÆçµÄÍÆËã½ÚµãÉÏ¡£ÎªÁËѵÁ·Ð§ÄÜ£¬Ã¿¸ö½ÚµãÉϵÄר¼Ò±ØÒª¼±¾ç»¥»»Êý¾Ý£¬ÕâÒ²±ØÒªÍ¨¹ýall-to-allͨѶÀ´ÊµÏÖ¡£

3£©Ä£ÐͲ¢ÐÐÐÔ£ºµ±×¨¼ÒÄ£ÐͱäµÃ¼«¶È´óʱ£¬¿ÉÄܱØÒª½«Ò»¸öר¼ÒÄ£ÐͲð·Öµ½¶à¸öÍÆËã½ÚµãÉÏ¡£ÕâÑù£¬Í³Ò»¸öר¼ÒÄ£Ð͵ĸ÷¸ö²¿ÃűØÒªÔÚ½ÚµãÖ®¼ä½øÐÐͨѶ£¬ÒÔά³ÖÄ£Ð͵ÄÒ»ÖÂÐÔºÍÕýÈ·ÐÔ¡£

4£©Ï÷¼õÍÆËãÆ¿¾±£ºall-to-allͨѶÄܹ»Ô®ÊÖÏ÷¼õµ¥¸ö½ÚµãµÄÍÆËãÆ¿¾±£¬ÓÉÓÚËüÔÊÐí²¢Ðд¦Öúͻ¥»»Êý¾Ý¡£ÕâÖÖͨѶģʽÄܹ»×î´ó»¯µØÀûÓÃÍÆËã×ÊÔ´£¬Ìá¸ßѵÁ·Ð§ÄÜ¡£

È»¶ø£¬all-to-allͨѶҲ´øÀ´ÁËһЩÌôÕ½£¬ÈçÔö³¤ÍøÂç´ø¿íµÄÐèÒª¡¢Í¨Ñ¶ÑÓ³¤ºÍDZÔÚµÄÍøÂçÓµÈû¡£Òò¶ø£¬ÔÚÏÖʵÀûÓÃÖУ¬±ØÒª×ÐϸÉè¼ÆÍ¨Ñ¶Õ½ÊõºÍÓÅ»¯ÍøÂçÍØÆË£¬ÒÔÈ·±£¸ßЧµÄÉ¢²¼Ê½ÑµÁ·ºÍÍÆÀí¡£

²»ÒýÈëMoEʱµÄͨѶÊý¾ÝÁ¿

²»ÒýÈëMoEʱµÄͨѶÊý¾ÝÁ¿

ÒýÈëMoEºóµÄͨѶÊý¾ÝÁ¿

ÒýÈëMoEºóµÄͨѶÊý¾ÝÁ¿

 

ͨ¹ýÍøÉÏ»ñÈ¡µ½µÄ¹«¿ªÐÅÏ¢¶ÔGPT4½øÐн¨Ä££¬ÔÚÒýÈë16¸öMoEר¼Ò²ãºó£¬»ú¼äͨѶÊý¾ÝÁ¿Óë»úÄÚͨѶÊý¾ÝÁ¿¸ù»ù³Ôì½ £»¶øÔÚ²»ÒýÈëMoEר¼Òʱ£¬»ú¼äͨѶÊý¾ÝÁ¿ÊÇÔ¶Ó×ÓÚ»úÄÚͨѶÊý¾ÝÁ¿µÄ¡£ÓÉ´Ë¿ÉÖª£ºMoE¼¼ÊõµÄÒýÈëÔö³¤ÁË»ú¼äͨѶµÄ±ÈÀý£¬»ú¼äͨѶµÄÍøÂç´ø¿í»úÄܱäµÃÓú·¢³ÁÒª£¬AIGCÖÇËãÖÐÐÄÍøÂçµÄ½¨ÉèÒ²³ÉΪ¸÷È˹Ø×¢µÄ³Áµã¡££¨¡¶ITÓ°ÏìÖйú2023£ºGA»Æ½ð¼×AI-FlexiForceÖÇËãÖÐÐÄÍøÂç½â¾ö¹æ»®ÈÙ»ñÓ°ÏìÁ¦½â¾ö¹æ»®½±¡·£©

 

×ܽá

MoEר¼Ò»ìºÏϵͳ¼¼ÊõĿǰÒѱ»¿í·ºÀûÓÃÓÚLLMѵÁ·³¡¾°ÖУ¬¸Ã¼¼Êõ¿ÉÄÜÏÔÖø¼ÓǿģÐ͵ķº»¯ÄÜÁ¦²¢ÌáÉýÔËËãЧÄÜ¡£È»¶ø£¬ÕýÈçÿ¸ö¼¼Êõ¶¼ÓÐÆäÁ½ÃæÐÔÒ»Ñù£¬MoE¼¼ÊõÔÚ´øÀ´Öî¶àÒæ´¦µÄͬʱ£¬Ò²ÒýÈëÁË´óÁ¿»ú¼äall-to-allµÄͨѶÐèÒª£¬ÕâÎÞÒɶԻú¼äÍøÂç»úÄÜ×é³ÉÁËÑϸñÌôÕ½¡£

ΪÁËÓ¦¶ÔÕâÒ»ÌôÕ½£¬GA»Æ½ð¼×ÍøÂçͨ¹ý´î½¨¸ß»úÄܵÄÖÇËãÖÐÐÄÍøÂ磬ÌáÉý»ú¼äÍøÂçµÄ´ø¿íÀûÓÃÂÊÀ´È·±£ÒµÎñµÄ¸ßÍÌÍÂÄÜÁ¦£¬»º½âÓÉMoE¼¼ÊõÒýÈëµÄ´óÁ¿Í¨Ñ¶ÐèÒª¶ÔÍøÂç»úÄÜÔì³ÉµÄѹÁ¦¡£

ÔÚÈ«Çò»¥ÁªÍøÁ÷Á¿²»ÐÝÔö³¤ºÍÊý¾ÝÀûÓÃÐèÒªÈÕÒæ¶àÑù»¯µÄ²¼¾°Ï£¬×÷ΪAIGCȫջ·þÎñר¼Ò£¬GA»Æ½ð¼×ÍøÂç²»½öÖÂÁ¦ÓÚÍÆ¶¯ÍøÂç¼¼ÊõµÄ½øÈ¡ºÍ·¢Õ¹£¬¸üÊDZü³Ð´´ÐÂÐԵؽâ¾ö¿Í»§ÎÊÌ⣬½ÏÔçÍÆ³öAIGCÖÇËãÖÐÐÄÍøÂçÕûÌ广»®·þÎñ¿Í»§¡£Õ°Íû½«À´£¬Í¨¹ý³ÖÐøµÄ¼¼ÊõÑз¢ºÍ²úÆ·´´Ð£¬GA»Æ½ð¼×ÍøÂ罫³ÖÐøÎªÈ«ÇòµÄÊý¾ÝÖÐÐÄÌṩԽ·¢¸ßЧ¡¢¿¿µÃס¡¢ÖÇÄܵÄÍøÂç½â¾ö¹æ»®£¬ÔÚAIGCʱÆÚ£¬ÖúÁ¦»¥ÁªÍøÆóÒµ¼°¸÷Ðи÷ÒµµÄ¼±¾ç·¢Õ¹¡£

ÓйرêÇ©£º

GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾ GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾

µãÔÞ

¸ü¶à¼¼Êõ²©ÎÄ

ÈκαØÒª£¬ÇëÁªÏµGA»Æ½ð¼×

GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾

·µ»Ø¶¥²¿

ÊÕÆð
GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾ ÎĵµAI¸±ÊÖ
GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾ ÎĵµÆÀ¼Û
ev-close
¸Ã×ÊÁÏÊÇ·ñ½â¾öÁËÄúµÄÎÊÌ⣿
ev-close
Äú¶Ôµ±Ç°Ò³ÃæµÄÖÐÒâ¶ÈÈôºÎ£¿
²»Õ¦µÎ
¼«¶ÈºÃ
dark-star dark-star dark-star dark-star dark-star
ev-close
ÄúÖÐÒâµÄÔ­ÒòÊÇ£¨¶àÑ¡£©£¿
ev-close
Äú²»ÖÐÒâµÄÔ­ÒòÊÇ£¨¶àÑ¡£©£¿
ev-close
ÄúÊÇ·ñ»¹ÓÐÆäËûÎÊÌâ»ò½¨Ò飿
ΪÁ˼±¾ç½â¾ö²¢»Ø¸´ÄúµÄÎÊÌ⣬ÄúÄܹ»ÁôÏÂÁªÏµ·½Ê½
ÓÊÏä
ÊÖ»úºÅ
ev-bg
¸Ð¼¤ÄúµÄ·´À¡£¡
GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾
GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾
GA»Æ½ð¼×¡¤(Öйú¼¯ÍÅ)¹Ù·½ÍøÕ¾
ÇëÑ¡Ôñ·þÎñÏîÄ¿
¹Ø¹ØÕ÷ѯҳ
ÊÛǰÕ÷ѯ ÊÛǰÕ÷ѯ
ÊÛǰÕ÷ѯ
ÊÛºó·þÎñ ÊÛºó·þÎñ
ÊÛºó·þÎñ
¶¨¼û·´À¡ ¶¨¼û·´À¡
¶¨¼û·´À¡
¸ü¶àÁªÏµ·½Ê½
¡¾ÍøÕ¾µØÍ¼¡¿