²¼¾°

½üÄêÀ´£¬Ëæ×ÅÈËΪÖÇÄܼ¼ÊõµÄѸÃÍ·¢Õ¹£¬»úе½ø½¨Ä£Ð͵ĹæÄ£³öÏÖ³ö·¢×÷ʽÔö³¤Ì¬ÊÆ
¡£ÓÈÆäÔÚÉî¶È½ø½¨ÁìÓò£¬Ä£Ð͹æÄ£µÄÏÔÖøÌá¸ß³ÉΪÍƶ¯Öî¶à¼¼ÊõÍ»ÆÆÓë»úÄÜÌáÉýµÄ¹Ø¼üÉí·Ö
¡£µ±Ä£ÐͲÎÊýÊýÁ¿´ïµ½ÍòÒÚ¼¶±ðʱ£¬ÊÜÏÞÓÚµ¥Ì¨É豸µÄÎïÀí×ÊÔ´¶øÎÞ·¨ÊµÏÖµ¥»úѵÁ·
¡£Îª´Ë£¬É¢²¼Ê½ÑµÁ·¼¼ÊõÓ¦Ô˶øÉú£¬²¢Ñ¸¿ì³ÉΪѵÁ·³¬´ó¹æģģÐ͵ÄÖ÷Ì⼿Á©
¡£É¢²¼Ê½ÑµÁ·¿ÉÄÜÏÔÖøÌá¸ßѵÁ·Ð§ÄÜ£¬Í»ÆƵ¥»úÄÚ´æºÍÍÆËãÄÜÁ¦µÄÆ¿¾±
¡£ÈÚºÏÄ£ÐͲ¢ÐÐÓëÊý¾Ý²¢Ðеȼ¼ÊõµÄÉ¢²¼Ê½»ì¹é²¢ÐÐѵÁ·Õ½Êõ³ÉΪѵÁ·³¬´ó¹æÄ£´ó˵»°Ä£Ð͵ÄÖØÒª¼¼Êõõ辶£¬¸Ã²½Öè²»½öÄÜÓÐЧÀûÓôó¹æÄ£Ó²¼þ×ÊÔ´£¬»¹ÄÜÔÚÈ·±£ÑµÁ·²»±äÐÔºÍÄ£ÐÍ»úÄܵÄÇ°ÌáÏ£¬ÊµÏÖ´ó˵»°Ä£Ð͵ĸßЧѵÁ·Ó벿Êð
¡£

Ò»¡¢ÍøÂç¹ÊÕÏ

É¢²¼Ê½ÑµÁ·ÊÇÖ¸ÔÚ¶à¸öÍÆËã½ÚµãÉÏЭͬ×÷Òµ£¬¹²Í¬ÊµÏÖ»úе½ø½¨Ä£Ð͵ÄѵÁ·¹ý³Ì
¡£Í¨¹ý½«ÑµÁ·¹¤×÷²ð·ÖÖÁ¶à¸öÉ豸Éϲ¢ÐÐÖ´ÐУ¬²»½öÄܺÏÀí·ÖÅäÍÆËãºÍ´æ´¢×ÊÔ´£¬Ò²ÄÜÏÔÖøÌáÉýѵÁ·¿ìÂÊ£¬²¢ÇÒ¿ÉÄÜ´¦Öøü´ó¹æÄ£µÄÊý¾ÝºÍÄ£ÐÍ
¡£

È»¶ø£¬ÑµÁ·¹ý³ÌÖгöÏÖ¹ÊÕϵĿÉÄÜÐÔ»áËæ×ÅѵÁ·¹æÄ£ºÍ³ÖÐø¹¦·òµÄÔö³¤¶øÉý¸ß
¡£Ò»µ©²úÉú¹ÊÕÏ£¬½«Ê¹ËùÓвμӵÄÉ豸´¦ÓÚÏÐÖÃ״̬£¬Ö±ÖÁ¹ÊÕÏÉ豸¸´Ô­Õý³££¬µ¼Ö´óÁ¿ËãÁ¦ÎÞ·¨µÃµ½³ä·ÖÀûÓÃ
¡£À´×ÔMeta¡¢HuggingFaceºÍLAIONµÄÍŶӾù»ã±¨ÁËÔÚѵÁ·´óÐÍÄ£ÐÍʱÒòʧ°Üµ¼ÖÂÀûÓÃÂÊÑϳÁ½µÂäµÄÇé¿ö
¡£

ƾ¾ÝMetaÍŶÓѵÁ·Llama3.1µÄ»ã±¨£¬ÔÚѵÁ·ÆÚ¼ä¾ùÔÈÿÈý¸öÓ±¾Ç®Í»á²úÉúÒ»´Î¹ÊÕÏ£¬ÆäÖÐÔ¼8.4%µÄ¹ÊÕÏÊÇÓÉÍøÂçÉ豸¹ÊÕϵ¼ÖµÄ
¡£·ÖÆçÓÚÆäËûÓÉÈí¼þÒý·¢µÄ¹ÊÕÏ£¬ÍøÂçÉ豸¹ÊÕÏ´ó¶àΪӲ¼þ¹ÊÕÏ£¬ÀýÈçÍøÂçÏßÀ»òÊÇÍø¿¨¹âÄ£¿éµÅײ¼þÉ豸³öÏÖ¹ÊÕÏ
¡£Ïà½ÏÓÚÈí¼þ¹ÊÕÏ£¬Ó²¼þ¹ÊÕϵĴ¦ÖÃÄѶȴ󡢸´Ô­¹¦·ò³¤£¬¿ÉÄÜÔì³É¸ü´óµÄËãÁ¦Ëðʧ
¡£

»¥»»»úÉ豸¼äÁ´Â·¹ÊÕÏÄ¿Ç°ÒÑ¿ÉÄÜʵÏÖºÁÃ뼶´¦ÖÃÓëÊÕÁ²£¬µ«¶Ë²àÍøÂçÉ豸¹ÊÕÏÄ¿Ç°ÉÐÎÞ½ÏΪ¸ßЧµÄ´¦Öù滮
¡£¶Ë²àÉ豸¹ÊÕÏÖØÒªÔ̺¬·þÎñÆ÷Íø¿¨¹ÊÕÏ¡¢·þÎñÆ÷Ó뻥»»»úµÄÏνÓÏßÀ°ܻµÒÔ¼°ÏßÀ¹âÄ£¿é¹ÊÕϵÈ
¡£Ëæ×ÅÍÆË㼯Ⱥ¹æÄ£³ÖÐøÀ©´ó£¬¶Ë²àÍøÂçÉ豸¹ÊÕÏÒѳÉΪؽ´ý½â¾öµÄÎÊÌâ
¡£

¶þ¡¢¹ÊÕÏ´¦ÖÃ

Ä¿Ç°£¬³ýÈí¼þ¹ÊÕϱí£¬Ó²¼þ¹ÊÕϵĴ¦ÖÃÕ½Êõͨ³£²»·Ö±æ¾ßÌåµÄ¹ÊÕÏÀàÐÍ£¬²úÉúÓ²¼þ¹ÊÕÏʱ£¬Í¨³£Ñ¡È¡Ò»ÑùµÄ¹æ»®½øÐд¦ÖÃ
¡£

²é³­µã£¨Checkpoint£©ÊÇÒ»ÖÖ³£¼ûµÄÓƾû¯»úÔ죬ÓÃÓÚ±£ÁôѵÁ·½ø¶È
¡£ÔÚ¹ÊÕϲúÉúºó£¬ÏµÍ³»áµ±¼´¶Ô¹ÊÕÏÉ豸½øÐн¨¸´£¬»òÕß½«¹ÊÕÏÉ豸´Ó¼¯ÈºÖÐÌÞ³ý£¬¶øºó´Ó×î½üµÄ²é³­µã¼ÓÔØÄ£ÐͲ¢³ÖÐøѵÁ·
¡£Ä¿Ç°£¬ºÜ¶àÓÅ»¯Õ½ÊõÝÓÈƲ鳭µã»úÔì·¢Õ¹£º

1.EasyCkpt Ñ¡È¡Òì²½»¯¡¢µµ´Î»¯µÄ±£Áô·½Ê½£¬½áºÏ³ÁµþÄ£ÐÍ¿½±´ÓëÍÆËã¡¢ÍøÂç¸ÐÖªµÄÒì²½´æ´¢Õ½Êõ£¬ÊµÏÖÁ˽üºõÁ㿪ÏúµÄÄ£Ðͱ£Áô»úÔ죬²¢±£ÕÏÁË´óÄ£ÐÍѵÁ·¹ý³ÌÖÐÄ£Ðͱ£ÁôÓ븴ԭµÄ¾«¶ÈÎÞËð
¡£

2.Gemini ¿ÉÄܽ« Checkpoint ±£ÁôÔÚÓµÓиü´ó¾ÛºÏ´ø¿íµÄ CPU ÄÚ´æÖУ¬²¢Í¨¹ýһϵÁй滮ʵÏÖÁË´óÐÍÄ£ÐÍѵÁ·µÄ¼±¾ç¹ÊÕϸ´Ô­
¡£

Ö»¹ÜÈç´Ë£¬ÈÔÎÞ·¨ÆëÈ«Ô¤·ÀÒò¹ÊÕ϶¨Î»ºÍÄ£ÐÍѵÁ·³ÁÆôËù´øÀ´µÄËãÁ¦Ëðʧ
¡£

ÈßÓàÍÆË㣨Redundant computation£©Äܹ»Ô¤·À³ÁÐÂÅäÖúͳÁÐÂÆô¶¯µÄ¿ªÏú£¬ÔÚ½øÐÐÄ£ÐÍѵÁ·Ê±Ê¹Ó÷ÖÆçµÄ½Úµã½øÐÐÈßÓàÍÆËã
¡£µ±Ä³¸ö½Úµã²úÉú¹ÊÕÏʱ£¬ÆäËû½Úµã¿ÉÄÜ°ü°ì¹ÊÕϽڵã½øÐÐÍÆË㣬µ«ÊÇÕâÑùÒýÈëÁ˹̶¨µÄÄڴ濪ÏúºÍÍÆË㿪Ïú£¬½øÒ»²½Ôö³¤ÁËѵÁ·³É±¾
¡£

Èý¡¢GA»Æ½ð¼×ÍøÂçµÄ¶Ë²àÁ´Â·¹ÊÕÏÌÓÉú

GA»Æ½ð¼×ÍøÂçµÄ¶Ë²àÁ´Â·¹ÊÕÏÌÓÉúÊÇÒ»ÖÖ»ùÓÚNCCL£¨NVIDIA Collective Communications Library£©ÊµÏֵĶ˲àÁ´Â·¹ÊÕϼ±¾ç¶ã±Ü¹æ»®£¬¿ÉÄÜÔÚÉϲãѵÁ·¿ò¼ÜÎÞ¸ÐÖªµÄÇé¿öÏ£¬×Ô¶¯¶Ô¶Ë²àÁ´Â·¹ÊÕϽøÐмø±ð²¢´¦Öã¬ÔÚÄ£ÐÍѵÁ·¹ý³ÌÖвúÉú¶Ë²àÁ´Â·¹ÊÕÏʱ¿ÉÄÜά³ÖѵÁ·²»ÖжÏ£¬ÔÚ¹ÊÕÏÉ豸ʵÏÖ½¨¸´ºóѵÁ·»úÄÜ×Ô¶¯¸´Ô­
¡£

¶Ë²à¹ÊÕÏÌÓÉú¹æ»®Í¨¹ýÔÚNCCL²ÎÓë¹ÊÕϼø±ðÒÔ¼°¹ÊÕ϶ã±Ü»úÔ죬²¢ÔÚ´´½¨Êý¾ÝÁ´Â·Ê±Í¬²½´´½¨±¸·ÝÁ´Â·À´´¦ÖÃÓÉÓÚÓ²¼þ¹ÊÕϵ¼Öµ¥ÌõÁ´Â·ÎÞ·¨Í¨Ñ¶µÄÎÊÌâ
¡£

±¸·ÝÁ´Â·ÔÚÖ÷Á´Â·×´Ì¬Õý³£Ê±²»»á½øÐÐÊý¾Ý´«Ê䣬¶Ô´«ÊäЧÄܲ»²úÉúÈκÎÓ°Ïì
¡£¶øÔÚ³öÏֶ˲àÁ´Â·¹ÊÕÏÖ®ºó£¬Í¨¹ýһϵÁÐÇл»»úÔ콫ԭÁ´Â·ÉϵÄͨѶ¹¤×÷תÒƵ½±¸·ÝÁ´Â·½øÐд«Êä
¡£

GA»Æ½ð¼×ÍøÂçµÄ¶Ë²àÁ´Â·¹ÊÕÏÌÓÉú¹æ»®ÓµÓÐÒÔÏÂÖØÒª¸öÐÔ£º

1.·ÇÇÖÈëʽ

¸Ã¹æ»®²»ÊÜÌض¨ÑµÁ·¿ò¼ÜµÄÏ޶ȣ¬Ò²ÎÞÐè¶ÔÉϲã¿ò¼Ü½øÐÐÅú¸Ä
¡£¹ÊÕϲúÉúºó£¬ÓÉNCCL×ÔÐд¦Öã¬Éϲã¿ò¼ÜÎÞ¸ÐÖª
¡£

2.¼±¾çÇÒ¿¿µÃס

¿ÉÄܶԶ˲àÁ´Â·¹ÊÕϽøÐкÁÃ뼶µÄ¼ø±ðÓ붨룬²¢¶Ô¹ÊÕÏÁ´Â·ÉϵÄͨѶ¹¤×÷½øÐм±¾çǨá㣬¿ÉʵÏÖÃ뼶ÊÕÁ²£¬²¢Äܱ£ÏÕͨѶ¹¤×÷²»ÖжÏ
¡£

3.¿É¸´Ô­ÐÔ

ʵʱ¼à²âÉ豸״̬£¬Èô¹ÊÕÏÉ豸״̬¸´Ô­Õý³££¬¿ÉÄÜÔÚ¸´Ô­µÄÉ豸ÉϳÁ½¨Í¨Ñ¶Á´Â·£¬²¢½«Æä³ÁÐÂÄÉÈëͨѶÉ豸¼¯Èº
¡£

GA»Æ½ð¼×ÍøÂçµÄ¶Ë²àÁ´Â·¹ÊÕÏÌÓÉú¹æ»®ÓµÓÐÒÔϼ¸µã¹Ø¼üÊÕÒ棺

1.ÌáÉýϵͳ¿¿µÃסÐÔ

ʹÓö˲à¹ÊÕÏÌÓÉú¹æ»®¿ÉÄÜÓÐЧԤ·ÀÒò¶Ë²àÍø¿¨¹âĤÏßÀµÈÉ豸²úÉú¹ÊÕ϶øÒýÆðµÄѵÁ·ÒµÎñÖжÏ£¬ÊµÏÖ¶ÏÁ´²»ÐÝѵ£¬Í¨Ñ¶µÄ¿¿µÃסÐÔÌáÉý10±¶
¡£

2.½µµÍѵÁ·³É±¾

¿ÉÄÜÓÐЧԤ·ÀѵÁ·¼¯ÈºÒò¶Ë²àÁ´Â·¹ÊÕ϶øµ¼ÖµÄËãÁ¦×ÊÔ´ÀË·Ñ£¬Í¬Ê±»ùÓÚ×Ô¶¯¹ÊÕϸ´Ô­´¦ÖûúÔìÈ·±£ÍøÂçÉ豸ʵÏÖ×î´óÀûÓÃÂÊ£¬´Ó¶øÏÔÖø½µµÍѵÁ·³É±¾
¡£ ƾ¾ÝMeta°ä²¼µÄѵÁ·ÈÕÖ¾£¨Llama 3.1£¬405BÄ£ÐÍ£©£¬ÔÚΪÆÚ54ÌìµÄԤѵÁ·½×¶Î£¬¹²³öÏÖ419´ÎÒâ±íÖжÏÇé¿ö£¬ÆäÖÐÔ¼8.4%ÊÇÓÉÍøÂç¹ÊÕÏËùÖÂ
¡£H100µÄËãÁ¦½¨ÉèÓöÈԼΪ10Ôª/¿¨/Ó×ʱ£¬Èôÿ´ÎÖжϸ´Ô­ÐèºÄʱ1Ó×ʱ£¬ÄÇôÍò¿¨¼¯ÈºÃ¿´ÎѵÁ·ÒòÍøÂç¹ÊÕÏÔì³ÉµÄËãÁ¦ËðʧԼΪ350ÍòÔª
¡£Í¨¹ý¶Ë²àÁ´Â·¹ÊÕÏÌÓ³¯ÆøÔ죬ÿÄê¿ÉÍì»ØÉÏǧÍòÔªµÄËðʧ
¡£

×ܽá

´óÄ£ÐÍÉ¢²¼Ê½ÑµÁ·¹ý³ÌÖеĶ˲àÍøÂç¹ÊÕÏ£¬ÕâÊÇÓ°ÏìÄ£ÐÍѵÁ·µÄ³Á´ó¹ÊÕÏ
¡£¹¹½¨¾«×¼ÇÒ¸ßЧµÄ¹ÊÕÏ´¦ÖûúÔ죬ÊǸ÷´óÐÍÄ£ÐÍѵÁ·ÍŶӵijÖÐø×êÓª£¬Ò²ÊDZ£ÏÕ´óÄ£ÐÍѵÁ·µÄ³ÁÒª»·½Ú
¡£

ͨ¹ýÔÚͨѶ¿âÖÐÔö³¤¹ÊÕÏ´¦ÖÃÄ£¿é£¬¿ÉÄÜ´ó·ù¶ÈÏ÷¼õ¶Ë²àÁ´Â·¹ÊÕϵ¼ÖµÄËãÁ¦Ëðʧ
¡£Ëæ׏滮µÄ³ÖÐøµü´úÓëÃÀÂú£¬ÎÒÃǼáÐŶ˲à¹ÊÕÏÌÓÉú¹æ»®¿ÉÄÜÔÚ´ó¹æÄ£¼¯ÈºÑµÁ·¹ÊÕÏ´¦ÖÃÖвûÑï¸üΪ³ÁÒªµÄ×÷Óã¬Îª¿Í»§´´Ôì¸ü´óµÄ¼ÛÖµ
¡£GA»Æ½ð¼×ÍøÂ磬ÖÂÁ¦×ö×¶Ë²àµÄÍøÂ繩¸øÉÌ£¡