2023ÄêÊÇAIGC¼¼Êõ·¢Õ¹µÄÔªÄê

£¬Ëæ×ÅLLM£¨Large Language Model£©µÄ¼±¾ç·¢Õ¹

£¬Êг¡ÉÏÓ¿ÏÖ³öÔ½À´Ô½¶àµÄÐÐÒµÀûÓÃ

£¬ºÃ±ÈÇ°Õó×ӷdz£»ð±¬µÄ“ͼƬÌø¿ÆÄ¿Èý”µÄÀûÓÃÈÿí´óÍøÓÑÍæµÄÀִ˲»Æ£¡£LLMѵÁ·×÷ΪAIGCÀûÓõÄÖ÷Ìâ¼¼Êõ

£¬Æä±³ºóµ½µ×ÊÇÔõô¸öÊÂ£¿½ñÌì¾ÍÈñ¾“Ìؼ¶³øʦ”Ϊ¸÷È˽ÒÏþ¡£

AIÌìÉúÈËÎïͼƬ¿ÆÄ¿Èý

LLMµÄ¸ÅÏë    

LLM´ó˵»°Ä£ÐÍ£¨Large Language Model£©ÊÇ»ùÓÚº£Á¿Îı¾Êý¾ÝѵÁ·µÄÉî¶È½ø½¨Ä£ÐÍ

£¬²»½ö¿ÉÄÜÌìÉúÌìȻ˵»°Îı¾

£¬»¹¿ÉÄÜÉî¿ÌÀí½âÎı¾Ô¢Òâ

£¬´¦Öø÷ÀàÌìȻ˵»°¹¤×÷

£¬ÈçÎı¾ÌáÒª¡¢ÎÊ´ð¡¢·­ÒëµÈ¡£

´ó˵»°Ä£ÐͺÍͨ³£Ëµ»°Ä£Ð͵ÄÖØÒªÇø±ðÔÚÓÚÄ£Ð͵ĹæÄ£¡¢ÄÜÁ¦ºÍѵÁ·ËùÐè×ÊÔ´¡£

¹æÄ£ºÍ²ÎÊýÊýÁ¿£º´ó˵»°Ä£ÐÍͨ³£¾ßº±¼ûÊ®ÒÚÉõÖÁ¸ü¶àµÄÄ£ÐͲÎÊý

£¬ÈçGPT-3Õ¼ÓÐ1750ÒÚ¸ö²ÎÊý¡£ÕâÖÖ¹æÄ£µÄÄ£ÐÍ¿ÉÄÜ´¦Öøü¸´ÔÓµÄ˵»°½á¹¹ºÍ¸ü¿í·ºµÄ˵»°¾°Ï󣻶øͨ³£Ëµ»°Ä£Ð͵IJÎÊýÁ¿¿ÉÄÜÖ»Óм¸°ÙÍòµ½¼¸ÒÚ¸ö²ÎÊý

£¬Ö»ÄÜ´¦ÖÃһЩµ¥Ò»µÄ˵»°¹¤×÷¡£

ÄÜÁ¦ºÍ²û·¢£º´ó˵»°Ä£ÐÍÓÉÓÚ²ÎÊýÊýÁ¿ÖØ´ó

£¬¿ÉÄÜÀí½âºÍÌìÉú¸üÌìÈ»¡¢¸ü¸´ÔÓµÄ˵»°

£¬ÔÚ×Ô¶¯Ð´×÷¡¢»úе·­Òë¡¢¶Ô»°ÏµÍ³¡¢ÎÊ´ðϵͳµÈ¹¤×÷Öвû·¢½Ü³ö£»Í¨³£Ëµ»°Ä£Ð͹ÌÈ»ÔÚ¸´ÔÓµÄ˵»°Àí½âºÍÌìÉú¹¤×÷ÖпÉÄܲ»Èç´óÄ£ÐͲû·¢ºÃ

£¬µ«ËüÃÇÔÚÌض¨µÄ¡¢Ïà¶Ôµ¥Ò»µÄ¹¤×÷ÖÐÒÀÈ»ºÜÓÐЧ

£¬ÀýÈç¸ÐÇé·ÖÎö¡¢Îı¾·ÖÀàµÈ¡£

ѵÁ·Êý¾ÝºÍÍÆËã×ÊÔ´£º´ó˵»°Ä£ÐͱØÒª´óÁ¿µÄѵÁ·Êý¾ÝºÍÍÆËã×ÊÔ´À´ÑµÁ·

£¬Í¨³£Ñ¡È¡É¢²¼Ê½ÑµÁ·¿ò¼Ü

£¬ÇÒÔËÐÐÔÚ¶ą̀GPU·þÎñÆ÷¼¯ÈºÉÏ£»Í¨³£Ëµ»°Ä£ÐÍѵÁ·Êý¾ÝºÍÍÆËã×ÊÔ´µÄÐèÒªÏà¶Ô½ÏÉÙ

£¬Äܹ»Ñ¡È¡¼¯ÖÐʽѵÁ·

£¬ÔÚµ¥»úÉÏʵÏÖ¡£

×ÛÉÏËùÊö

£¬´ó˵»°Ä£ÐÍÒòÆäÖØ´óµÄ²ÎÊý¹æÄ£ºÍ׳´óµÄÄÜÁ¦

£¬ÔÚÌìȻ˵»°´¦ÖÃÁìÓòÓµÓиü¸ßµÄDZÁ¦ºÍÀûÓüÛÖµ¡£

LLMµÄѵÁ·²½Öè    

´ó˵»°Ä£ÐÍѵÁ·ÓëÅë⿽â¾öµÄ²½ÖèÆäʵÊÇÒ»ÑùµÄ

£¬ÏÂÃæÈÓÖлªÓ×µ±¼Ò”ͨ¹ýÀà±ÈµÄ·½Ê½Îª¸÷ÈËÂÛÊö´ó˵»°Ä£ÐÍѵÁ·µÄ°Ë¸ö²½Öè¡£

Åë⿽â¾öµÄ²½Öè¸÷È˶¼¼«¶ÈÊìϤ

£¬·ÖΪ°Ë²½£ºÂò²Ë¡¢Ï´²Ë¡¢Çвˡ¢±¸²Ë¡¢³´²Ë¡¢µ÷ζ¡¢ÊԲˡ¢×°ÅÌ

£¬´ó˵»°Ä£ÐÍѵÁ·Ò²ÊÇͬÀí¡£

1¡¢Âò²Ë——Êý¾ÝÍøÂ磺

•Ö¸±ê£ºÍøÂç´óÁ¿µÄÎı¾Êý¾Ý

£¬ÕâЩÊý¾ÝÄܹ»À´×ÔÊé¼®¡¢ÎÄÕ¡¢ÍøÒ³¡¢É罻ýÌåÌû×ÓµÈ¡£

•Ú¹ÊÍ£ºÊý¾ÝÊÇÄ£Ð͵Ľø½¨×ÊÁÏ

£¬±ØÒªÓÐ×ã¹»µÄ¶àÑùÐԺʹú±íÐÔÒÔѵÁ·³ö׳´óµÄ˵»°Ä£ÐÍ¡£

2¡¢Ï´²Ë——Êý¾ÝÔ¤´¦Öãº

•Ö¸±ê£ºÏ´åªºÍ³ï±¸Êý¾Ý

£¬Ê¹ÆäÊʺÏÄ£Ð͵ÄÊäÈëÒªÇó¡£

•Ú¹ÊÍ£ºÔ̺¬È¥³ýÔëÉù£¨ÈçÍ£Óôʡ¢±êµã·ûºÅ£©¡¢³ß¶È»¯Îı¾£¨Èçת»»ÎªÓ×д£©¡¢·Ö´Ê£¨Tokenization£©µÈ¡£

3¡¢Çв˗—·Ö´Ê£¨Tokenization£©£º

•Ö¸±ê£º½«Îı¾Ô׸î³É¸üÓ׵ĵ¥Ôª

£¬Èçµ¥´Ê¡¢×Ó´Ê»ò×Ö·û¡£

•Ú¹ÊÍ£º·Ö´ÊÓÐÖúÓÚÄ£ÐÍÀí½âÊäÈëÎı¾µÄ½á¹¹

£¬²¢ÎªÃ¿¸öµ¥Ôª·ÖÅäÒ»¸öΨһµÄ±êʶ·û¡£

4¡¢±¸²Ë——ǶÈ루Embedding£©£º

•Ö¸±ê£º½«·Ö´ÊºóµÄÎı¾µ¥Ôª×ª»»Îª¹Ì¶¨³¤¶ÈµÄÏòÁ¿¡£

•Ú¹ÊÍ£ºÏòÁ¿»¯µÄÎı¾µ¥Ôª¸üÒ×ÓÚ´¦ÖÃ

£¬ÇÒ¿ÉÄܲ¶»ñµ¥´Ê»ò×Ö·ûÖ®¼äµÄÓïÒå¹Øϵ¡£

5¡¢³´²Ë——Ä£ÐÍѵÁ·£º

•Ö¸±ê£ºÊ¹ÓÃÔ¤´¦ÖúÍǶÈëºóµÄÊý¾ÝѵÁ·Ëµ»°Ä£ÐÍ¡£

•Ú¹ÊÍ£ºÔÚѵÁ·¹ý³ÌÖÐ

£¬Ä£ÐÍ»á½ø½¨ÊäÈëÎı¾µÄģʽºÍ¹Øϵ

£¬ÒÔ±ã¿ÉÄÜÌìÉúÓйصÄÊä³ö¡£

6¡¢µ÷ζ——΢µ÷£¨Fine-tuning£©£º

•Ö¸±ê£ºÔÚÌض¨¹¤×÷ÉϽøÒ»´ëÊ©ÕûÄ£ÐÍ

£¬ÒÔÌá¸ßÆäÔÚÌض¨ÀûÓÃÖеĻúÄÜ¡£

•Ú¹ÊÍ£ºÎ¢µ÷ÔÊÐíÄ£ÐÍÔÚÌض¨¹¤×÷ÉϽøÐÐÓÅ»¯

£¬Ìá¸ßÆäÔÚÏÖʵÀûÓÃÖеijÉЧ¡£

7¡¢ÊԲ˗—ÆÀ¹À£º

•Ö¸±ê£ºÑµÁ·ÊµÏÖºó

£¬¶ÔÄ£ÐͽøÐÐÆÀ¹À

£¬È·±£Æä»úÄÜÂú×ãÔ¤ÆÚ¡£

•Ú¹ÊÍ£ºÆÀ¹ÀÄ£Ð͵ĻúÄÜ

£¬È·±£Æä¿ÉÄÜÓÐЧ´¦Öø÷Àà˵»°¹¤×÷¡£

8¡¢×°ÅÌ——²¿Êð£º

•Ö¸±ê£º½«ÑµÁ·ºÃµÄÄ£ÐͲ¿Êðµ½ÏÖʵÀûÓÃÖÐ¡£

•Ú¹ÊÍ£º²¿ÊðÒâζ׎«Ä£Ðͼ¯³Éµ½ÀûÓ÷¨Ê½»ò·þÎñÖÐ

£¬ÒÔ±ãÓû§Äܹ»ÏÖʵʹÓÃÄ£ÐͽøÐи÷Àà˵»°´¦Öù¤×÷¡£

LLMµÄÀûÓà    

1.̸Ìì»úеÈËÓëÐé¹¹¸±ÊÖ£ºLLMÄܹ»×÷Ϊ̸Ìì»úеÈ˺ÍÐé¹¹¸±ÊÖµÄÖ÷Ìâ

£¬ÎªÓû§ÌṩÌìÈ»¡¢Á¬¹áµÄ¶Ô»°ÂÄÀú¡£

2.ÄÚÈÝ´´×÷£ºLLMÄܹ»×Ô¶¯ÌìÉúÎÄÕ¡¢ÐÂÎű¨Â·¡¢¸æ°×°¸ë¹¡¢Ê«¸è¡¢Ó×˵µÈÎı¾ÄÚÈÝ¡£

3.½ÌÓýÓëÁìµ¼£ºÔÚ½ÌÓýÁìÓò

£¬LLMÄܹ»ÓÃÓÚ¸¨Öú½²ÊÚ¡¢×Ô¶¯Åú¸Ä×÷Òµ¡¢Ìṩ½ø½¨½¨ÒéµÈ¡£

4.±à³Ì¸¨Öú£ºLLM¿ÉÄÜÔ®ÊÖ¿ª·¢Õß×Ô¶¯ÌìÉú´úÂë¡¢½¨¸´bug¡¢Ìá¸ß±à³ÌЧÄÜ¡£

5.¿Æѧ×êÑУºLLMÔÚ¿ÆÑÐÁìÓòÄܹ»Ô®ÊÖ½øÐÐÎļþ·ÖÎö¡¢³¢ÊÔÉè¼Æ¡¢Ç÷ÏòÔ¤²âµÈ¡£

6.˵»°·­Ò룺LLMÄܹ»ÓÃÓÚ»úе·­Òë

£¬Ô®ÊÖÓû§ÓâԽ˵»°×è°­¡£

7.Îı¾ÌáÒª£ºLLMÄܹ»×Ô¶¯ÌìÉúÎÄÕ»ò»ã±¨µÄÌáÒª

£¬Ô®ÊÖÓû§¼±¾ç»ñÊØÐÅÏ¢¡£

GA»Æ½ð¼×ÔÚLLMµÄÀûÓÃʵ¼Ê    

Ëæ×ÅGA»Æ½ð¼×º£±íÒµÎñ³ÖÐøÍØÕ¹

£¬2023Äêרҵ·­ÒëÍŶÓÈ«²úÆ·ÏßµÄÓ¢ÎÄ×ÊÁϽ»¸¶Á¿ÊÇ2022ÄêµÄ4.4±¶¡£½«ÈËÁ¦³É±¾ÕÛËãΪÓöÈ

£¬2023ÄêµÄ·­Òë³É±¾Í¶ÈëÒ²Ï൱ÓÚ2022ÄêµÄ2.6±¶

£¬²¢³ÊÖð²½Ôö³¤µÄ̬ÊÆ¡£ÈËЧÌáÉý¿ìÂʸú²»ÉϽ»¸¶Á¿Ôö³¤¿ìÂÊ¡£Óë´Ëͬʱ

£¬·­Òë³É±¾ÏÔÖøÔö³¤¡£µ±Ç°¶àÓïÖÖ±í·­³É±¾¼«¶È¸ß

£¬ºóÐøÓ×ÓïÖÖÐèÒªÀ©ÔöÖ®ºó

£¬Ö§³öÔ¤ÆÚ»á´ó·ùÔö³¤¡£

 »ùÓÚÒÔÉÏÐèҪʹµã

£¬GA»Æ½ð¼×ÍøÂçͨ¹ý×ÔÖ÷Ñз¢

£¬´òÔì³öºÏÓÃÓÚÊýͨÁìÓòµÄרҵ·­Òë´óÄ£ÐÍ

£¬Ä¿Ç°¹«Ë¾ÄÚ²¿µÄÎĵµ·­ÒëÍŶÓÒѾ­¿í·ºÊ¹ÓÃÊýͨ¶àÓïÖÖ·­Òë´óÄ£ÐͽøÐÐÎĵµ·­Òë½»¸¶¡£

×ÔÊýͨ¶àÓïÖÖ·­Òë´óÄ£ÐÍÉÏÏßÒÔÀ´

£¬WordÀà×ÊÁÏÔÚAI¹¤¾ßÒëºóµÄÈËΪÉóУЧÄÜÌáÉý126%

£¬×ÛºÏÈËЧÖÁÉÙÌáÉý40%¡£´ø¸øÒµÎñ²¿ÃŵÄÓû§ÊÕÒæÏÔÖø£º·­ÒëÓöȽµµÍ27%

£¬½»¸¶ÖÜÆÚËõ¶Ì26%¡£

¹¤¾ß»¹ÔÚ³ÖÐøÓÅ»¯Éý¼¶

£¬ÔÚ2024Äê

£¬GA»Æ½ð¼×¹¤¾ß»á³ÖÐøÉý¼¶£ºÔ½·¢Ò×ÓÃ

£¬Ö§³Ö¸ü¶àÓïÖÖ

£¬½øÒ»²½½µµÍÃýÎóÂÊ

£¬´Ó¶ø½øÒ»²½ÌáÉýÒëÔ±µÄ·­ÒëЧÄÜ¡£

GA»Æ½ð¼×ÍøÂçƾ½èÆä׿ԽµÄ¼¼ÊõʵÁ¦ºÍ²»Ð¸µÄ´´ÐÂÐÄÁé

£¬³ÖÐøΪÍøÂçÁìÓòµÄ·¢Õ¹×ö³ö¹±Ï×¡£×÷ΪAIGCÈ«Õ»·þÎñר¼Ò

£¬GA»Æ½ð¼×²»½öÕ¼ÓÐÉîºñµÄ¼¼Êõ»ýµí

£¬»¹¾ß±¸Ç°Õ°µÄÕ½ÊõÑÛ¹â

£¬¿ÉÄÜÕýÈ·°ÑÎÕÊý¾ÝÖÐÐÄÁìÓòµÄ·¢Õ¹Ç÷Ïò

£¬³ÖÐøÍƳöÒýÁìÐÐÒµµÄ´´Ð²úÆ·ºÍ½â¾ö¹æ»®¡£ÕâЩ׳´óµÄ¼¼ÊõʵÁ¦ºÍרҵ·þÎñ̬¶È

£¬Ê¹µÃGA»Æ½ð¼×ÍøÂçÔÚ½â¾ö¸´ÔÓÍøÂçÎÊÌâ¡¢ÌáÉýÊý¾ÝÖÐÐij¦Äܵȷ½Ãæ²û·¢½Ü³ö

£¬Ó®µÃÁË¿í´óÓû§µÄÐÅÈκÍÔÞÃÀ¡£Õ°Íû½«À´

£¬GA»Æ½ð¼×ÍøÂ罫³ÖÐø²ûÑïÆä¼¼ÊõʵÁ¦ºÍ´´ÐÂÓÅÊÆ

£¬ÎªÓû§ÌṩԽ·¢ÖÇÄÜ¡¢¸ßЧµÄÍøÂç·þÎñ

£¬ÒýÁìÊý¾ÝÖÐÐÄÐÐÒµÂõÏòеĶ¥·å¡£