ต่อไปคำแนะนำต่อไป
จะเป็นวิศวกรการเรียนรู้ของเครื่องได้อย่างไร
สังคม
คู่มือทางเทคนิค
หากต้องการเป็นวิศวกร AI ให้เรียนรู้ Python (และในอุดมคติแล้วคือ TypeScript) เรียนรู้ที่จะเรียก API โมเดลภาษาขนาดใหญ่ จากนั้นสร้างแอปพลิเคชันที่ยากขึ้นเรื่อยๆ ด้วยการสร้างการเรียกข้อมูลเสริม การเรียกเครื่องมือ และการประเมินอย่างเป็นระบบ และเผยแพร่เป็นโปรเจ็กต์พอร์ตโฟลิโอ
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
วิศวกรรม AI เป็นเรื่องเกี่ยวกับการสร้างผลิตภัณฑ์บนโมเดลพื้นฐานที่มีอยู่ แทนที่จะฝึกโมเดลตั้งแต่เริ่มต้น นั่นทำให้เป็นหนึ่งในเส้นทางที่เข้าถึงได้มากที่สุดในงาน AI สำหรับนักพัฒนาซอฟต์แวร์
คำว่า "วิศวกร AI" ได้รับความนิยมในบทความปี 2023 โดย Shawn Wang (รู้จักกันในชื่อ Swyx) "The Rise of the AI Engineer" อธิบายถึงนักพัฒนาที่สร้างแอปพลิเคชันบนโมเดลพื้นฐาน บทบาทนี้แตกต่างจากวิศวกรการเรียนรู้ของเครื่องที่ฝึกฝนและปรับใช้โมเดล และจากนักวิทยาศาสตร์ข้อมูลที่มุ่งเน้นการวิเคราะห์และสถิติ แผนงานเชิงปฏิบัติมีเจ็ดขั้นตอน 1. พื้นฐานการเขียนโปรแกรม เรียนรู้ Python, git, HTTP และ JSON, ตัวแปรสภาพแวดล้อม และ SQL พื้นฐาน TypeScript ช่วยในการสร้างเว็บอินเตอร์เฟส 2. พื้นฐาน LLM เรียนรู้โทเค็น หน้าต่างบริบท อุณหภูมิ ราคา และสาเหตุที่ทำให้โมเดลต่างๆ ถูกสร้างขึ้น เรียก API จากผู้ให้บริการ เช่น OpenAI, Anthropic และ Google และเรียกใช้โมเดล open-weight ภายในเครื่องด้วยเครื่องมือเช่น Ollama เรียนรู้การสตรีมและเอาต์พุตที่มีโครงสร้าง 3. การแจ้ง เขียนคำแนะนำที่ชัดเจน ใช้ตัวอย่าง และบังคับใช้รูปแบบเอาต์พุตด้วยสคีมา 4. รุ่นดึงข้อมูลเสริม (RAG) เรียนรู้การแบ่งส่วน การฝัง และการค้นหาเวกเตอร์ การค้นหาแบบไฮบริดที่เพิ่มการจับคู่คำสำคัญ การจัดอันดับใหม่และการอ้างอิง 5. เครื่องมือและตัวแทน เรียนรู้การเรียกใช้ฟังก์ชัน การวนซ้ำหลายขั้นตอน และ Model Context Protocol ซึ่งเป็นมาตรฐานเปิด Anthropic ที่เปิดตัวในช่วงปลายปี 2024 สำหรับการเชื่อมต่อโมเดลกับเครื่องมือและข้อมูล เพิ่มรั้วและขีดจำกัด 6. การประเมินและการสังเกต สร้างชุดการทดสอบ ใช้เครื่องให้คะแนนอัตโนมัติ ติดตามคำขอแต่ละรายการ และตรวจจับการถดถอยก่อนนำไปใช้งาน 7. การผลิต. สร้าง API (เช่น ด้วย FastAPI) จากนั้นจัดการแคช การจำกัดอัตรา การควบคุมต้นทุน และการรักษาความปลอดภัย โดยเฉพาะอย่างยิ่งการแทรกทันที ทฤษฎีการปรับแต่ง PyTorch และแมชชีนเลิร์นนิงมีประโยชน์ในภายหลัง แต่ไม่จำเป็นต้องเริ่มต้น ความเข้าใจผิดสองประการเป็นเรื่องปกติ คุณไม่จำเป็นต้องจบปริญญาเอกหรือคณิตศาสตร์ขั้นสูงเพื่อเริ่มต้น คุณต้องมีวิศวกรรมซอฟต์แวร์ที่แข็งแกร่ง เนื่องจากความล้มเหลวส่วนใหญ่เป็นข้อบกพร่องทั่วไป ปัญหาข้อมูล หรือการทดสอบที่ขาดหายไป เฟรมเวิร์ก เช่น LangChain เป็นทางเลือก การเรียนรู้ Raw API ก่อนจะทำให้การดีบักเฟรมเวิร์กใดๆ ในภายหลังง่ายขึ้นมาก
โปรเจ็กต์เริ่มต้น: สคริปต์ที่ส่งบทความที่วางไปยัง LLM API และรับ JSON กลับมาพร้อมชื่อเรื่อง ข้อมูลสรุป และประเด็นสำคัญสามประเด็น ตรวจสอบกับสคีมาก่อนที่จะบันทึก
โครงการดึงข้อมูล: แชทบอทที่ตอบคำถามเกี่ยวกับข้อบังคับสาธารณะของเมือง มันแบ่ง PDF ออกเป็นส่วน ๆ จัดเก็บการฝังใน Postgres ด้วย pgvector และอ้างอิงส่วนที่อยู่เบื้องหลังแต่ละคำตอบ
ผู้ช่วยการเรียกเครื่องมือที่อ่านคำขอ เรียกใช้ API สภาพอากาศ และ API ปฏิทิน และเสนอกำหนดการ โดยมีการทดสอบครอบคลุมสิ่งที่เกิดขึ้นเมื่อ API หมดเวลา
ชุดประเมิน: คำถามติดป้ายกำกับ 100 ข้อสำหรับแชทบอตตามกฎหมายซึ่งให้คะแนนว่าส่วนที่ถูกต้องถูกดึงมาหรือไม่ และคำตอบนั้นยังคงซื่อสัตย์อยู่หรือไม่ โดยจะทำงานโดยอัตโนมัติทุกครั้งที่มีการเปลี่ยนแปลงโค้ด
วิศวกรรม AI ยังคงเปลี่ยนแปลงอย่างรวดเร็ว ความสามารถของโมเดล ราคา และเครื่องมือมีการเปลี่ยนแปลงบ่อยครั้ง ดังนั้นพื้นฐานจึงมีอายุการใช้งานยาวนานกว่าเฟรมเวิร์กใดๆ โดยเฉพาะ เช่น การออกแบบซอฟต์แวร์ที่สะอาด การจัดการข้อมูลอย่างระมัดระวัง ระเบียบวินัยในการประเมิน และการรับรู้ด้านความปลอดภัย เจ้าหน้าที่ที่ดำเนินการหลายขั้นตอนและควบคุมซอฟต์แวร์กำลังได้รับความสนใจมากขึ้น ซึ่งเพิ่มความสำคัญของการทดสอบ การตรวจสอบ และการออกแบบสิทธิ์ งานบางอย่างที่จำเป็นต้องมีไปป์ไลน์แบบกำหนดเองในปัจจุบันอาจถูกรวมเข้ากับแพลตฟอร์มแบบจำลอง วิศวกรที่สามารถกำหนดคุณภาพ วัดผล และจัดส่งระบบที่เชื่อถือได้มักจะมีคุณค่าไม่ว่าเครื่องมือจะเป็นเช่นไรก็ตาม ถือว่าแผนงานใดๆ เป็นจุดเริ่มต้นในการแก้ไขทุกๆ สองสามเดือน
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
หากต้องการเป็นวิศวกร AI ให้เรียนรู้ Python (และในอุดมคติแล้วคือ TypeScript) เรียนรู้ที่จะเรียก API โมเดลภาษาขนาดใหญ่ จากนั้นสร้างแอปพลิเคชันที่ยากขึ้นเรื่อยๆ ด้วยการสร้างการเรียกข้อมูลเสริม การเรียกเครื่องมือ และการประเมินอย่างเป็นระบบ และเผยแพร่เป็นโปรเจ็กต์พอร์ตโฟลิโอ วิศวกรรม AI เป็นเรื่องเกี่ยวกับการสร้างผลิตภัณฑ์บนโมเดลพื้นฐานที่มีอยู่ แทนที่จะฝึกโมเดลตั้งแต่เริ่มต้น นั่นทำให้เป็นหนึ่งในเส้นทางที่เข้าถึงได้มากที่สุดในงาน AI สำหรับนักพัฒนาซอฟต์แวร์
วิศวกรรม AI มุ่งเน้นไปที่การสร้างผลิตภัณฑ์ด้วยโมเดลที่มีอยู่ผ่าน API การดึงข้อมูล เครื่องมือ และการประเมินผล โดยทั่วไปโมเดลการฝึกอบรมจะเป็นโดเมนของวิศวกร ML
การทำความเข้าใจสิ่งที่เกิดขึ้นภายใต้นามธรรมช่วยให้คุณสามารถวินิจฉัยปัญหาเมื่อเฟรมเวิร์กทำงานโดยไม่คาดคิด
คู่มือนี้อธิบายว่า MCP เป็นมาตรฐานแบบเปิดที่ Anthropic นำมาใช้ในช่วงปลายปี 2024 สำหรับการเชื่อมต่อโมเดลกับเครื่องมือภายนอกและแหล่งข้อมูล
การนำเข้าจะเตรียมฐานความรู้โดยการแบ่งเอกสารออกเป็นส่วนๆ เปลี่ยนให้เป็นส่วนที่ฝัง และจัดเก็บไว้กับเมตาดาต้าเพื่อการเรียกค้นในภายหลัง
การค้นหาแบบไฮบริดผสมผสานความคล้ายคลึงทางความหมายจากการฝังเข้ากับการจับคู่คำที่ตรงทั้งหมด ซึ่งช่วยในเรื่องชื่อ รหัส และคำเฉพาะ
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
จะเป็นวิศวกรการเรียนรู้ของเครื่องได้อย่างไร
สังคม