นักวิจัยจาก NVIDIA ร่วมกับทีม MineDojo ได้เปิดตัว NitroGen โมเดล AI สายพันธุ์ใหม่ที่เป็นแบบ vision-to-action หรือการมองเห็นแล้วเปลี่ยนเป็นท่าทาง โดยมันถูกฝึกฝนผ่านวิดีโอเกมเพลย์บนโลกอินเทอร์เน็ตกว่า 40,000 ชั่วโมง ครอบคลุมเกมมากกว่า 1,000 เกม ทำให้ AI ตัวนี้ไม่ได้แค่เล่นเกมเป็น แต่ยังเข้าใจธรรมชาติของการเล่นเกมในหลากหลายแนว ตั้งแต่เกม 2D ไปจนถึงโลก 3D ที่ซับซ้อน
ความลับของ NitroGen อยู่ที่การเปลี่ยนวิดีโอสาธารณะให้กลายเป็นตำราเรียน ทีมวิจัยได้คัดเลือกเฉพาะคลิปวิดีโอที่มีการเปิด Overlay รูปจอยเกม บนหน้าจอ (แบบที่สตรีมเมอร์นิยมใช้) แล้วใช้เทคนิคการตรวจจับภาพเพื่อแกะรอยว่าเมื่อภาพในเกมเป็นแบบนี้ คนเล่นกำลังดันอนาล็อกไปทางไหนหรือกดปุ่มอะไรจากนั้นจึงนำข้อมูลมาสร้างเป็นชุดคำสั่งควบคุมที่แม่นยำสูงถึง 96% โดยที่ไม่ได้ไปยุ่งกับซอร์สโค้ดของเกมเลยแม้แต่นิดเดียว
สิ่งที่ทำให้ NitroGen ฉลาดกว่าบอตทั่วไปคือมันถูกฝึกด้วยวิธี Behavior Cloning หรือการเลียนแบบพฤติกรรมมนุษย์ โดยใช้สถาปัตยกรรมเดียวกับ GR00T ซึ่งเป็น AI ควบคุมหุ่นยนต์ของ NVIDIA เพียงแต่เปลี่ยนจากการสั่งงานมอเตอร์ของหุ่นยนต์ มาเป็นการสั่งงานปุ่มกดบนจอยเกมแทน ทำให้มันสามารถประมวลผลภาพจากหน้าจอแล้วตัดสินใจกดปุ่มได้ทันทีเหมือนคนเล่นจริงๆ
จากการทดสอบด้วยโมเดลขนาด 500 ล้านพารามิเตอร์ พบว่า NitroGen มีความสามารถในการปรับตัวสูงมาก เมื่อนำมันไปลองเล่นเกมที่ไม่เคยเห็นมาก่อน (Unseen Games) แล้วลองปรับจูนเพิ่มอีกเล็กน้อย พบว่ามันสามารถทำภารกิจสำเร็จเพิ่มขึ้นถึง 52% เมื่อเทียบกับการเริ่มฝึก AI ใหม่ตั้งแต่ศูนย์ นี่คือสัญญาณว่า AI เริ่มมีความเข้าใจพื้นฐานของการเล่นเกมในระดับสากลแล้ว
อย่างไรก็ตาม ในปัจจุบัน NitroGen จะถนัดที่สุดกับเกมที่ใช้ คอนโทรลเลอร์ (Controller) เป็นหลัก เช่น เกมแนวแอ็กชัน แข่งรถ หรือแนวผจญภัย ส่วนเกมที่ต้องใช้เมาส์และคีย์บอร์ดอย่างแนววางแผน (RTS) หรือ MOBA อาจจะยังทำได้ไม่ดีเท่าที่ควร โดยทาง NVIDIA ได้ใจป้ำเปิดเผยทั้งชุดข้อมูล เครื่องมือประเมินผล และซอร์สโค้ดให้นักพัฒนาทั่วโลกได้นำไปต่อยอดได้ฟรีที่ GitHub และ Hugging Face
การมาของ NitroGen ไม่ได้มีประโยชน์แค่การสร้างบอตมาสู้กับคนในเกมเท่านั้น แต่นักวิจัยมองไปไกลถึงการใช้ AI ตัวนี้เป็น Automated QA เพื่อช่วยทดสอบหาบั๊กในเกมโดยอัตโนมัติ หรือแม้แต่การนำไปพัฒนาต่อยอดในงานด้าน หุ่นยนต์ (Embodied AI) เพื่อให้เครื่องจักรเรียนรู้การทำสิ่งต่างๆ จากการดูวิดีโอบน YouTube ได้ในอนาคต ถือเป็นหมากสำคัญที่ NVIDIA วางไว้เพื่อเชื่อมโลกดิจิทัลเข้ากับโลกความจริง
