ผลการทดสอบการใส่คำอธิบายประกอบภาพหน้าจอแสดงให้เห็นว่า แชทบอท AI เช่น ChatGPT และ Claude ยังคงมีปัญหาในการทำงานแก้ไขขั้นพื้นฐาน

ผลการทดสอบการใส่คำอธิบายประกอบภาพหน้าจอแสดงให้เห็นว่า แชทบอท AI เช่น ChatGPT และ Claude ยังคงมีปัญหาในการทำงานแก้ไขขั้นพื้นฐาน

แชทบอทปัญญาประดิษฐ์ (AI) ได้กลายเป็นผู้ช่วยที่มีประสิทธิภาพสำหรับงานระดับมืออาชีพ ตั้งแต่การค้นคว้าและตรวจสอบข้อเท็จจริง ไปจนถึงการติดตามบทความและข้อเสนอต่างๆ ผู้เชี่ยวชาญหลายคนเห็นด้วยกับความคิดที่นักเขียนชื่อดังอย่าง Joanna Maciejewska เคยกล่าวไว้ว่า "ฉันต้องการให้ AI ซักผ้าและล้างจานให้ฉัน เพื่อที่ฉันจะได้ทำงานศิลปะและเขียนหนังสือ ไม่ใช่ให้ AI ทำงานศิลปะและเขียนหนังสือให้ฉัน เพื่อที่ฉันจะได้ซักผ้าและล้างจาน"

ปรัชญานี้สามารถนำไปใช้กับเวิร์กโฟลว์สมัยใหม่ได้โดยตรง แม้ว่าจะไม่มีใครอยากให้ AI เขียนบทความทั้งหมดเนื่องจากขาดประสบการณ์ในโลกแห่งความเป็นจริง แต่การมอบหมายงานที่น่าเบื่อและซ้ำซากจำเจจะช่วยเพิ่มประสิทธิภาพโดยรวมได้ การตรวจสอบข้อเท็จจริงและงานธุรการที่คล้ายคลึงกันเป็นงานที่เหมาะสมสำหรับการทำให้เป็นระบบอัตโนมัติ ซึ่งจะช่วยให้มีเวลามากขึ้นสำหรับงานสร้างสรรค์หลัก อย่างไรก็ตาม การทดสอบว่าผู้ช่วย AI ชั้นนำสามารถรับหน้าที่ทำงานที่น่าเบื่อหน่ายเป็นพิเศษอย่างการใส่คำอธิบายประกอบภาพหน้าจอทีละขั้นตอนด้วยลูกศรบอกทิศทางได้หรือไม่นั้น พบว่าทั้งChatGPTและClaudeยังคงล้มเหลวอย่างสิ้นเชิงในงานด้านภาพที่ต้องใช้ความแม่นยำสูง

claude
claude

ความจริงอันน่าเบื่อหน่ายของการใส่คำอธิบายประกอบภาพหน้าจอ

การสร้างคู่มือการใช้งานจำเป็นต้องบันทึกภาพหน้าจอทีละขั้นตอนเพื่อช่วยให้ผู้อ่านปฏิบัติตามคำแนะนำได้อย่างรวดเร็วและแม่นยำ การถ่ายภาพหน้าจอเป็นกระบวนการที่รวดเร็ว แต่ปัญหาคอขวดที่ใช้เวลานานเกิดขึ้นในขั้นตอนการใส่คำอธิบายประกอบ เมื่อภาพแสดงเมนูหรือปุ่มเฉพาะ จะต้องเพิ่มลูกศรเพื่อระบุวัตถุที่เกี่ยวข้องอย่างชัดเจน

แม้ว่าการเพิ่มคำอธิบายประกอบเหล่านี้จะทำได้ง่าย แต่ก็เป็นเรื่องที่น่าเบื่ออย่างยิ่งเมื่อต้องจัดการกับรูปภาพจำนวนมาก วิธีแก้ปัญหาที่สมเหตุสมผลดูเหมือนจะเป็นการใช้แชทบอท AI ชี้ไปยังโฟลเดอร์ภาพหน้าจอ อัปโหลดคำแนะนำทีละขั้นตอน และจัดเตรียมรูปภาพตัวอย่างเพื่อให้ AI สามารถใส่ลูกศรที่ถูกต้องได้โดยอัตโนมัติ

ChatGPT ไม่สามารถสร้างคำอธิบายภาพที่ถูกต้องได้

ChatGPT มีโมเดลการสร้างภาพที่ดีที่สุดบางส่วนที่มีอยู่ โมเดล GPT Image 2 สร้างผลลัพธ์ที่น่าประทับใจซึ่งสามารถเทียบได้กับการถ่ายภาพจริง แสดงให้เห็นว่ามันน่าจะสามารถจัดการกับการแก้ไขภาพขั้นพื้นฐานได้อย่างง่ายดาย

An annotated screenshot created by ChatGPT with a mangled arrow pointing at nothing.
An annotated screenshot created by ChatGPT with a mangled arrow pointing at nothing.

เพื่อทดสอบเรื่องนี้ ได้มีการอัปโหลดภาพหน้าจอและคำแนะนำพร้อมกับภาพตัวอย่าง ChatGPT พยายามใส่คำอธิบายประกอบให้กับไฟล์ทั้งหมดโดยอัตโนมัติ แต่ผลลัพธ์ที่ได้นั้นใช้งานไม่ได้เลย

An annotated screenshot created by ChatGPT with a mangled arrow pointing in completely the wrong place.
An annotated screenshot created by ChatGPT with a mangled arrow pointing in completely the wrong place.

ลูกศรที่ปรากฏชี้ไปยังตำแหน่งที่ผิดอย่างสิ้นเชิงหรือพื้นที่ว่างเปล่า และภาพกราฟิกหลายภาพก็บิดเบี้ยวอย่างเห็นได้ชัด

An annotated screenshot created by ChatGPT with a mangled arrow pointing off the screen.
An annotated screenshot created by ChatGPT with a mangled arrow pointing off the screen.

แม้จะปรับปรุงข้อความแจ้งเตือนและทำให้คำแนะนำชัดเจนขึ้นแล้ว ก็ยังได้ผลลัพธ์ที่แย่เหมือนเดิมในการทดลองหลายครั้ง

An annotated screenshot created by ChatGPT with a mangled arrow pointing at blank space.
An annotated screenshot created by ChatGPT with a mangled arrow pointing at blank space.

การทดสอบเพิ่มเติมยังคงแสดงให้เห็นว่าลูกศรวางผิดตำแหน่งหรือวางในทิศทางที่ไม่ถูกต้อง

An annotated screenshot created by ChatGPT with a mangled arrow pointing in the opposite direction to where it should be pointing.
An annotated screenshot created by ChatGPT with a mangled arrow pointing in the opposite direction to where it should be pointing.

คล็อดและทักษะการใช้คอมพิวเตอร์ยังไม่ดีพอ

หลังจากความล้มเหลวของ ChatGPT ทำให้ Claude ซึ่งเป็นผู้ช่วย AI ที่พัฒนาโดย Anthropic ในราคา 20 ดอลลาร์ ซึ่งสามารถแก้ปัญหาด้วยวิธีการสนทนา ได้ถูกนำมาทดสอบ แม้ว่า Claude จะไม่มีเครื่องมือสร้างภาพโดยตรง แต่ก็มีฟังก์ชัน "การใช้งานคอมพิวเตอร์" ฟังก์ชันนี้ช่วยให้ Claude สามารถโต้ตอบกับอินเทอร์เฟซคอมพิวเตอร์ได้โดยตรงผ่านการจับภาพหน้าจอ การควบคุมเมาส์ และการป้อนข้อมูลจากแป้นพิมพ์ ทำให้สามารถใช้งานแอปพลิเคชันต่างๆ เช่น Preview ประเมินการแก้ไขของตนเอง และปรับตำแหน่งลูกศรได้

The Add label button for an area in Home Assistant.
The Add label button for an area in Home Assistant.

1X NEO humanoid robot still from promotional video.
1X NEO humanoid robot still from promotional video.

หลังจากอนุญาตแล้ว คลอดด์ก็ได้รับอนุญาตให้เข้าไปแก้ไขโฟลเดอร์ภาพหน้าจอ น่าเสียดายที่ผลลัพธ์ก็ไม่น่าพอใจเช่นกัน ลูกศรที่สร้างขึ้นมักจะบดบังวัตถุเป้าหมายทั้งหมด ชี้เลยไป หรือมีหางยาวผิดปกติ นอกจากนี้ คลอดด์ยังเผลอเขียนทับไฟล์ต้นฉบับด้วยเวอร์ชันที่ผิดพลาดอีกด้วย

An annotated screenshot created by Claude with an arrow with a ridiculously long tail.
An annotated screenshot created by Claude with an arrow with a ridiculously long tail.

An annotated screenshot created by Claude with an arrow with a tail that does not match the length of the previous screenshot.
An annotated screenshot created by Claude with an arrow with a tail that does not match the length of the previous screenshot.

An annotated screenshot created by Claude with an arrow that partially obscures the object it is supposed to be pointing to.
An annotated screenshot created by Claude with an arrow that partially obscures the object it is supposed to be pointing to.

การเปลี่ยนจาก Sonnet ไปใช้รุ่น Opus ที่มีประสิทธิภาพมากกว่า ทำให้ได้ผลลัพธ์ที่พอใช้ได้กับภาพบางภาพ แต่กระบวนการโดยรวมยังคงไม่น่าเชื่อถือ เนื่องจากไม่สามารถสร้างภาพหน้าจอที่มีคำอธิบายประกอบอย่างสมบูรณ์แบบได้หากปราศจากการแทรกแซงด้วยตนเอง ทำให้เป้าหมายหลักในการประหยัดเวลาไม่บรรลุผล

An annotated screenshot created by Claude which is mostly fine by very block and pixelated.
An annotated screenshot created by Claude which is mostly fine by very block and pixelated.

สรุปผลการทดสอบเครื่องมือ AI

การเปรียบเทียบประสิทธิภาพของแชทบอท AI ในงานการระบุภาพหน้าจอ
ผู้ช่วย AI คุณสมบัติ/รุ่นที่ผ่านการทดสอบ โหมดความล้มเหลวหลัก ระดับความน่าเชื่อถือ
แชทจีพีที โมเดล GPT ภาพที่ 2 ลูกศรที่วางผิดที่ หายไป หรือบิดเบี้ยว ชี้ไปยังพื้นที่ที่ไม่ถูกต้อง ผลลัพธ์ที่ใช้งานได้เป็นศูนย์
คล็อด การใช้คอมพิวเตอร์ (บทกวีซอนเน็ต / โอปุส) วัตถุถูกบดบัง, ปลายลูกศรยาวเกินไป, การเขียนทับไฟล์ ไม่น่าเชื่อถือ / ต้องใช้การซ่อมแซมครั้งใหญ่

คำถามที่พบบ่อย

แชทบอท AI สามารถระบุลูกศรบนภาพหน้าจอได้อย่างสำเร็จหรือไม่?

จากการทดสอบอย่างเข้มงวดด้วยทั้ง ChatGPT และ Claude พบว่าโมเดล AI ในปัจจุบันประสบปัญหาอย่างมากกับงานแก้ไขภาพที่ต้องการความแม่นยำสูง เช่น การวางลูกศรบอกทิศทางบนองค์ประกอบส่วนติดต่อผู้ใช้เฉพาะจุด

คล็อดมีราคาเท่าไหร่?

Claude พร้อมให้บริการในฐานะผู้ช่วย AI โดยมีราคา 20 ดอลลาร์สำหรับระดับการเข้าถึงขั้นสูง

คลอดใช้คอมพิวเตอร์อย่างไร?

ฟีเจอร์การใช้งานคอมพิวเตอร์ของ Claude ช่วยให้ผู้ช่วย AI สามารถโต้ตอบกับระบบปฏิบัติการคอมพิวเตอร์ได้โดยตรง โดยใช้การจับภาพหน้าจอ การควบคุมเมาส์ และการป้อนข้อมูลจากแป้นพิมพ์เพื่อใช้งานแอปพลิเคชันบนเดสก์ท็อป

เหตุใด ChatGPT จึงไม่สามารถแก้ไขภาพหน้าจอได้อย่างถูกต้อง?

ถึงแม้ว่า ChatGPT จะมีโมเดลสร้างภาพที่มีประสิทธิภาพสูง เช่น GPT Image 2 แต่ก็ยังวางลูกศรในตำแหน่งที่ไม่ถูกต้อง ชี้ไปยังพื้นที่ว่าง หรือสร้างองค์ประกอบกราฟิกที่บิดเบี้ยวอยู่เสมอ

การอัปเกรดเป็น Claude Opus ช่วยแก้ไขข้อผิดพลาดในการใส่คำอธิบายประกอบได้หรือไม่?

การเปลี่ยนมาใช้ Opus ช่วยปรับปรุงผลลัพธ์บางอย่างเมื่อเทียบกับ Sonnet แต่กระบวนการทำงานโดยรวมยังคงไม่น่าเชื่อถือ เนื่องจากยังคงต้องมีการแก้ไขด้วยตนเองอย่างมาก

การใช้ AI หรือการใส่คำอธิบายประกอบภาพหน้าจอด้วยตนเอง แบบไหนเร็วกว่ากัน?

เนื่องจากข้อผิดพลาดที่เกิดจาก AI ใช้เวลานานกว่าในการแก้ไขข้อผิดพลาดเหล่านั้นเมื่อเทียบกับการทำงานตั้งแต่เริ่มต้น การใส่คำอธิบายประกอบด้วยตนเองจึงยังคงเป็นทางเลือกที่รวดเร็วและน่าเชื่อถือกว่า

ผลการทดสอบการใส่คำอธิบายประกอบภาพหน้าจอแสดงให้เห็นว่า แชทบอท AI เช่น ChatGPT และ Claude ยังคงมีปัญหาในการทำงานแก้ไขขั้นพื้นฐาน | WukiHow