Back to: Fode – ปูพื้นฐานงาน Data Engineer แบบรับน้องใหม่
Data Engineer
คือใคร ทำอะไรบ้างใน 1 วัน
ยินดีต้อนรับเข้าสู่คอร์สนี้ครับ 🎉
ถ้าเราเลือกเรียนคอร์สนี้ขึ้นมา — อย่างน้อยก็น่าจะเคยได้ยินคำว่า Data Engineer กันมาบ้างแล้ว
หรือไม่ก็กำลังสงสัยว่า “งานนี้เขาทำอะไรกันแน่” คอร์สนี้ออกแบบมาให้เรียนได้
แม้ยังไม่มีพื้นฐานมาก่อน เปิดใจมาแล้วเดินไปด้วยกันเลยครับ
ที่ต้องจัดการพร้อมกัน
ไม่มีวันหยุด
ในอนาคต
01 Data Engineer คือใครกันแน่?
ถ้าอธิบายแบบสั้นที่สุด:
ฟังดูง่าย แต่ในโลกจริงมันมีรายละเอียดซ่อนอยู่เยอะมากครับ
ลองนึกภาพบริษัทหนึ่ง — ข้อมูลเข้ามาจากหลายที่พร้อมกัน:
แล้วใครเป็นคนจัดการให้ข้อมูลพวกนี้ “เอาไปใช้งานได้จริง” ? — นั่นแหละครับคือ Data Engineer
02 งานของ DE ไม่ได้เริ่มจาก Dashboard
หลายคนเข้าใจว่างานด้าน Data = เปิด Dashboard สวยๆ ดูกราฟ ความจริงคือ:
ก่อนจะเห็นกราฟ 1 เส้น ข้อมูลต้องผ่านกระบวนการทั้งหมดนี้ก่อนครับ
Data Engineer คือคนที่ดูแลกระบวนการทั้งหมดนี้ ตั้งแต่ต้นน้ำ ยันปลายน้ำ
03 ใน 1 วัน Data Engineer ทำอะไรบ้าง
นี่คือภาพรวมของ “วันทำงานปกติ” ครับ — แต่ละบริษัทไม่เหมือนกัน แต่ flow ใกล้เคียงกัน
เช็กว่าข้อมูลยัง “ไม่พัง”
สิ่งแรกที่ DE ทำ ไม่ใช่เปิดคอมแล้วเขียนโค้ดเท่ๆ ตั้งแต่เช้า แต่คือ เช็กสถานะระบบ — ข้อมูลเมื่อคืนโหลดเข้ามาครบไหม? Pipeline ตัวไหน fail? มีตัวเลขอะไรผิดปกติ?
แก้ปัญหา และปรับปรุงระบบ
ถ้ามีปัญหา เริ่มไล่ดูว่าเกิดจากอะไร — ระบบต้นทางเปลี่ยน schema? Format ไฟล์เปลี่ยน? มี event ใหม่ที่ไม่ได้สร้างระบบรองรับ? งานส่วนนี้คือการ แก้ปัญหาเชิงระบบ ไม่ใช่แค่ทำให้มันรันผ่าน
สร้างหรือปรับ Data Pipeline
นี่คือช่วงที่หลายคนคิดว่า “นี่แหละงานหลัก” — เขียน pipeline ให้ดีขึ้น กระชับขึ้น ใช้ทรัพยากรน้อยลง DE ไม่ได้เขียนโค้ดเพื่อโชว์เทคนิค แต่เขียนเพื่อให้ระบบเสถียร ใช้ได้จริง และดูแลต่อได้
คุยกับคนอื่น (เยอะกว่าที่คิด)
สิ่งที่หลายคนไม่รู้ — DE คุยกับคนเยอะมาก ทั้ง Analyst, Data Scientist, Product, Dev, และ Business เพราะสุดท้ายแล้ว ข้อมูลที่ดี = ข้อมูลที่คนใช้งานได้เข้าใจตรงกัน
คิดเผื่ออนาคต
งาน DE ไม่ค่อยจบแบบ “ทำเสร็จแล้วจบ” — มักจะคิดต่อว่า ถ้าข้อมูลโตขึ้น 10 เท่า ระบบที่ใช้อยู่จะยังไหวไหม? ถ้ามี source ใหม่เข้ามาจะรองรับยังไง? นี่คือ mindset ของวิศวกร ที่ต้องคิดก่อนที่ปัญหาจะเกิดครับ
04 ใครต้องการ Data Engineer?
DE ไม่ได้ทำงานคนเดียวในห้องมืดๆ คลิกที่การ์ดด้านล่างเพื่อดูว่าแต่ละทีมต้องการอะไรจาก DE ครับ 👇
ต้องการข้อมูลที่สะอาด ครบ และถูกต้อง
เพื่อเอาไปวิเคราะห์และทำ Dashboard
ต้องการข้อมูลปริมาณมาก ในรูปแบบที่เหมาะสม
เพื่อเทรน ML Model
ต้องการให้ข้อมูลจาก user behavior
ถูกเก็บและส่งเข้าระบบอย่างถูกต้อง
ต้องการตัวเลขที่เชื่อถือได้และ consistent
เพื่อตัดสินใจในงาน
05 DE ไม่ใช่ฮีโร่ แต่เป็นโครงสร้างพื้นฐาน
ถ้าเปรียบบริษัทเป็นตึก — ทีม Data ก็มีบทบาทชัดเจนมากครับ
คนออกแบบตึกให้สวยงาม — วางแผนว่าตึกควรมีหน้าตายังไง
คนตกแต่งภายใน — present ตึก บอกว่าห้องไหนใช้ทำอะไร
เสา เข็ม ระบบน้ำไฟ และ Internet — ไม่ค่อยมีใครมอง แต่ขาดไม่ได้
YOUเหมือนการสร้างตึก ถนน หรือสะพาน — ต้องคิดถึง load, durability, และ future use ตั้งแต่วันแรกที่ออกแบบครับ
ถ้าอ่านมาถึงตรงนี้แล้วเริ่มรู้สึกว่า “งานนี้น่าสนใจนะ มันไม่ได้มีแค่เขียนโค้ดอย่างเดียว” — นั่นคือสัญญาณที่ดีมากครับ 🙂
บทถัดไปเราจะมาดูกันว่า ใน 3 สาย (DE / DA / DS) ต่างกันยังไง และเราเหมาะกับสายไหน
บทถัดไป: DE vs DA vs DS →