Takeaway: Host Rebecca Jozwiak พูดถึงการวิเคราะห์การสตรีมกับผู้เชี่ยวชาญในอุตสาหกรรม
คุณยังไม่ได้เข้าสู่ระบบโปรดเข้าสู่ระบบหรือลงทะเบียนเพื่อดูวิดีโอ
รีเบคก้า Jozwiak: ท่านสุภาพบุรุษและสุภาพสตรีสวัสดีและยินดีต้อนรับสู่ Hot Technologies ประจำปี 2559! ชื่อของวันนี้คือ“ การควบคุมสายส่งไฟ: รับคุณค่าทางธุรกิจจากการวิเคราะห์สตรีมมิ่ง” นี่คือ Rebecca Jozwiak ฉันเป็นผู้บังคับบัญชาคนที่สองสำหรับการออกอากาศทางเว็บทุกครั้งที่ Eric Kavanagh ที่รักของเราไม่สามารถอยู่ที่นี่ได้ดังนั้นจึงเป็นเรื่องดีที่ได้เห็นพวกคุณหลายคนในวันนี้
ตอนนี้แตกต่างจากคนอื่นเล็กน้อย เราคุยกันถึงเรื่องที่ร้อนแรงและแน่นอนว่าปีนี้ร้อนแรง หลายปีที่ผ่านมาร้อนแรง มีสิ่งใหม่ ๆ ออกมาเสมอ วันนี้เรากำลังพูดถึงสตรีมการวิเคราะห์ การวิเคราะห์สตรีมมิ่งเป็นสิ่งใหม่ แน่นอนว่าการสตรีมข้อมูลศูนย์ข้อมูล RFID ซึ่งไม่จำเป็นต้องเป็นเรื่องใหม่ แต่ในด้านสถาปัตยกรรมข้อมูลเราได้มุ่งเน้นไปที่ข้อมูลที่เหลือเป็นเวลาหลายสิบปี ฐานข้อมูลระบบไฟล์ที่เก็บข้อมูล - ทั้งหมดเพื่อจุดประสงค์ส่วนใหญ่ของการประมวลผลแบทช์ แต่ตอนนี้มีการเปลี่ยนเพื่อสร้างมูลค่าจากการสตรีมข้อมูลอารมณ์ข้อมูลบางคนเรียกมันว่าลำธารที่มีชีวิตพวกเขาต้องการสถาปัตยกรรมแบบสตรีมไม่ใช่ข้อมูลที่สถาปัตยกรรมที่เหลือที่เราคุ้นเคยและจำเป็นต้องมีความสามารถ การจัดการการบริโภคที่รวดเร็ว, เรียลไทม์หรือใกล้การประมวลผลเรียลไทม์ มันจะต้องสามารถตอบสนองไม่เพียง แต่สำหรับอินเทอร์เน็ตของสิ่งต่าง ๆ แต่อินเทอร์เน็ตของทุกสิ่ง
แน่นอนว่าเป็นการดีที่จะมีสองสถาปัตยกรรมที่อยู่เคียงข้างกันซักมืออีกข้างหนึ่งเพื่อพูด ในขณะที่ข้อมูลอายุวันข้อมูลสัปดาห์ข้อมูลปียังคงมีค่าการวิเคราะห์ประวัติศาสตร์การวิเคราะห์แนวโน้มมันเป็นข้อมูลสดที่ขับเคลื่อนข่าวกรองสดวันนี้และทำไมการวิเคราะห์สตรีมมิ่งจึงมีความสำคัญมาก
วันนี้ฉันกำลังพูดถึงมากขึ้น เรามีนักวิทยาศาสตร์ด้านข้อมูลของเรา Dez Blanchfield โทรมาจากออสเตรเลีย มันเป็นตอนเช้าสำหรับเขาในตอนนี้ เรามีหัวหน้านักวิเคราะห์ของเราคือ Dr. Robin Bloor เราเข้าร่วมโดย Anand Venugopal หัวหน้าผลิตภัณฑ์ของ StreamAnalytix ที่ Impetus Technologies พวกเขาเน้นเรื่องการวิเคราะห์สตรีมในพื้นที่นี้จริงๆ
ด้วยสิ่งนี้ฉันจะไปข้างหน้าและส่งต่อไปยัง Dez
Dez Blanchfield: ขอขอบคุณ. ฉันต้องการที่จะคว้าการควบคุมของหน้าจอที่นี่และป๊อปไปข้างหน้า
รีเบคก้า Jozwiak: ไปเลย
Dez Blanchfield: ในขณะที่เรากำลังหยิบสไลด์ขึ้นมาขอผมครอบคลุมหัวข้อหลัก
ฉันจะรักษาระดับที่ค่อนข้างสูงและฉันจะเก็บไว้ที่ประมาณ 10 นาที นี่เป็นหัวข้อที่ใหญ่มาก ฉันเข้าร่วมในเหตุการณ์ที่เราใช้เวลาสองถึงสามวันในการดำน้ำในรายละเอียดว่าการประมวลผลแบบสตรีมคืออะไรและเฟรมเวิร์กปัจจุบันที่เรากำลังพัฒนาและการทำการวิเคราะห์ในสตรีมปริมาณสูงนั้นควรหมายถึง
เราจะอธิบายให้ชัดเจนถึงสิ่งที่เราหมายถึงโดยการสตรีมการวิเคราะห์และวิเคราะห์ว่ามูลค่าทางธุรกิจนั้นสามารถได้มาเพราะสิ่งที่ธุรกิจต้องการจริงๆ พวกเขากำลังต้องการให้ผู้คนอธิบายให้พวกเขาอย่างรวดเร็วและรัดกุมฉันสามารถหาค่าได้อย่างไรโดยใช้การวิเคราะห์บางรูปแบบกับข้อมูลสตรีมของเรา
การวิเคราะห์สตรีมมิ่งคืออะไร?
การวิเคราะห์สตรีมมิ่งช่วยให้องค์กรมีวิธีดึงคุณค่าจากข้อมูลปริมาณมากและข้อมูลความเร็วสูงที่พวกเขาได้เข้ามาในธุรกิจในรูปแบบต่างๆที่เคลื่อนไหว ความแตกต่างอย่างมีนัยสำคัญที่นี่คือเรามีประวัติอันยาวนานในการพัฒนาการวิเคราะห์และเลนส์และมุมมองของข้อมูลที่เราได้ทำการประมวลผลที่เหลือเป็นเวลาหลายสิบปีนับตั้งแต่มีการคิดค้นเมนเฟรม การปรับเปลี่ยนกระบวนทัศน์ครั้งใหญ่ที่เราเคยเห็นในช่วงสามถึงห้าปีที่ผ่านมาในสิ่งที่เราเรียกว่า "เว็บสเกล" กำลังแตะเข้าไปในกระแสข้อมูลที่เข้ามาในเวลาจริงหรือใกล้เวลาจริงไม่ใช่แค่ประมวลผลและมองหาความสัมพันธ์ของเหตุการณ์ ทริกเกอร์เหตุการณ์ แต่ดำเนินการวิเคราะห์อย่างละเอียดและมีรายละเอียดอย่างแท้จริงบนสตรีมเหล่านั้น มันเป็นการเปลี่ยนแปลงที่สำคัญสำหรับสิ่งที่เราเคยทำมาก่อนซึ่งเป็นการรวบรวมข้อมูลวางลงในพื้นที่เก็บข้อมูลบางส่วนฐานข้อมูลขนาดใหญ่แบบดั้งเดิมตอนนี้กรอบข้อมูลขนาดใหญ่ขนาดใหญ่เช่นแพลตฟอร์ม Hadoop และดำเนินการประมวลผลแบบแบทช์ ความเข้าใจบางอย่าง
เราทำได้ดีมากในการทำสิ่งนั้นอย่างรวดเร็วและทดลองใช้เหล็กจำนวนมาก แต่เรายังคงเก็บข้อมูลจริงๆจัดเก็บแล้วมองดูแล้วรับข้อมูลเชิงลึกหรือการวิเคราะห์บางอย่าง การเปลี่ยนไปใช้การวิเคราะห์เหล่านั้นในขณะที่มีการสตรีมข้อมูลเป็นพื้นที่การเจริญเติบโตที่ใหม่และน่าตื่นเต้นสำหรับประเภทของสิ่งที่เกิดขึ้นรอบ ๆ ข้อมูลขนาดใหญ่ มันต้องการวิธีการที่แตกต่างอย่างสิ้นเชิงเพียงแค่เก็บจัดเก็บและประมวลผลและทำการวิเคราะห์
หนึ่งในตัวขับเคลื่อนหลักสำหรับการเปลี่ยนแปลงและมุ่งเน้นไปที่การวิเคราะห์ในสตรีมคือคุณสามารถได้รับมูลค่าทางธุรกิจที่สำคัญจากการรับข้อมูลเชิงลึกเหล่านั้นได้เร็วขึ้นและพร้อมมากขึ้นเมื่อข้อมูลมาถึงคุณเนื่องจากมีการเปิดเผยข้อมูลให้กับธุรกิจ แนวคิดของการดำเนินการสิ้นสุดวันนี้ไม่เกี่ยวข้องในอุตสาหกรรมบางประเภทอีกต่อไป เราต้องการที่จะสามารถทำการวิเคราะห์ได้ทันที ในตอนท้ายของวันเรารู้อยู่แล้วว่าเกิดอะไรขึ้นเมื่อมันเกิดขึ้นแทนที่จะไปให้ถึงจุดสิ้นสุดของวันและทำงานแบ็ตช์ตลอด 24 ชั่วโมงและรับข้อมูลเชิงลึกเหล่านั้น
การวิเคราะห์สตรีมมิ่งนั้นเกี่ยวกับการแตะลงในสตรีมนั้นในขณะที่สตรีมข้อมูลมักจะเป็นสตรีมข้อมูลที่มีปริมาณมากและข้อมูลที่มาถึงเราในลักษณะที่เคลื่อนไหวอย่างรวดเร็วและรับข้อมูลเชิงลึกหรือการวิเคราะห์ในสตรีมเหล่านั้น เพื่อให้สิ่งที่เหลืออยู่และทำการวิเคราะห์กับพวกเขา
ดังที่ฉันได้กล่าวมาเรามีเวลาหลายสิบปีในการปฏิบัติสิ่งที่ฉันเรียกว่าการวิเคราะห์แบบกลุ่ม ฉันใส่รูปที่เจ๋งจริงๆที่นี่ นี่เป็นรูปภาพของสุภาพบุรุษยืนอยู่หน้าคอมพิวเตอร์ที่เยาะเย้ยขึ้นมาซึ่งถูกสร้างขึ้นโดย RAND Corporation เมื่อหนึ่งปีก่อนและนี่คือสิ่งที่พวกเขาดูคอมพิวเตอร์ในบ้านที่ดูเหมือน สิ่งที่น่าสนใจคือถึงแม้ว่าพวกเขาจะมีแนวคิดเกี่ยวกับการหมุนเล็ก ๆ เหล่านี้และการหมุนเหล่านี้แสดงข้อมูลที่มาจากบ้านและกำลังประมวลผลแบบเรียลไทม์และบอกคุณว่าเกิดอะไรขึ้น ตัวอย่างง่ายๆคือชุดของแรงกดดันความกดอากาศและอุณหภูมิที่เราสามารถดูว่าเรากำลังเห็นสิ่งที่เกิดขึ้นแบบเรียลไทม์ แต่ฉันคิดว่าถึงแม้จะย้อนกลับไปเมื่อ RAND Corporation รวมตัวจำลองเล็ก ๆ น้อย ๆ เข้าด้วยกันพวกเขากำลังคิดเกี่ยวกับการประมวลผลข้อมูลและการวิเคราะห์ข้อมูลอยู่แล้วในขณะที่กำลังเข้ามาในรูปแบบสตรีม ฉันไม่ค่อยแน่ใจว่าทำไมพวกเขาถึงวางพวงมาลัยบนคอมพิวเตอร์ แต่มันก็ค่อนข้างเท่ห์
นับตั้งแต่การประดิษฐ์ของเอ่อเรามีมุมมองของการเก็บข้อมูลและทำการวิเคราะห์แบบแบตช์ ดังที่ฉันได้กล่าวไปแล้วว่ามีการเปลี่ยนแปลงครั้งใหญ่และเราได้เห็นสิ่งนี้จากผู้เล่นระดับเว็บที่เรารู้จักพวกเขาล้วนเป็นแบรนด์ในครัวเรือนเช่นและ LinkedIn พฤติกรรมการโต้ตอบที่เรามีกับแพลตฟอร์มโซเชียลเหล่านั้นต้องการ ไม่เพียงแค่จับจัดเก็บและประมวลผลในโหมดแบทช์ แต่พวกเขากำลังจับและผลักดันการวิเคราะห์ได้ทันทีจากกระแสข้อมูลที่ไหลผ่าน เมื่อฉันทวีตสิ่งที่พวกเขาไม่เพียง แต่จะต้องจับภาพและจัดเก็บและทำอะไรบางอย่างในภายหลัง แต่พวกเขายังต้องสามารถที่จะนำมันกลับมาในกระแสของฉันทันทีและแบ่งปันกับคนอื่น ๆ ที่ติดตามฉัน นั่นคือรูปแบบการประมวลผลแบบแบทช์
ทำไมเราต้องลงเส้นทางนี้ เหตุใดองค์กรต่างๆจึงต้องลงทุนเวลาความพยายามและเงินในการพิจารณาความท้าทายในการพยายามวิเคราะห์เส้นทางการสตรีม องค์กรมีความปรารถนาอย่างแรงกล้าที่จะได้รับผลการดำเนินงานที่เหนือกว่าคู่แข่งในอุตสาหกรรมที่พวกเขาอยู่และการเพิ่มประสิทธิภาพนั้นสามารถดำเนินการได้อย่างรวดเร็วผ่านการวิเคราะห์กระแสอย่างง่ายและสามารถเริ่มต้นได้ง่าย ๆ เพียงแค่ติดตามข้อมูลเรียลไทม์ คุ้นเคยกับ. ฉันได้ภาพหน้าจอเล็ก ๆ ของ Google Analytics นี่อาจเป็นครั้งแรกที่เราได้รับการวิเคราะห์ระดับผู้บริโภคโดยตรง ดังนั้นเมื่อมีผู้เยี่ยมชมเว็บไซต์ของคุณและคุณได้รับจำนวนผู้เข้าชมด้วย JavaScript ชิ้นเล็ก ๆ ที่ด้านล่างของหน้าเว็บของคุณใน HTML ที่ฝังอยู่ในเว็บไซต์ของคุณรหัสเล็ก ๆ เหล่านี้ถูกสร้างขึ้นในเวลาจริงกลับไปยัง Google ทำการวิเคราะห์กระแสข้อมูลที่มาจากทุกหน้าในเว็บไซต์ของคุณทุกวัตถุในเว็บไซต์ของคุณแบบเรียลไทม์และนำกลับมาให้คุณในหน้าเว็บเล็ก ๆ ที่น่ารักจริงๆนี้ในแผงควบคุมของกราฟเรียลไทม์ฮิสโทแกรมและเส้น กราฟแสดงจำนวนคน X ที่เข้าชมหน้าเว็บของคุณในอดีต แต่ตอนนี้มีจำนวนเท่าใด
อย่างที่คุณเห็นบนสกรีนช็อตนั้นมันบอกว่า 25 ตอนนี้ ตอนนี้มีคน 25 คนในขณะที่ภาพหน้าจอนั้นอยู่ในหน้านั้น นั่นเป็นโอกาสแรกที่เราได้เล่นในเครื่องมือวิเคราะห์ระดับผู้บริโภค ฉันคิดว่าผู้คนมากมายได้รับมันจริงๆ พวกเขาเพิ่งเข้าใจพลังของการรู้ว่าเกิดอะไรขึ้นและจะตอบสนองอย่างไร เมื่อเราคิดถึงขนาดของ avionics เครื่องบินที่บินไปรอบ ๆ มีเที่ยวบินภายในประเทศเพียง 18,700 เที่ยวต่อวันในสหรัฐอเมริกาเพียงลำพัง เมื่อไม่นานมานี้ฉันอ่านกระดาษ - ประมาณหกหรือเจ็ดปีที่แล้ว - ปริมาณของข้อมูลที่ผลิตโดยเครื่องบินเหล่านั้นประมาณ 200 ถึง 300 เมกะไบต์ในรูปแบบวิศวกรรมเก่า ในการออกแบบเครื่องบินวันนี้เครื่องบินเหล่านี้ผลิตข้อมูลประมาณ 500 กิกะไบต์หรือประมาณครึ่งเทราไบต์ของข้อมูลต่อเที่ยวบิน
เมื่อคุณทำการคำนวณทางคณิตศาสตร์อย่างรวดเร็วจากยอดของหัวของคุณที่ 18,700 เที่ยวบินภายในประเทศทุก 24 ชั่วโมงในน่านฟ้าสหรัฐเพียงลำพังถ้าเครื่องบินทันสมัยทั้งหมดผลิตประมาณครึ่งเทราไบต์นั่นคือ 43 ถึง 44 เพตาไบต์ของข้อมูลที่ผ่านมาและ มันเกิดขึ้นขณะที่เครื่องบินอยู่ในอากาศ มันเกิดขึ้นเมื่อพวกเขาลงจอดและพวกมันทิ้งข้อมูล นั่นคือเมื่อพวกเขาเข้าไปในร้านและมีการถ่ายโอนข้อมูลเต็มรูปแบบจากทีมวิศวกรรมเพื่อดูว่าเกิดอะไรขึ้นกับตลับลูกปืนล้อและภายในเครื่องยนต์ ข้อมูลบางอย่างนั้นจะต้องถูกประมวลผลแบบเรียลไทม์เพื่อให้พวกเขาสามารถตัดสินใจได้ว่ามีปัญหาจริงในขณะที่เครื่องบินอยู่ในอากาศหรือในขณะที่อยู่บนพื้นดิน คุณไม่สามารถทำได้ในโหมดแบทช์ ในอุตสาหกรรมอื่น ๆ ที่เราเห็นรอบด้านการเงินสุขภาพการผลิตและวิศวกรรมพวกเขายังดูว่าพวกเขาจะได้รับข้อมูลเชิงลึกใหม่ ๆ เกี่ยวกับสิ่งที่เกิดขึ้นแบบเรียลไทม์ซึ่งต่างจากสิ่งที่ถูกเก็บไว้ในฐานข้อมูลบน วาระ
นอกจากนี้ยังมีแนวคิดในการจัดการกับข้อมูลว่าสิ่งที่ฉันเรียกว่าสินค้าที่เน่าเสียง่ายหรือสินค้าที่เน่าเสียง่าย - ซึ่งข้อมูลจำนวนมากสูญเสียคุณค่าเมื่อเวลาผ่านไป นี่เป็นกรณีที่แอพพลิเคชั่นเคลื่อนที่และเครื่องมือโซเชียลมีเดียเพิ่มมากขึ้นเพราะสิ่งที่ผู้คนพูดและสิ่งที่กำลังได้รับความนิยมคือสิ่งที่คุณต้องการตอบสนอง เมื่อคุณคิดถึงส่วนอื่น ๆ ของชีวิตของเราด้วยการขนส่งและการขนส่งอาหารเราเข้าใจถึงแนวคิดของสินค้าที่เน่าเสียง่ายในแง่นั้น แต่ให้คิดถึงข้อมูลที่ผ่านองค์กรของคุณและคุณค่าที่มี หากใครบางคนกำลังทำธุรกิจกับคุณในขณะนี้และคุณสามารถโต้ตอบกับพวกเขาได้แบบเรียลไทม์คุณไม่ต้องการที่จะรอเป็นเวลาหนึ่งชั่วโมงเพื่อที่จะสามารถเก็บข้อมูลและนำเข้าสู่ระบบอย่าง Hadoop แล้วกดปุ่มนี้ จะไม่สามารถจัดการกับมันได้ในตอนนี้และคุณต้องการที่จะทำตามความต้องการของลูกค้าทันที มีคำศัพท์หนึ่งที่คุณจะเห็นปรากฏขึ้นมากมายในตอนนี้ที่ผู้คนพูดถึงการมีสตรีมข้อมูลแบบเรียลไทม์ที่สามารถให้การปรับเปลี่ยนในแบบของคุณและการปรับแต่งในแบบของคุณในระบบที่คุณใช้ ดังนั้นเมื่อคุณกดเครื่องมือเช่นเครื่องมือ Google Search เช่นถ้าฉันทำแบบสอบถามและคุณทำแบบสอบถามเดียวกันอย่างสม่ำเสมอเราจะไม่ได้รับข้อมูลเดียวกัน เราได้สิ่งที่ฉันเรียกว่าเป็นประสบการณ์ของคนดัง ฉันได้รับการปฏิบัติแบบครั้งเดียว ฉันรับรุ่นส่วนบุคคลของตัวเองว่าเกิดอะไรขึ้นในระบบเหล่านี้โดยอิงจากโปรไฟล์และข้อมูลที่พวกเขารวบรวมกับฉันและฉันสามารถทำการวิเคราะห์แบบเรียลไทม์ในสตรีมได้
แนวคิดของข้อมูลที่เป็นสินค้าที่เน่าเสียง่ายเป็นเรื่องจริงสำหรับตอนนี้และคุณค่าของข้อมูลที่ถูกลดทอนลงเมื่อเวลาผ่านไปเป็นสิ่งที่เราต้องจัดการกับวันนี้ มันไม่ใช่เรื่องเมื่อวาน ฉันรักรูปหมีตัวนี้คว้าปลาแซลมอนกระโดดออกจากแม่น้ำเพราะมันวาดภาพที่ฉันเห็นจริงๆ มันเป็นแม่น้ำขนาดใหญ่ของข้อมูลที่มาถึงเราไฟหากคุณต้องการและหมีกำลังนั่งอยู่กลางลำห้วย มันจะทำการวิเคราะห์แบบเรียลไทม์กับสิ่งที่เกิดขึ้นรอบตัวซึ่งมันสามารถสร้างความสามารถในการจับปลาในอากาศ มันไม่ได้เป็นเพียงแค่จุ่มลงในกระแสและคว้าหนึ่ง สิ่งนี้กำลังกระโดดขึ้นไปในอากาศและต้องอยู่ในสถานที่ที่ถูกต้องในเวลาที่เหมาะสมในการจับปลา ไม่เช่นนั้นเขาจะไม่ได้รับอาหารเช้าหรืออาหารกลางวัน
องค์กรต้องการทำสิ่งเดียวกันกับข้อมูลของพวกเขา พวกเขาต้องการที่จะดึงค่าจากสิ่งที่ตอนนี้ปริมาณมากของข้อมูลในการเคลื่อนไหว พวกเขาต้องการทำการวิเคราะห์ข้อมูลและข้อมูลความเร็วสูงดังนั้นจึงไม่ใช่แค่ปริมาณข้อมูลที่มาที่เรา แต่เป็นความเร็วที่มาจากนี้ เพื่อความปลอดภัยเช่นเราเตอร์สวิตช์เซิร์ฟเวอร์ไฟร์วอลล์และกิจกรรมทั้งหมดที่มาจากสิ่งเหล่านั้นและหลายหมื่นถ้าไม่ใช่อุปกรณ์หลายแสนในบางกรณีที่เป็นข้อมูลที่เน่าเสียง่าย เมื่อเราคิดในอินเทอร์เน็ตของสิ่งต่าง ๆ และอินเทอร์เน็ตอุตสาหกรรมเรากำลังพูดถึงล้านในที่สุดถ้าไม่ใช่พันล้านของเซ็นเซอร์ในที่สุดและเป็นข้อมูลที่ผ่านมาซึ่งกำลังทำการวิเคราะห์เรากำลังมองหาการประมวลผลเหตุการณ์ที่ซับซ้อน ตามคำสั่งของขนาดและความเร็วที่เราไม่เคยเห็นมาก่อนและเราต้องจัดการกับเรื่องนี้ในวันนี้ เราต้องสร้างเครื่องมือและระบบที่เกี่ยวข้อง มันเป็นความท้าทายที่แท้จริงสำหรับองค์กรเพราะในมือข้างหนึ่งเรามีแบรนด์ใหญ่ ๆ ที่ทำ DIY ทำเองเมื่อพวกเขามีขีดความสามารถในการทำชุดทักษะและวิศวกรรม แต่สำหรับองค์กรโดยเฉลี่ยนั่นไม่ใช่กรณี พวกเขาไม่มีชุดทักษะ พวกเขาไม่มีขีดความสามารถหรือเวลาหรือแม้แต่เงินที่จะลงทุนเพื่อหามัน พวกเขาทุกคนมุ่งไปที่แนวคิดของการตัดสินใจแบบเรียลไทม์
ใช้กรณีที่ฉันเจอและพวกมันครอบคลุมทุกภาคส่วนของทุกภาคส่วนที่คุณสามารถจินตนาการได้ผู้คนกำลังลุกขึ้นยืนและให้ความสนใจและพูดว่าเราจะใช้การวิเคราะห์บางอย่างกับข้อมูลสตรีมของเราได้อย่างไร เราพูดคุยเกี่ยวกับบริการออนไลน์ระดับเว็บ มีแพลตฟอร์มโซเชียลมีเดียดั้งเดิมและ e-tailing ออนไลน์และค้าปลีก - แอพตัวอย่างเช่น พวกเขากำลังพยายามให้ประสบการณ์กับผู้มีชื่อเสียงแบบเรียลไทม์นี้กับเรา แต่เมื่อเราเข้าสู่บริการสแต็คเทคโนโลยีบริการโทรศัพท์เสียงและวิดีโอมากขึ้นฉันเห็นผู้คนกำลังเดินไปทำ FaceTime บนโทรศัพท์ มันเพิ่งจะระเบิด มันรบกวนจิตใจของฉันว่าผู้คนถือโทรศัพท์ไว้ข้างหน้าพวกเขาและพูดคุยกับสตรีมวิดีโอของเพื่อนแทนที่จะถือไว้ในหูของพวกเขาอีกต่อไป แต่พวกเขารู้ว่าพวกเขาสามารถทำได้และปรับตัวและพวกเขาชอบประสบการณ์นั้น การพัฒนาแอปพลิเคชันเหล่านี้และแพลตฟอร์มที่ส่งมอบสิ่งเหล่านี้จะต้องทำการวิเคราะห์แบบเรียลไทม์กับทราฟฟิกนั้นและบนโปรไฟล์ของทราฟฟิกเพื่อให้พวกเขาสามารถทำสิ่งต่าง ๆ อย่างง่าย ๆ เช่นการกำหนดเส้นทางวิดีโอนั้นอย่างสมบูรณ์แบบ วิดีโอที่คุณได้รับนั้นเพียงพอที่จะได้รับประสบการณ์ที่ดี คุณไม่สามารถประมวลผลเป็นชุดข้อมูลได้ มันจะไม่ทำให้การสตรีมวิดีโอแบบเรียลไทม์เป็นบริการที่ใช้งานได้
มีความท้าทายด้านการกำกับดูแลในการทำธุรกรรมทางการเงิน มันไม่เป็นไรที่จะไปถึงจุดสิ้นสุดของวันและพบว่าคุณทำผิดกฎหมายในการเคลื่อนย้ายข้อมูลส่วนตัวรอบ ๆ สถานที่ ในออสเตรเลียเรามีความท้าทายที่น่าสนใจอย่างมากที่การย้ายข้อมูลที่เกี่ยวข้องกับความเป็นส่วนตัวนอกชายฝั่งนั้นไม่น่าสนใจ คุณไม่สามารถนำ PID ของฉันข้อมูลส่วนบุคคลส่วนตัวของฉันไปต่างประเทศได้ มีกฎหมายในประเทศออสเตรเลียที่จะหยุดยั้งเรื่องดังกล่าว ผู้ให้บริการทางการเงินโดยเฉพาะอย่างยิ่งแน่นอนบริการภาครัฐและหน่วยงานพวกเขาจะต้องทำการวิเคราะห์แบบเรียลไทม์บนกระแสข้อมูลและคำแนะนำกับฉันเพื่อให้แน่ใจว่าสิ่งที่พวกเขากำลังให้ฉันไม่ได้ออกจากชายฝั่ง ทุกสิ่งต้องอยู่ในพื้นที่ พวกเขาต้องทำตามเวลาจริง พวกเขาไม่สามารถละเมิดกฎหมายและขอการอภัยได้ในภายหลัง การตรวจจับการฉ้อโกง - เป็นสิ่งที่ชัดเจนมากที่เราได้ยินเกี่ยวกับธุรกรรมบัตรเครดิต แต่เนื่องจากประเภทของธุรกรรมที่เราทำในบริการทางการเงินกำลังเปลี่ยนแปลงอย่างรวดเร็วมากมีหลายประเภทที่ PayPal ทำก่อนในการตรวจสอบการฉ้อโกงแบบเรียลไทม์ที่เงินไม่ได้ย้ายจากสิ่งหนึ่งไปอีกสิ่งหนึ่ง ธุรกรรมทางการเงินระหว่างระบบ แพลตฟอร์มการเสนอราคาแบบ Ebay การตรวจจับการฉ้อโกงจะต้องทำแบบเรียลไทม์ในสำนักงานแบบสตรีม
ขณะนี้มีแนวโน้มที่จะทำการแยกและเปลี่ยนกิจกรรมโหลดในสตรีมดังนั้นเราไม่ต้องการจับภาพสิ่งใดก็ตามที่กำลังเข้าสู่สตรีม เราไม่สามารถทำเช่นนั้นได้ ผู้คนเรียนรู้ว่าข้อมูลชอบที่จะถูกทำลายอย่างรวดเร็วถ้าเราจับทุกอย่าง เคล็ดลับในขณะนี้คือการทำการวิเคราะห์บนสตรีมเหล่านั้นและทำ ETL บนมันและเพียงแค่จับสิ่งที่คุณต้องการเมตาดาต้าที่อาจเกิดขึ้นแล้วขับเคลื่อนการวิเคราะห์เชิงพยากรณ์ที่เราสามารถบอกได้ว่าอะไรจะเกิดขึ้นต่อไป เพิ่งเห็นสตรีมตามการวิเคราะห์ที่เราดำเนินการ
ผู้ให้บริการด้านพลังงานและสาธารณูปโภคกำลังประสบกับความต้องการอย่างมากจากผู้บริโภคในการกำหนดราคาความต้องการ ฉันอาจตัดสินใจว่าฉันต้องการซื้อพลังงานสีเขียวในช่วงเวลาหนึ่งของวันเพราะฉันอยู่บ้านคนเดียวและฉันไม่ได้ใช้อุปกรณ์จำนวนมาก แต่ถ้าฉันมีงานเลี้ยงอาหารค่ำฉันอาจต้องการเปิดใช้งานอุปกรณ์ทั้งหมดของฉันและฉันไม่ต้องการซื้อพลังงานราคาถูกและรอให้จัดส่ง แต่ยินดีจ่ายค่าใช้จ่ายเพิ่มเติมเพื่อให้ได้พลังงานนั้น การกำหนดราคาความต้องการนี้โดยเฉพาะในด้านสาธารณูปโภคและพื้นที่พลังงานได้เกิดขึ้นแล้ว ตัวอย่างเช่น Uber เป็นตัวอย่างคลาสสิกของสิ่งที่คุณสามารถทำได้ทุกวันและทั้งหมดนี้ขับเคลื่อนด้วยการกำหนดราคาตามความต้องการ มีตัวอย่างคลาสสิกของผู้คนในออสเตรเลียที่ได้รับค่าโดยสาร 10,000 ดอลลาร์เนื่องจากความต้องการจำนวนมากในวันส่งท้ายปีเก่า ฉันแน่ใจว่าพวกเขาจัดการกับปัญหานั้น แต่การวิเคราะห์สตรีมกำลังดำเนินการตามเวลาจริงขณะอยู่ในรถบอกคุณว่าฉันควรจ่ายเท่าไร
Internet of Things และเซ็นเซอร์ลำธาร - เราเพิ่งขีดข่วนพื้นผิวในเรื่องนี้และเราเพิ่งจะมีการสนทนาขั้นพื้นฐานเกิดขึ้นกับสิ่งนี้ แต่เราจะเห็นการเปลี่ยนแปลงที่น่าสนใจในวิธีที่เทคโนโลยีจัดการกับสิ่งนั้นเพราะเมื่อคุณไม่ได้พูด เพียงประมาณพันหรือหมื่น แต่หลายแสนและอุปกรณ์ที่อาจพันล้านสตรีมมิ่งกับคุณเกือบจะไม่มีเทคโนโลยีใดที่เรามีอยู่ตอนนี้ได้รับการออกแบบมาเพื่อรับมือกับสิ่งนั้น
มีบางหัวข้อที่น่าสนใจจริงๆที่เราจะเห็นรอบ ๆ สถานที่เช่นความปลอดภัยและความเสี่ยงทางไซเบอร์ พวกเขาเป็นความท้าทายที่แท้จริงสำหรับเรา มีเครื่องมือที่ประณีตมาก ๆ ที่เรียกว่านอร์ ธ บนเว็บซึ่งคุณสามารถนั่งดูในเว็บเพจต่างๆในโลกไซเบอร์ที่เกิดขึ้นแบบเรียลไทม์ เมื่อคุณดูคุณคิดว่า“ โอ้มันเป็นหน้าเว็บเล็ก ๆ ที่น่ารักดี” แต่หลังจากนั้นประมาณห้านาทีคุณก็จะเห็นปริมาณของข้อมูลที่ระบบกำลังทำการวิเคราะห์บนกระแสข้อมูลที่แตกต่างกันของอุปกรณ์ต่าง ๆ ทั่วโลก ที่ถูกป้อนเข้าพวกเขา มันเริ่มที่จะกระวนกระวายใจว่าพวกเขากำลังทำอะไรอยู่ตรงขอบของบันทึกนั้นเป็นหลักและมอบหน้าจอเล็ก ๆ ที่เรียบง่ายที่จะบอกคุณว่าอะไรหรืออะไรก็ตามที่โจมตีมันแบบเรียลไทม์และการโจมตีประเภทใด แต่มันเป็นวิธีที่เรียบง่ายมาก ๆ ที่จะได้รับรสชาติที่ดีของการวิเคราะห์สตรีมที่สามารถทำให้คุณได้แบบเรียลไทม์โดยเพียงแค่ดูหน้านี้และรับความรู้สึกของปริมาณและความท้าทายในการรับสตรีม พวกเขาและแสดงให้เห็นว่าในเวลาจริง
ฉันคิดว่าบทสนทนาที่ฉันมีในช่วงเวลาที่เหลือกำลังจะพูดถึงสิ่งต่าง ๆ เหล่านั้นด้วยมุมมองที่น่าสนใจจากมุมมองของฉันและนั่นคือความท้าทายของ DIY อบด้วยตัวคุณเอง ยูนิคอร์นคลาสสิกที่สามารถสร้างสิ่งเหล่านั้นได้ พวกเขามีพันล้านดอลลาร์เพื่อสร้างทีมวิศวกรรมและสร้างศูนย์ข้อมูล แต่สำหรับ 99.9% ขององค์กรออกไปที่นั่นซึ่งต้องการเพิ่มมูลค่าในธุรกิจของพวกเขาในการวิเคราะห์สตรีมพวกเขาจำเป็นต้องได้รับบริการนอกชั้นวาง พวกเขาจำเป็นต้องซื้อผลิตภัณฑ์ออกจากกล่องและพวกเขาต้องการบริการให้คำปรึกษาและบริการระดับมืออาชีพเพื่อช่วยให้พวกเขาใช้มันและพวกเขาได้รับคุณค่ากลับมาในธุรกิจและขายกลับไปที่ธุรกิจเป็นวิธีการทำงาน
เมื่อถึงตอนนั้นฉันจะกลับมาหาคุณรีเบคก้าเพราะฉันเชื่อว่านี่คือสิ่งที่เราจะพูดถึงในรายละเอียด
รีเบคก้า Jozwiak: ยอดเยี่ยม ขอบคุณมาก Dez นั่นเป็นการนำเสนอที่ยอดเยี่ยม
ตอนนี้ฉันจะส่งบอลให้โรบิน เอามันออกไป.
Robin Bloor: ถูก เนื่องจาก Dez เข้าสู่การประมวลผลแบบสตรีมจำนวนมากมันจึงไม่เหมาะสมที่ฉันจะครอบคลุมอีกครั้ง ดังนั้นฉันจะใช้มุมมองเชิงกลยุทธ์อย่างสมบูรณ์มองจากระดับที่สูงมากลงไปในสิ่งที่เกิดขึ้นและวางมันลงเพราะฉันคิดว่ามันอาจช่วยให้คนโดยเฉพาะอย่างยิ่งพวกเราคนที่ไม่ได้ตั้งค่ายในลำธารโพรเซสซิงลึกมากก่อน
การประมวลผลสตรีมได้รับรอบเป็นเวลานาน เราเคยเรียกมันว่า CEP มีระบบเรียลไทม์ก่อนหน้านั้น ระบบควบคุมกระบวนการเดิมนั้นจริง ๆ แล้วประมวลผลกระแสข้อมูล - แน่นอนว่าไม่มีสิ่งใดเกิดขึ้นจนถึงทุกวันนี้ กราฟิกนี้ที่คุณเห็นบนสไลด์ที่นี่ มันชี้ให้เห็นหลายสิ่งหลายอย่างจริง ๆ แต่มันชี้ให้เห็นข้างต้นและเหนือสิ่งอื่นใด - ความจริงที่ว่ามีสเปกตรัมเวลาแฝงที่ปรากฏในสีที่ต่างกันที่นี่ สิ่งที่เกิดขึ้นจริงตั้งแต่การคิดค้นการคำนวณหรือการคำนวณเชิงพาณิชย์ที่มาถึงราว ๆ ปี 1960 ก็คือทุกสิ่งได้เร็วขึ้นและเร็วขึ้น เราเคยสามารถพึ่งพาวิธีที่สิ่งนี้ออกมาจริง ๆ ถ้าคุณชอบในคลื่นเพราะนั่นคือสิ่งที่ดูเหมือน สิ่งนี้ขึ้นอยู่กับมัน เพราะมันถูกขับเคลื่อนโดยกฎหมายของมัวเรสและกฎหมายของมัวเรสจะทำให้เรามีความเร็วประมาณสิบเท่าในช่วงเวลาประมาณหกปี จากนั้นเมื่อเรามาถึงปี 2013 ทุกอย่างพังทลายและเราก็เริ่มเร่งในอัตราที่เราไม่เคยมีมาก่อนซึ่งเป็นสิ่งที่ไม่เคยเกิดขึ้นมาก่อน เราได้รับปัจจัยประมาณสิบในแง่ของการเพิ่มความเร็วและลดเวลาแฝงลงในทุกๆหกปี ในหกปีนับตั้งแต่ปี 2010 เราได้รับอย่างน้อยหนึ่งพัน สามลำดับความสำคัญมากกว่าหนึ่งคำสั่ง
นั่นคือสิ่งที่เกิดขึ้นและนั่นเป็นสาเหตุที่อุตสาหกรรมไม่ทางใดก็ทางหนึ่งดูเหมือนว่าจะเคลื่อนไหวด้วยความเร็วที่น่าอัศจรรย์เพราะเป็นเช่นนั้น เพียงแค่ผ่านความหมายของภาพกราฟิกนี้เวลาตอบสนองนั้นแท้จริงแล้วจะอยู่ในระดับอัลกอริทึมตามแนวแกน เวลาจริงคือความเร็วคอมพิวเตอร์เร็วกว่ามนุษย์ เวลาโต้ตอบเป็นสีส้ม เมื่อคุณโต้ตอบกับคอมพิวเตอร์ที่คุณต้องการให้เวลาประมาณหนึ่งในสิบในการตอบสนองต่อวินาที ด้านบนมีธุรกรรมที่เราคิดเกี่ยวกับสิ่งที่คุณทำในคอมพิวเตอร์ แต่ถ้ามันออกไปในเวลาประมาณสิบห้าวินาทีมันจะทนไม่ไหว ผู้คนจะไม่รอคอมพิวเตอร์ ทุกอย่างทำในชุด มีหลายสิ่งที่ทำในแบทช์ตอนนี้ลงมาสู่พื้นที่การทำธุรกรรมลงในพื้นที่การโต้ตอบหรือแม้กระทั่งในพื้นที่เรียลไทม์ ในขณะที่ก่อนหน้านี้คลื่นที่มีข้อมูลจำนวนน้อยมากที่เราสามารถทำสิ่งนี้ได้ตอนนี้เราสามารถทำกับข้อมูลจำนวนมากโดยใช้สภาพแวดล้อมที่ปรับขนาดอย่างมหาศาล
ดังนั้นโดยพื้นฐานแล้วสิ่งเหล่านี้กำลังบอกว่าเป็นธุรกรรมและเวลาโต้ตอบของมนุษย์ สิ่งที่น่าทำมากมายกับลำธารในตอนนี้คือการแจ้งให้มนุษยชาติทราบถึงสิ่งต่าง ๆ บางส่วนกำลังจะเร็วกว่านั้นและแจ้งให้ทราบเป็นอย่างดีดังนั้นจึงเป็นเวลาจริง จากนั้นเราใช้ใบอนุญาตเพียงวางเหมือนหินทำให้การวิเคราะห์ทันทีเป็นไปได้และราคาไม่แพงโดยบังเอิญ ไม่ใช่เพียงความเร็วลดลงและด้านบนก็ทรุดตัวลงเช่นกัน อาจเป็นผลกระทบที่ยิ่งใหญ่ที่สุดในบรรดาสิ่งเหล่านี้ในแอพพลิเคชั่นต่าง ๆ ทั้งหมดคุณสามารถทำการวิเคราะห์เชิงทำนายเหล่านี้ได้ทั้งหมด ฉันจะบอกคุณว่าทำไมในอีกสักครู่
นี่เป็นเพียงที่เก็บฮาร์ดแวร์ คุณมีซอฟต์แวร์แบบขนาน เรากำลังพูดถึงในปี 2004 สถาปัตยกรรมการขยายขนาดชิปมัลติคอร์การเพิ่มหน่วยความจำ CPU ที่กำหนดค่าได้ SSD ตอนนี้ไปเร็วกว่าการหมุนดิสก์ คุณสามารถลาดิสก์หมุนคลื่นสวยได้ SSD นั้นมีหลายคอร์เช่นกันดังนั้นจึงเร็วขึ้นและเร็วขึ้น อีกไม่นานที่จะปรากฏเราได้รับเครื่องบันทึกภาพจาก HP เราได้รับ 3D XPoint จาก Intel และ Micron คำมั่นสัญญาของสิ่งเหล่านั้นคือมันจะทำให้ทุกอย่างเร็วขึ้นและเร็วขึ้นอยู่ดี เมื่อคุณนึกถึงเทคโนโลยีหน่วยความจำใหม่สองเทคโนโลยีซึ่งทั้งสองอย่างนี้จะทำให้ชิ้นส่วนพื้นฐานทั้งหมดเป็นไปได้เร็วขึ้นเราไม่เคยเห็นจุดจบของมันมาก่อน
เทคโนโลยีสตรีมซึ่งเป็นเทคโนโลยีต่อไปจริงๆอยู่ที่นี่แล้ว จะต้องมีสถาปัตยกรรมใหม่ ฉันหมายถึง Dez ได้กล่าวถึงเรื่องนี้ในหลาย ๆ จุดในการนำเสนอของเขา เป็นเวลาหลายทศวรรษที่เรามองว่าสถาปัตยกรรมเป็นการรวมกันของฮีปข้อมูลและไพพ์ข้อมูล เรามีแนวโน้มที่จะประมวลผลฮีปและเรามักจะไพพ์ข้อมูลระหว่างฮีป ตอนนี้เรากำลังย้ายพื้นฐานไปสู่สิ่งที่เราเรียกว่าสถาปัตยกรรมข้อมูลแลมบ์ดาที่รวมการประมวลผลของการไหลของข้อมูลเข้ากับกองข้อมูล เมื่อคุณกำลังประมวลผลสตรีมของเหตุการณ์ที่เข้ามาเทียบกับข้อมูลในอดีตเช่นการไหลของข้อมูลหรือกองข้อมูลนั่นคือสิ่งที่ฉันหมายถึงโดยสถาปัตยกรรมแลมบ์ดา นี่คือในวัยเด็ก เป็นเพียงส่วนหนึ่งของภาพ หากคุณพิจารณาบางสิ่งที่ซับซ้อนเช่นเดียวกับ Internet of Everything ซึ่ง Dez ได้กล่าวถึงคุณจะรู้ว่ามีปัญหาเกี่ยวกับตำแหน่งข้อมูลทุกประเภท - ตัดสินใจว่าควรประมวลผลอะไรในสตรีม
สิ่งที่ฉันพูดที่นี่จริง ๆ คือเมื่อเราประมวลผลเป็นชุดเรากำลังประมวลผลสตรีม เราไม่สามารถทำได้ทีละครั้ง เรารอจนกว่าจะมีสิ่งของจำนวนมากแล้วเราดำเนินการทั้งหมดในครั้งเดียว เรากำลังเข้าสู่สถานการณ์ที่เราสามารถประมวลผลข้อมูลในสตรีมได้ หากเราสามารถประมวลผลข้อมูลในสตรีมได้ดังนั้นข้อมูลที่เราเก็บไว้จะเป็นข้อมูลคงที่ซึ่งเราจำเป็นต้องอ้างอิงเพื่อประมวลผลข้อมูลในสตรีม
สิ่งนี้นำเราไปสู่สิ่งนี้ ฉันเคยพูดถึงเรื่องนี้มาก่อนในการนำเสนอด้วยการเปรียบเทียบทางชีววิทยา วิธีที่ฉันชอบให้คุณคิดคือตอนนี้เราเป็นมนุษย์ เรามีเครือข่ายที่แตกต่างกันสามเครือข่ายสำหรับการประมวลผลล่วงหน้าตามเวลาจริง พวกเขาเรียกว่าโซมาติกระบบอัตโนมัติและลำไส้ ลำไส้คือกระเพาะอาหารของคุณ ระบบประสาทอัตโนมัติดูแลการต่อสู้และเที่ยวบิน จริงๆแล้วมันจะดูแลปฏิกิริยาต่อสิ่งแวดล้อมอย่างรวดเร็ว โซมาติกซึ่งดูแลการเคลื่อนไหวของร่างกาย เหล่านี้เป็นระบบเรียลไทม์ สิ่งที่น่าสนใจเกี่ยวกับเรื่องนี้ - หรือฉันคิดว่ามันน่าสนใจ - เป็นเรื่องที่ทำนายได้มากกว่าที่คุณคิด ราวกับว่าคุณกำลังดูหน้าจอประมาณ 18 นิ้วจากใบหน้าของคุณ สิ่งที่คุณสามารถมองเห็นได้อย่างชัดเจนทั้งหมดที่ร่างกายของคุณสามารถมองเห็นได้อย่างชัดเจนคือความจริงเกี่ยวกับสี่เหลี่ยม 8 × 10 ทุกอย่างภายนอกนั้นเบลอจริง ๆ เท่าที่ร่างกายของคุณเป็นห่วง แต่ใจของคุณกำลังเติมช่องว่างและทำให้มันไม่พร่ามัว คุณไม่เห็นภาพเบลอเลย คุณเห็นมันชัดเจน ใจของคุณกำลังทำวิธีทำนายกระแสข้อมูลเพื่อให้คุณเห็นความชัดเจนนั้น นั่นเป็นสิ่งที่อยากรู้อยากเห็น แต่คุณสามารถดูวิธีการทำงานของระบบประสาทและวิธีที่เราจัดการเพื่อหลีกเลี่ยงและประพฤติอย่างมีเหตุผล - อย่างน้อยพวกเราบางคน - มีเหตุผลอย่างมีสติและไม่ชนกับสิ่งต่าง ๆ ตลอดเวลา
มันทำโดยชุดการวิเคราะห์เชิงเส้นประสาทที่อยู่ข้างใน สิ่งที่จะเกิดขึ้นคือองค์กรจะมีสิ่งเดียวกันและกำลังจะสร้างสิ่งเดียวกันและมันจะเป็นการประมวลผลของกระแสรวมถึงกระแสภายในขององค์กร - สิ่งที่เกิดขึ้นภายใน สิ่งที่เกิดขึ้นข้างนอกการตอบสนองทันทีที่ต้องทำจริง ๆ แน่นอนว่าเป็นการให้อาหารแก่มนุษย์ในการตัดสินใจเพื่อทำให้สิ่งเหล่านี้เกิดขึ้น นั่นคือสิ่งที่เรากำลังไปเท่าที่ฉันเห็น
หนึ่งในสิ่งที่เป็นผลมาจากการที่ระดับของแอพพลิเคชั่นสตรีมมิ่งนั้นทำได้ดี จะมีอะไรมากมายที่น่ากลัวยิ่งกว่าที่เราเห็นในตอนนี้ ตอนนี้เรากำลังเลือกผลไม้แขวนลอยต่ำในการทำสิ่งที่ชัดเจน
ดังนั้นนี่คือข้อสรุปที่นี่ การวิเคราะห์สตรีมมิ่งเป็นเพียงช่องทางหนึ่ง แต่กำลังกลายเป็นกระแสหลักและจะนำมาใช้โดยทั่วไปในไม่ช้า
จากนั้นฉันจะส่งมันกลับไปที่รีเบคก้า
รีเบคก้า Jozwiak: ขอบคุณมากโรบิน การนำเสนอที่ยอดเยี่ยมตามปกติ
แล้วคุณจะขึ้นต่อไป พื้นเป็นของคุณ
อานันท์ Venugopal: น่าอัศจรรย์ ขอขอบคุณ.
ชื่อของฉันคือ Anand Venugopal และฉันเป็นหัวหน้าฝ่ายผลิตภัณฑ์สำหรับ StreamAnalytix เป็นผลิตภัณฑ์ที่นำเสนอโดย Impetus Technologies นอก Los Gatos, California
Impetus มีประวัติอันยาวนานในการเป็นผู้ให้บริการโซลูชั่นข้อมูลขนาดใหญ่สำหรับองค์กรขนาดใหญ่ ดังนั้นเราจึงทำการใช้งานการวิเคราะห์แบบสตรีมมิ่งเป็น บริษัท ให้บริการจำนวนมากและเราได้เรียนรู้บทเรียนมากมาย นอกจากนี้เรายังเปลี่ยนไปสู่การเป็น บริษัท ผลิตภัณฑ์และ บริษัท ที่ขับเคลื่อนด้วยโซลูชั่นในช่วงสองสามปีที่ผ่านมาและการวิเคราะห์กระแสกำลังมุ่งหน้าไปสู่การเปลี่ยน Impetus เป็น บริษัท ที่ขับเคลื่อนด้วยผลิตภัณฑ์เป็นส่วนใหญ่ มีสินทรัพย์ที่สำคัญและสำคัญมากซึ่ง Impetus ถูกล้างออกจากการสัมผัสกับองค์กรของเราและ StreamAnalytix เป็นหนึ่งในนั้น
เราอยู่ในธุรกิจมา 20 ปีและมีการผสมผสานที่ยอดเยี่ยมของผลิตภัณฑ์และบริการที่ทำให้เราได้เปรียบอย่างมาก และ StreamAnalytix เกิดจากบทเรียนทั้งหมดที่ได้เรียนรู้จากการใช้งานสตรีมแบบห้าหรือหกครั้งแรกของเรา
ฉันจะสัมผัสบางสิ่ง แต่นักวิเคราะห์ Dez และ Robin ได้ทำงานที่ยอดเยี่ยมที่ครอบคลุมพื้นที่โดยรวมดังนั้นฉันจะข้ามเนื้อหาจำนวนมากที่ทับซ้อนกัน ฉันอาจจะไปเร็ว เราเห็นนอกเหนือจากกรณีสตรีมมิงแท้โดยใช้การเร่งความเร็วแบบกลุ่มจำนวนมากซึ่งมีกระบวนการแบตช์ที่สำคัญมากในองค์กร อย่างที่คุณเห็นวงจรทั้งหมดของการรับรู้เหตุการณ์และการวิเคราะห์และการดำเนินการอาจต้องใช้เวลาหลายสัปดาห์ในองค์กรขนาดใหญ่และพวกเขาทั้งหมดพยายามลดขนาดให้เหลือไม่กี่นาทีและบางวินาทีและเสี้ยววินาที ดังนั้นอะไรก็ตามที่เร็วกว่ากระบวนการแบทช์เหล่านี้คือตัวเลือกสำหรับการซื้อธุรกิจและนั่นทำให้มูลค่าของข้อมูลลดลงอย่างมากตามอายุของมันดังนั้นมูลค่าที่เพิ่มขึ้นในส่วนเริ่มต้นในไม่กี่วินาทีที่มันเพิ่งเกิดขึ้น เป็นการดีถ้าคุณสามารถคาดการณ์สิ่งที่จะเกิดขึ้นนั่นคือค่าสูงสุดนั่นขึ้นอยู่กับความถูกต้องแม้ว่า ค่าสูงสุดต่อไปคือเมื่อมีอยู่เมื่อเกิดขึ้นคุณสามารถวิเคราะห์และตอบสนอง แน่นอนว่าค่าจะลดลงอย่างมากหลังจากนั้น BI ที่มีข้อ จำกัด หลักที่เราเป็น
มันน่าสนใจ คุณอาจคาดหวังคำตอบทางวิทยาศาสตร์อย่างมากว่าทำไมสตรีมมิ่งการวิเคราะห์ มีหลายกรณีสิ่งที่เราเห็นคือเป็นเพราะตอนนี้เป็นไปได้และเนื่องจากทุกคนรู้ว่าชุดเก่าแล้วชุดน่าเบื่อและชุดไม่เย็น มีการศึกษามากพอที่ทุกคนมีในขณะนี้เนื่องจากมีความเป็นไปได้ที่สตรีมมิ่งและทุกคนมี Hadoop ในขณะนี้ ตอนนี้การกระจายของ Hadoop มีเทคโนโลยีการสตรีมที่ฝังอยู่ในนั้นไม่ว่าจะเป็นสตอร์มหรือสตอร์ม Spark และการเข้าคิวแน่นอนเช่นคาฟคา ฯลฯ
องค์กรที่เราเห็นกำลังกระโดดเข้ามาและเริ่มทดลองกับกรณีเหล่านี้และเราเห็นหมวดหมู่กว้าง ๆ สองประเภท มีสิ่งหนึ่งที่จะทำอย่างไรกับการวิเคราะห์ลูกค้าและประสบการณ์ของลูกค้าและการปฏิบัติงานที่สอง ฉันจะดูรายละเอียดบางอย่างในภายหลัง มุมมองการบริการลูกค้าและประสบการณ์ลูกค้าทั้งหมดและเราที่ Impetus StreamAnalytix ได้ทำสิ่งนี้ในหลาย ๆ รูปแบบคือทั้งหมดที่เกี่ยวกับการจับภาพการมีส่วนร่วมแบบหลายช่องทางของผู้บริโภคในแบบเรียลไทม์และมอบประสบการณ์ที่อ่อนไหว ซึ่งไม่ธรรมดาวันนี้ หากคุณกำลังท่องเว็บบนเว็บไซต์ของ Bank of America และคุณกำลังค้นคว้าผลิตภัณฑ์บางอย่างและคุณเพียงโทรไปที่ศูนย์บริการ พวกเขาจะพูดว่า“ เฮ้โจฉันรู้ว่าคุณกำลังค้นคว้าผลิตภัณฑ์ธนาคารคุณอยากให้ฉันเติมคุณใช่ไหม” คุณไม่คาดหวังว่าวันนี้ แต่เป็นประสบการณ์ที่เป็นไปได้อย่างแท้จริงกับการวิเคราะห์สตรีมมิ่ง ในหลายกรณีมันสร้างความแตกต่างอย่างมากโดยเฉพาะอย่างยิ่งหากลูกค้าเริ่มค้นคว้าหาวิธีที่จะเลิกสัญญากับคุณโดยดูที่คำสั่งเลิกจ้างก่อนกำหนดหรือข้อกำหนดและเงื่อนไขการยกเลิกก่อนกำหนดในเว็บไซต์ของคุณแล้วโทรเข้าและคุณจะไม่ เผชิญหน้ากับพวกเขาโดยตรง แต่เพียงทำข้อเสนอทางอ้อมเกี่ยวกับโปรโมชันแรก ๆ เพราะระบบรู้ว่าบุคคลนี้กำลังมองหาการยุติก่อนกำหนดและคุณทำข้อเสนอนั้น ณ จุดนั้นคุณสามารถปกป้องลูกค้าที่ปั่นป่วนและปกป้องทรัพย์สินนั้นได้เป็นอย่างดี .
นั่นจะเป็นตัวอย่างหนึ่งบวกบริการลูกค้าจำนวนมากล้วนเป็นตัวอย่างที่ดีมาก เรากำลังดำเนินการในวันนี้เพื่อลดค่าใช้จ่ายในศูนย์บริการรวมทั้งมอบประสบการณ์ที่น่าประทับใจแก่ลูกค้า Dez ทำได้ดีมากในการสรุปกรณีการใช้งานบางอย่าง คุณสามารถจ้องที่แผนภูมินี้ได้สองสามนาที ฉันจัดว่าเป็นแนวตั้งแนวนอนและพื้นที่คอมโบ, IoT, แอพมือถือและคอลเซ็นเตอร์ พวกเขาเป็นแนวดิ่งและแนวนอนทั้งหมด ขึ้นอยู่กับว่าคุณจะมองอย่างไร บรรทัดล่างเราเห็นการใช้แนวนอนที่ค่อนข้างพบได้ทั่วไปในอุตสาหกรรมและมีกรณีการใช้งานในแนวดิ่งเช่นบริการทางการเงินการดูแลสุขภาพโทรคมนาคมการผลิต ฯลฯ หากคุณถามคำถามหรือบอกตัวเอง นั่น“ โอ้ฉันไม่รู้ว่ามีกรณีใช้อะไรบ้าง ฉันไม่แน่ใจว่ามีมูลค่าทางธุรกิจใด ๆ ในการวิเคราะห์สตรีมมิ่งสำหรับ บริษัท ของฉันหรือเพื่อองค์กรของเรา” คิดอย่างหนักลองคิดดูสองครั้ง พูดคุยกับผู้คนมากขึ้นเนื่องจากมีกรณีการใช้งานที่เกี่ยวข้องกับ บริษัท ของคุณในวันนี้ ฉันจะได้รับมูลค่าทางธุรกิจว่าได้รับมูลค่าทางธุรกิจอย่างแท้จริงเพียงใด
ที่ด้านล่างของปิรามิดที่นี่คุณมีการบำรุงรักษาแบบคาดการณ์ล่วงหน้าความปลอดภัยการป้องกันแบบปั่นป่วน ฯลฯ กรณีการใช้งานเหล่านั้นเป็นการป้องกันรายได้และสินทรัพย์ หาก Target ป้องกันการละเมิดความปลอดภัยที่เกิดขึ้นในช่วงหลายชั่วโมงและหลายสัปดาห์ CIO จะสามารถช่วยงานของเขาไว้ได้ มันสามารถประหยัดได้หลายสิบหรือหลายร้อยล้านดอลลาร์เป็นต้นการวิเคราะห์การสตรีมแบบเรียลไทม์ช่วยในการปกป้องสินทรัพย์เหล่านั้นและปกป้องการสูญเสีย นั่นคือการเพิ่มมูลค่าทางธุรกิจโดยตรงที่นั่น
หมวดถัดไปกำลังทำกำไรได้มากขึ้นลดค่าใช้จ่ายของคุณและรับรายได้มากขึ้นจากการดำเนินงานปัจจุบัน นั่นคือประสิทธิภาพขององค์กรปัจจุบัน นี่คือกรณีการใช้งานทุกประเภทที่เราเรียกว่าหน่วยสืบราชการลับแบบเรียลไทม์ซึ่งคุณจะได้รับข้อมูลเชิงลึกเกี่ยวกับวิธีการทำงานของเครือข่ายวิธีการปฏิบัติงานของลูกค้าของคุณพฤติกรรมของกระบวนการทางธุรกิจของคุณและคุณสามารถปรับแต่ง ทั้งหมดนี้ในแบบเรียลไทม์เพราะคุณได้รับข้อเสนอแนะคุณจะได้รับการแจ้งเตือน คุณจะได้รับความเบี่ยงเบนความแปรปรวนแบบเรียลไทม์และคุณสามารถดำเนินการและแยกกระบวนการที่กำลังออกนอกขอบเขตได้อย่างรวดเร็ว
คุณสามารถประหยัดเงินเป็นจำนวนมากในการอัพเกรดทุนที่มีราคาแพงและสิ่งที่คุณคิดว่าจำเป็นซึ่งอาจไม่จำเป็นถ้าคุณปรับบริการเครือข่ายให้เหมาะสม เราได้ยินกรณีที่ผู้ให้บริการโทรศัพท์รายใหญ่เลื่อนการอัพเกรดโครงสร้างพื้นฐานเครือข่ายมูลค่า $ 40 ล้านเนื่องจากพวกเขาพบว่าพวกเขามีความสามารถเพียงพอในการจัดการทราฟฟิกในปัจจุบันซึ่งโดยการปรับให้เหมาะสมและดีกว่า สิ่งเหล่านี้เป็นไปได้เฉพาะกับการวิเคราะห์แบบเรียลไทม์และกลไกการดำเนินการบางอย่างที่ทำหน้าที่ข้อมูลเชิงลึกเหล่านั้นตามเวลาจริง
การเพิ่มมูลค่าในระดับต่อไปคือการขายเพิ่มข้ามขายซึ่งมีโอกาสที่จะสร้างรายได้และผลกำไรมากขึ้นจากข้อเสนอปัจจุบัน นี่คือตัวอย่างคลาสสิกที่พวกเราหลายคนรู้เกี่ยวกับประสบการณ์ที่คุณคิดในชีวิตที่คุณยินดีที่จะซื้อผลิตภัณฑ์จริง ๆ วันนี้ที่ไม่ได้เสนอให้คุณ ในหลายกรณีหลายอย่างที่เกิดขึ้นจริง คุณมีสิ่งต่าง ๆ ในใจที่คุณต้องการซื้อที่คุณรู้ว่าคุณต้องการซื้อว่าคุณมีรายการสิ่งที่ต้องทำหรือสิ่งที่ภรรยาของคุณบอกคุณหรือถ้าคุณไม่มีภรรยา แต่คุณต้องการซื้อจริงๆ และคุณจะไปช็อปปิ้งบนเว็บไซต์หรือคุณมีปฏิสัมพันธ์ในร้านค้าปลีกหน้าร้านก็ไม่มีคอนเนอร์ไม่มีสติปัญญาในการคำนวณสิ่งที่คุณต้องการ ดังนั้นพวกเขาจะไม่ได้รับธุรกิจที่ปลอดภัย หากการวิเคราะห์การสตรีมสามารถนำไปใช้เพื่อการคาดการณ์ที่แม่นยำและเป็นไปได้จริง ๆ ว่าอะไรจะเหมาะกับข้อโต้แย้งนี้ลูกค้าในเวลานี้ ณ สถานที่นี้มีการขายและขายข้ามจำนวนมากและนั่นมาจากอีกครั้ง การวิเคราะห์สตรีมมิ่ง - ความสามารถในการตัดสินใจในสิ่งที่ลูกค้ารายนี้มีแนวโน้มที่จะซื้อหรือตอบสนองในช่วงเวลาของความจริงเมื่อมีโอกาส นั่นเป็นเหตุผลที่ฉันรักรูปที่ Dez แสดงกับหมีที่กำลังจะกินปลานั้น มันสวยมาก
นอกจากนี้เรายังคิดว่ามีประเภทใหญ่ที่มีการเปลี่ยนแปลงอย่างมากในการเปลี่ยนแปลงขององค์กรที่นำเสนอผลิตภัณฑ์และบริการใหม่ที่สมบูรณ์แบบเพียงแค่การสังเกตพฤติกรรมของลูกค้าทั้งหมดขึ้นอยู่กับการสังเกตพฤติกรรมขององค์กรอื่น ถ้าสมมุติว่า telco หรือ บริษัท เคเบิลสังเกตรูปแบบการใช้งานของลูกค้าในส่วนของตลาดที่เขากำลังดูรายการใดเวลาใดพวกเขาจริง ๆ แล้วจบลงด้วยการสร้างผลิตภัณฑ์และบริการที่เกือบจะถูกขอร้อง ในบางวิธี ดังนั้นแนวคิดทั้งหมดเกี่ยวกับพฤติกรรมหลายหน้าจอในตอนนี้ที่ซึ่งเราเกือบจะเข้าใจแล้วว่าเราสามารถเห็นเนื้อหาของทีวีหรือเคเบิลในแอพมือถือของเรา ตัวอย่างเหล่านี้มาจากผลิตภัณฑ์และบริการใหม่ ๆ ที่เสนอให้กับเรา
ฉันจะเข้าสู่ "การพิจารณาการวิเคราะห์สตรีมมิ่งสถาปัตยกรรมคืออะไร" ในที่สุดสิ่งที่เรากำลังพยายามทำอยู่ นี่คือสถาปัตยกรรมแลมบ์ดาที่คุณผสมผสานข้อมูลในอดีตและข้อมูลเชิงลึกแบบเรียลไทม์แล้วดูในเวลาเดียวกัน นั่นคือสิ่งที่ซิกมาเปิดใช้งาน เราทุกคนมีสถาปัตยกรรมชุดและรูปภาพองค์กรวันนี้ เรากำลังรวบรวม BI สแต็คและการใช้ประโยชน์บางประเภทและเพิ่มสถาปัตยกรรมของแลมบ์ดา ในฐานะที่เป็นเลเยอร์ความเร็วหรือความต้องการและแลมบ์ดาเป็นเรื่องเกี่ยวกับการรวมข้อมูลเชิงลึกทั้งสองนั้นเข้าด้วยกันและเห็นว่าในลักษณะที่รวมกันในรูปแบบที่สมบูรณ์ซึ่งรวมข้อมูลเชิงลึกทั้งสอง
มีอีกกระบวนทัศน์หนึ่งที่เรียกว่าสถาปัตยกรรมคัปปาที่กำลังเสนอการคาดเดาว่าเลเยอร์ความเร็วเป็นกลไกการป้อนข้อมูลเพียงอย่างเดียวที่จะคงอยู่ในระยะยาว ทุกอย่างจะผ่านชั้นความเร็วนี้ ไม่มีแม้แต่จะเป็นกลไก ETL ออฟไลน์ ETL ทั้งหมดจะเกิดขึ้น ทำความสะอาด, การล้างข้อมูล, ETL ที่มีคุณภาพ - ทั้งหมดนี้จะเกิดขึ้นในสายเพราะจำไว้ว่าข้อมูลทั้งหมดเกิดขึ้นตามเวลาจริง ในบางจุดมันเป็นเวลาจริง เราคุ้นเคยกับการวางสิ่งนี้ในทะเลสาบแม่น้ำและมหาสมุทรจากนั้นทำการวิเคราะห์แบบคงที่ซึ่งเราลืมว่าข้อมูลนั้นเกิดมา ณ เวลาจริงข้อมูลทั้งหมดเกิดขึ้นจริงเป็นเหตุการณ์แบบเรียลไทม์ที่เกิดขึ้นในช่วงเวลาและข้อมูลส่วนใหญ่ในวันนี้บนทะเลสาบเพิ่งวางบนฐานข้อมูลสำหรับการวิเคราะห์ในภายหลังและตอนนี้เรามีข้อได้เปรียบในสถาปัตยกรรมแลมบ์ดาและคัปปา เห็นมันวิเคราะห์มันประมวลผลล่วงหน้าและทำปฏิกิริยากับมันเมื่อมันมาถึง นั่นคือสิ่งที่เปิดใช้งานโดยเทคโนโลยีเหล่านี้ เมื่อคุณดูเป็นภาพรวมดูเหมือนว่าที่นี่มี Hadoop อยู่ข้างในมี MPP และคลังข้อมูลที่คุณมีอยู่แล้ว
เรานำสิ่งนี้มาใช้เพราะเป็นสิ่งสำคัญที่ไม่เพียง แต่พูดถึงเทคโนโลยีใหม่ในเกาะ พวกเขาต้องรวม พวกเขาจะต้องมีเหตุผลในการต่อต้านองค์กรในปัจจุบันและในฐานะผู้ให้บริการโซลูชันที่ให้บริการองค์กรเรามีความอ่อนไหวต่อเรื่องนี้มาก เราช่วยให้องค์กรต่างๆรวมการทำงานทั้งหมดเข้าด้วยกัน มีแหล่งข้อมูลทางด้านซ้ายที่ป้อนเข้าสู่ทั้งชั้น Hadoop และคลังข้อมูลรวมถึงชั้นแบบเรียลไทม์ที่ด้านบนและแต่ละหน่วยงานเหล่านั้นเป็นคอมพิวเตอร์ที่เก็บสต็อกตามที่คุณเห็นและชั้นการใช้ข้อมูลอยู่ทางขวา ด้าน มีความพยายามอย่างต่อเนื่องที่จะย้ายส่วนใหญ่ของการปฏิบัติตามการกำกับดูแลความปลอดภัยการจัดการวงจรชีวิตและอื่น ๆ ที่มีอยู่ในวันนี้ทั้งหมดได้ถูกรวบรวมไว้ในเทคโนโลยีใหม่นี้
หนึ่งในสิ่งที่กระแสการวิเคราะห์พยายามที่จะทำถ้าคุณดูภูมิทัศน์วันนี้มีหลายสิ่งที่เกิดขึ้นในแนวนอนเทคโนโลยีการสตรีมและจากมุมมองของลูกค้าองค์กรมีมากมายที่จะเข้าใจ มีอะไรมากมายให้ติดตาม มีกลไกการรวบรวมข้อมูลทางด้านซ้าย - NiFi, Logstash, Flume, Sqoop เห็นได้ชัดว่าฉันมีข้อจำกัดความรับผิดชอบกล่าวว่ามันไม่ครบถ้วนสมบูรณ์ เข้ามาในคิวแล้วเข้ามาในเครื่องมือสตรีมมิ่งโอเพ่นซอร์ส - สตอร์ม, สตีมสตรีม, Samza, Flink, Apex, Heron นกกระสาอาจยังไม่ได้เป็นโอเพ่นซอร์ส ฉันไม่แน่ใจว่ามาจากไหน จากนั้นเอ็นจิ้นสตรีมมิ่งเหล่านั้นจะนำไปสู่หรือสนับสนุนส่วนประกอบแอปพลิเคชันการวิเคราะห์การตั้งค่าเช่นการประมวลผลเหตุการณ์ที่ซับซ้อนการเรียนรู้ของเครื่องการวิเคราะห์เชิงทำนายโมดูลการแจ้งเตือนสตรีมมิ่ง ETL ตัวกรองการดำเนินการทางสถิติ นั่นคือทั้งหมดที่เราเรียกตอนนี้ว่าโอเปอเรเตอร์ ชุดของตัวดำเนินการเหล่านั้นเมื่อรวมเข้าด้วยกันอาจเป็นไปได้ที่จะกำหนดเองได้ส่วนใหญ่หากจำเป็นกลายเป็นแอพพลิเคชั่นสตรีมมิ่งที่รันบนเอนจิ้นสตรีมมิ่ง
ในฐานะที่เป็นส่วนหนึ่งขององค์ประกอบโซ่นั้นคุณต้องจัดเก็บและจัดทำดัชนีข้อมูลลงในฐานข้อมูลที่คุณชื่นชอบซึ่งเป็นดัชนีที่คุณชื่นชอบ คุณอาจต้องกระจายแคชและอีกครั้งที่นำไปสู่เลเยอร์การสร้างภาพข้อมูลทางด้านขวาบนส่วนบนของผลิตภัณฑ์เชิงพาณิชย์หรือผลิตภัณฑ์โอเพ่นซอร์ส แต่ท้ายที่สุดคุณต้องมีผลิตภัณฑ์บางอย่างเพื่อแสดงข้อมูลในเวลาจริง นอกจากนี้บางครั้งคุณต้องคิดแอปพลิเคชันอื่น เราทุกคนเห็นแล้วว่าคุณค่าที่ได้มาจากการกระทำที่คุณเข้าใจอย่างลึกซึ้งการกระทำนั้นจะเป็นตัวกระตุ้นจากสแต็กการวิเคราะห์ไปสู่แอปพลิเคชั่นสแต็กอื่นที่อาจเปลี่ยนไป โทรออกหรืออะไรทำนองนั้น เราจำเป็นต้องรวมระบบเหล่านั้นเข้าด้วยกันและกลไกบางอย่างสำหรับคลัสเตอร์การสตรีมของคุณเพื่อทริกเกอร์แอปพลิเคชันอื่น ๆ ของการรับส่งข้อมูล
นั่นคือสแต็คโดยรวมจากการไปจากซ้ายไปขวา จากนั้นคุณมีชั้นบริการการตรวจสอบระดับกลางชั้นบริการทั่วไปด้านความปลอดภัย ฯลฯ มาหาผลิตภัณฑ์ที่มีอยู่ในพื้นที่องค์กรที่ลูกค้ามองเห็นเหมือนการแจกแจงของ Hadoop ที่ทุกคนมีการสตรีมมิ่งอย่างที่ฉันพูดและมีโฆษณาหรือเดี่ยว - ผู้จำหน่ายโซลูชั่นที่เห็นได้ชัดในคู่แข่งของเรา มีอีกมากมายเช่นกันในภูมิประเทศที่เราอาจไม่ได้กล่าวถึงที่นี่
สิ่งที่คุณเห็นมีอยู่ในวงกว้างที่ผู้ใช้ระดับองค์กรมองเห็น ภูมิทัศน์เทคโนโลยีที่ซับซ้อนและพัฒนาอย่างรวดเร็วสำหรับการประมวลผลสตรีมอย่างที่คุณเห็น เราต้องทำให้การเลือกและประสบการณ์ผู้ใช้ของพวกเขาง่ายขึ้น สิ่งที่เราคิดว่าองค์กรต้องการจริงๆคือการทำงานที่เป็นนามธรรมของอินเทอร์เฟซแบบครบวงจรที่ใช้งานง่ายที่รวบรวมเทคโนโลยีทั้งหมดที่ทำให้ง่ายต่อการใช้งานและไม่เปิดเผยชิ้นส่วนที่เคลื่อนไหวทั้งหมด และปัญหาความเสื่อมโทรมและปัญหาด้านประสิทธิภาพและปัญหาการบำรุงรักษาตลอดอายุการใช้งานขององค์กร
ฟังก์ชั่นนามธรรมเป็นหนึ่ง ส่วนที่สองคือสิ่งที่เป็นนามธรรมของโปรแกรมสตรีมมิ่ง เอ็นจิ้นการสตรีมและโดเมนโอเพนซอร์สกำลังจะเกิดขึ้นทุกๆสามสี่หรือหกเดือนในขณะนี้ มันเป็นพายุมานาน Samza ขึ้นมาแล้วและตอนนี้มันเป็น Spark Streaming Flink กำลังยกหัวของมันเริ่มที่จะได้รับความสนใจ แม้แต่โรดแมพ Spark สตรีมพวกเขากำลังหาวิธีที่จะใช้เอ็นจิ้นที่แตกต่างกันสำหรับการประมวลผลเหตุการณ์ที่บริสุทธิ์เพราะพวกเขาตระหนักว่า Spark ได้รับการออกแบบมาสำหรับแบทช์และพวกเขากำลังสร้างวิสัยทัศน์ทางสถาปัตยกรรมและแผนงานของพวกเขา เอ็นจิ้นสำหรับการประมวลผลสตรีมนอกเหนือจากรูปแบบ microbatch ปัจจุบันใน Spark Streaming
มันเป็นความจริงที่คุณต้องต่อสู้กับมันจะมีวิวัฒนาการมากมาย คุณต้องป้องกันตัวเองจากฟลักซ์เทคโนโลยีดังกล่าว เพราะโดยค่าเริ่มต้นคุณจะต้องเลือกอย่างใดอย่างหนึ่งแล้วใช้ชีวิตกับมันซึ่งไม่เหมาะสม หากคุณกำลังมองหาอีกวิธีหนึ่งคุณกำลังต่อสู้ระหว่าง“ โอเคฉันต้องซื้อแพลตฟอร์มกรรมสิทธิ์ที่ไม่มีการล็อคอินไม่มีการใช้ประโยชน์จากโอเพนซอร์สอาจมีต้นทุนสูงและ จำกัด ความยืดหยุ่นเมื่อเทียบกับโอเพ่นซอร์สสแต็คเหล่านี้ทั้งหมดที่คุณต้องทำด้วยตัวเอง” อีกครั้งอย่างที่ฉันพูดมันมีค่าใช้จ่ายและความล่าช้าในการออกสู่ตลาด สิ่งที่เรากำลังพูดคือ StreamAnalytix เป็นหนึ่งในตัวอย่างของแพลตฟอร์มที่ยอดเยี่ยมที่ดึงระดับองค์กรที่เชื่อถือได้ผู้ขายรายเดียวการบริการอย่างมืออาชีพ - ทั้งหมดที่คุณต้องการในฐานะองค์กรและพลังของความยืดหยุ่นของระบบนิเวศโอเพนซอร์ส ที่ซึ่งแพลตฟอร์มเดียวรวมเข้าด้วยกัน - Ingest, CEP, การวิเคราะห์, การสร้างภาพและสิ่งเหล่านั้นทั้งหมด
มันยังทำสิ่งที่แปลกใหม่มากซึ่งนำเอาเทคโนโลยีเครื่องมือต่าง ๆ มารวมกันภายใต้ประสบการณ์ของผู้ใช้คนเดียว เราคิดว่าในอนาคตเกี่ยวกับความสามารถในการใช้หลายสตรีมมิ่งเอ็นจิ้นเพราะกรณีการใช้งานที่แตกต่างกันต้องการสถาปัตยกรรมสตรีมมิ่งที่แตกต่าง อย่างที่โรบินบอก หากคุณกำลังพูดถึงระดับมิลลิวินาทีวินาทีหรือแม้กระทั่งหลายร้อยมิลลิวินาทีคุณต้องใช้ Storm ในเวลานี้จนกว่าจะมีผลิตภัณฑ์ที่เป็นผู้ใหญ่อีกรุ่นหนึ่งสำหรับการผ่อนปรนน้อยกว่าหรือผ่อนปรนกรอบเวลาและเวลาแฝงในสองสามวินาที สี่ห้าห้าวินาทีในช่วงนั้นจากนั้นคุณสามารถใช้ Spark Streaming อาจมีเครื่องยนต์อื่น ๆ ที่สามารถทำได้ทั้งสองอย่าง บรรทัดล่างในองค์กรขนาดใหญ่จะมีการใช้เคสทุกชนิด คุณต้องการการเข้าถึงและความมีอยู่จริงเพื่อให้มีเอ็นจิ้นหลายตัวที่มีประสบการณ์การใช้งานเพียงครั้งเดียวและนั่นคือสิ่งที่เราพยายามสร้างใน StreamAnalytix
เพียงแค่ดูอย่างรวดเร็วเกี่ยวกับสถาปัตยกรรม เรากำลังจะทำใหม่นี้เล็กน้อย แต่โดยหลักแล้วมีแหล่งข้อมูลหลายแหล่งที่มาทางด้านซ้ายคือ Kafka, RabbitMQ, Kinesis, ActiveMQ, แหล่งข้อมูลและคิวทั้งหมดที่เข้าสู่แพลตฟอร์มการประมวลผลสตรีมที่คุณ ไปรวมแอพที่คุณจะได้รับการลากและวางจากผู้ประกอบการเช่น ETL ทุกสิ่งที่เราพูดถึง ใต้เครื่องยนต์มีหลายเครื่อง ตอนนี้เรามีสตอร์มมิ่งสตีมและสปาร์คเป็นแพลตฟอร์มการสตรีมมิ่งระดับองค์กรเพียงแห่งแรกและอุตสาหกรรมที่มีการสนับสนุนเอ็นจิ้นหลายอย่าง นั่นคือความยืดหยุ่นและเป็นเอกลักษณ์ที่เรานำเสนอนอกเหนือจากความยืดหยุ่นอื่น ๆ ของการมีแดชบอร์ดตามเวลาจริง โปรแกรม CET ฝังตัว เรามีการรวมอย่างลงตัวกับดัชนี Hadoop และ NoSQL, Solr และดัชนี Apache คุณสามารถไปยังฐานข้อมูลที่คุณชื่นชอบได้ไม่ว่ามันจะเป็นอะไรและสร้างแอปพลิเคชั่นอย่างรวดเร็วและออกสู่ตลาดได้อย่างรวดเร็วและพิสูจน์ได้ในอนาคต นั่นคือมนต์ทั้งหมดของเราใน StreamAnalytix
ด้วยสิ่งนี้ฉันคิดว่าฉันจะสรุปความคิดเห็นของฉัน อย่าลังเลที่จะมาหาเราสำหรับคำถามเพิ่มเติม ฉันต้องการเปิดพื้นที่ให้กับคำถามและคำตอบในการอภิปราย
รีเบคก้าไปหาคุณ
รีเบคก้า Jozwiak: เยี่ยมเลย ขอบคุณมาก. Dez และ Robin คุณมีคำถามบางอย่างก่อนที่เราจะตอบคำถามนี้ต่อผู้ชมหรือไม่?
Robin Bloor: ฉันมีคำถาม ฉันจะใส่หูฟังของฉันเพื่อให้คุณได้ยินฉัน หนึ่งในสิ่งที่น่าสนใจถ้าคุณสามารถบอกฉันได้สิ่งที่ฉันได้เห็นในพื้นที่โอเพนซอร์ซนั้นเป็นสิ่งที่ฉันอยากจะบอกกับฉัน เรียกได้ว่าใช่คุณสามารถทำสิ่งต่าง ๆ ได้ แต่ดูเหมือนว่าเรากำลังดูซอฟต์แวร์ในรุ่นแรกหรือรุ่นที่สองในความเป็นจริงและฉันแค่สงสัยว่าประสบการณ์ของคุณในฐานะองค์กรคุณเห็นความไม่บรรลุนิติภาวะของสภาพแวดล้อม Hadoop มากแค่ไหนหรือเป็นสิ่งที่ไม่ได้เกิดขึ้น ' ไม่สร้างปัญหามากเกินไป
อานันท์ Venugopal: มันเป็นความจริงแล้วโรบิน คุณพูดถูก การที่ยังไม่บรรลุนิติภาวะไม่จำเป็นต้องอยู่ในขอบเขตของความมั่นคงในการทำงานและสิ่งของ แต่อาจมีบางกรณีเช่นกัน แต่ยังไม่บรรลุนิติภาวะมีความพร้อมในการใช้งานมากกว่า ผลิตภัณฑ์โอเพ่นซอร์สเมื่อพวกเขาออกมาและแม้จะมีการเสนอโดยการกระจาย Hadoop พวกเขาทั้งหมดเป็นผลิตภัณฑ์ที่มีความสามารถที่แตกต่างกันจำนวนมากส่วนประกอบเพียงตบเข้าด้วยกัน พวกเขาไม่ได้ทำงานร่วมกันอย่างราบรื่นและไม่ได้รับการออกแบบมาเพื่อประสบการณ์การใช้งานที่ราบรื่นไม่มีสะดุดที่ได้รับอย่าง Bank of America หรือ Verizon หรือ AT&T เพื่อปรับใช้แอปพลิเคชันการวิเคราะห์สตรีมมิ่งภายในไม่กี่สัปดาห์ พวกเขาไม่ได้ออกแบบมาเพื่อสิ่งนั้นอย่างแน่นอน นั่นคือเหตุผลที่เราเข้ามาเรานำมารวมกันและทำให้เข้าใจง่ายใช้งาน ฯลฯ
ฟังก์ชั่นครบกำหนดของมันฉันคิดว่าในระดับใหญ่อยู่ที่นั่น องค์กรขนาดใหญ่หลายแห่งใช้ตัวอย่างเช่นสตอร์มวันนี้ องค์กรขนาดใหญ่หลายแห่งกำลังเล่นกับ Spark Streaming ในวันนี้ แต่ละเครื่องมือเหล่านี้มีข้อ จำกัด ในสิ่งที่พวกเขาสามารถทำได้นั่นคือเหตุผลว่าทำไมมันเป็นเรื่องสำคัญที่จะต้องรู้ว่าคุณสามารถทำอะไรได้บ้างและคุณไม่สามารถทำอะไรกับแต่ละเครื่องยนต์ได้ เลือก Spark Streaming และมันไม่ได้ผลสำหรับฉันในอุตสาหกรรมนี้” มันจะไม่ทำงาน จะมีกรณีการใช้งานที่ Spark Streaming จะเป็นตัวเลือกที่ดีที่สุดและจะมีการใช้เคสที่ Spark Streaming อาจไม่ทำงานสำหรับคุณ นั่นเป็นเหตุผลที่คุณต้องการหลายตัวเลือก
Robin Bloor: คุณจำเป็นต้องมีทีมผู้เชี่ยวชาญในบอร์ดเป็นส่วนใหญ่ ฉันหมายความว่าฉันไม่รู้ด้วยซ้ำว่าจะเริ่มจากตรงไหน การร่วมกระทำที่สมเหตุสมผลของบุคคลที่มีทักษะ ฉันสนใจว่าคุณมีส่วนร่วมและมีส่วนร่วมอย่างไร เป็นเพราะ บริษัท ใด บริษัท หนึ่งอยู่หลังแอปพลิเคชันเฉพาะหรือคุณเห็นสิ่งที่ฉันเรียกว่าการยอมรับในเชิงกลยุทธ์ที่พวกเขาต้องการให้ทั้งแพลตฟอร์มทำสิ่งต่างๆมากมาย
อานันท์ Venugopal: เราเห็นตัวอย่างของทั้งคู่ Robin แบรนด์อันดับหนึ่งในสิบที่ทุกคนรู้ว่ากำลังดำเนินไปในเชิงกลยุทธ์ พวกเขารู้ว่าพวกเขากำลังจะมีกรณีการใช้งานที่หลากหลายดังนั้นพวกเขาจึงกำลังประเมินแพลตฟอร์มที่เหมาะสมกับความต้องการซึ่งเป็นกรณีการใช้ที่แตกต่างหลากหลายในลักษณะที่มีผู้เช่าหลายรายเพื่อนำไปใช้ในองค์กร มีเรื่องราวเคสแบบใช้ครั้งเดียวที่เริ่มต้นเช่นกัน มีกรณีการใช้งานการตรวจสอบประเภทกิจกรรมทางธุรกิจเฉพาะใน บริษัท จำนองที่เรากำลังดำเนินการซึ่งคุณจะไม่นึกว่าเป็นกรณีการใช้งานครั้งแรก แต่นั่นคือโซลูชันทางธุรกิจหรือกรณีการใช้งานที่เกิดขึ้นแล้วเราเชื่อมต่อจุดต่างๆกับการสตรีม . เราพูดว่า“ คุณรู้อะไรไหม นี่เป็นกรณีที่ยอดเยี่ยมสำหรับการวิเคราะห์การสตรีมและนี่คือวิธีที่เราสามารถใช้งานได้” นั่นเป็นวิธีการเริ่มต้น จากนั้นในกระบวนการนั้นพวกเขาจะได้รับการศึกษาและพูดว่า“ โอ้ว้าวถ้าเราสามารถทำสิ่งนี้ได้และถ้านี่เป็นแพลตฟอร์มทั่วไปเราสามารถแยกแอปพลิเคชันออกเป็นชั้น ๆ เป็นแพลตฟอร์มและสร้างแอปพลิเคชันต่างๆ แพลตฟอร์ม.”
Robin Bloor: คุณมีคำถามอะไรไหม?
อานันท์ Venugopal: Dez อาจปิดเสียงอยู่
Dez Blanchfield: ขอโทษใบ้ ฉันเพิ่งมีการสนทนาที่ดีด้วยตัวเอง เพียงแค่ติดตามการสังเกตดั้งเดิมของ Robin คุณจะถูกต้องอย่างแท้จริง ฉันคิดว่าความท้าทายในตอนนี้คือองค์กรต่าง ๆ มีระบบนิเวศและสภาพแวดล้อมทางวัฒนธรรมและพฤติกรรมซึ่งซอฟต์แวร์ฟรีและโอเพ่นซอร์สนั้นเป็นสิ่งที่พวกเขารู้จักและพวกเขาสามารถใช้เครื่องมือเช่น Firefox เป็นเบราว์เซอร์ได้ อายุการใช้งานจนกว่าจะมั่นคงและปลอดภัย แต่บางแพลตฟอร์มที่มีขนาดใหญ่มากที่ใช้เป็นแพลตฟอร์มที่เป็นกรรมสิทธิ์ขององค์กร ดังนั้นการยอมรับสิ่งที่ฉันพิจารณาว่าแพลตฟอร์มโอเพ่นซอร์สนั้นไม่ใช่สิ่งที่ง่ายสำหรับพวกเขาที่จะข้ามผ่านวัฒนธรรมหรืออารมณ์ ฉันเห็นสิ่งนี้ในทุก ๆ การใช้โปรแกรมขนาดเล็กที่เป็นโครงการในท้องถิ่นเพื่อเล่นกับข้อมูลขนาดใหญ่และการวิเคราะห์เป็นแนวคิดพื้นฐาน ฉันคิดว่าหนึ่งในความท้าทายที่สำคัญฉันแน่ใจว่าคุณเคยเห็นพวกเขาทั่วทั้งองค์กรเป็นความปรารถนาของพวกเขาเพื่อให้ได้ผลลัพธ์ แต่ในขณะเดียวกันก็มีเท้าข้างหนึ่งติดอยู่ในกระป๋องเก่าที่พวกเขาสามารถซื้อได้จาก “ แทรกแบรนด์ใหญ่” Oracle, IBM และ Microsoft แบรนด์ใหม่และเป็นที่รู้จักเหล่านี้มาพร้อมกับแพลตฟอร์ม Hadoop และอีกมากมาย แบรนด์ที่น่าตื่นเต้นกำลังมาถึงซึ่งมีเทคโนโลยีระดับแนวหน้าเช่นสตรีม
การสนทนาประเภทใดที่คุณได้รับหรือตัดผ่านแบบนั้น ฉันรู้ว่าเรามีการเข้าร่วมจำนวนมากในเช้าวันนี้และสิ่งหนึ่งที่ฉันแน่ใจว่าอยู่ในใจของทุกคนคือ“ ฉันจะตัดเลเยอร์ที่ท้าทายทั้งจากกระดานถึงระดับผู้บริหารโอ้โอเพนซอร์สเกินไปและมีเลือดออกมากเกินไป? "การสนทนาที่คุณมีกับลูกค้าดำเนินไปอย่างไรและคุณตัดตอนมาจนถึงจุดที่คุณกลัวความกลัวแบบนั้นเพื่อพิจารณานำไลค์ของ StreamAnalytix มาใช้อย่างไร
อานันท์ Venugopal: เราพบว่ามันค่อนข้างง่ายที่จะขายข้อเสนอมูลค่าของเราเพราะลูกค้ากำลังมุ่งไปสู่โอเพ่นซอร์สเป็นตัวเลือกที่ต้องการ พวกเขาไม่เพียงแค่ยอมแพ้และพูดว่า“ โอเคฉันกำลังจะไปเปิดแหล่งที่มา” พวกเขาต้องผ่านการประเมินผลิตภัณฑ์ที่สำคัญมาก ๆ อย่างจริงจังสมมติว่าเป็น IBM หรือผลิตภัณฑ์ทั่วไปเพราะพวกเขามี ความสัมพันธ์ของผู้ขายเหล่านี้ พวกเขาจะไม่ปฏิบัติกับเราหรือเครื่องมือโอเพนซอร์ซกับผลิตภัณฑ์นั้น พวกเขาจะผ่านการประเมินหกถึงแปดถึงสิบสองสัปดาห์ พวกเขาจะโน้มน้าวตัวเองว่ามีการแสดงและความมั่นคงในระดับที่ฉันต้องการจากนั้นพวกเขาก็ตัดสินใจว่า“ ว้าวคุณรู้ไหมฉันสามารถทำสิ่งนี้ได้จริง”
ตัวอย่างเช่นวันนี้เรามี telco ชั้นหนึ่งที่สำคัญที่มีการวิเคราะห์สตรีมที่กำลังทำงานอยู่ในการผลิตด้านบนของสแต็คจำนวนมากและพวกเขากำลังประเมินว่าเมื่อเทียบกับผู้ขายที่รู้จักกันดีมากรายใหญ่อื่น ๆ ประสิทธิภาพความมั่นคงและทุกสิ่งเหล่านั้น พวกเขาไม่ได้รับอนุญาต พวกเขาพบว่าโอเพ่นซอร์สนั้นมีความสามารถผ่านการประเมินของพวกเขาและพวกเขารู้ว่ากรณีที่เลวร้ายที่สุด“ บางทีอาจมีสองกรณีการใช้งานที่ฉันอาจทำไม่ได้ แต่ธุรกิจของฉันส่วนใหญ่ใช้กรณีเร่งความเร็วในวันนี้ กองซ้อน” และเราเปิดใช้งานการใช้งาน นั่นคือจุดหวานที่ยิ่งใหญ่ตรงนั้น พวกเขาต้องการโอเพ่นซอร์ส พวกเขาต้องการออกจากสถานการณ์ล็อคผู้ขายที่พวกเขาคุ้นเคยมานานหลายปี จากนั้นเรามาที่นี่และพูดว่า“ คุณรู้อะไรเราจะทำโอเพนซอร์สให้มากขึ้นง่ายขึ้นและเป็นมิตรสำหรับคุณ”
Dez Blanchfield: ฉันคิดว่าความท้าทายอื่น ๆ ที่ผู้ประกอบการพบคือเมื่อพวกเขาเข้ามามีส่วนร่วมในแบบดั้งเดิมพวกเขามักจะเป็นรุ่นที่อยู่เบื้องหลังการตกตะกอนของสิ่งที่น่าตื่นเต้นที่เรากำลังพูดถึงอยู่ที่นี่และฉันก็ไม่ได้หมายความว่า เป็นเพียงความจริงที่ว่าพวกเขามีรุ่นและเดินทางผ่านเพื่อเผยแพร่สิ่งที่พวกเขาพิจารณาว่าเป็นแพลตฟอร์มที่มีเสถียรภาพในการผ่านการพัฒนาโรงเรียนเก่าและวงจรรวมของ UATN และการทดสอบและเอกสารประกอบและการตลาดและการขาย ในขณะที่ประเภทที่คุณกำลังทำฉันคิดว่าสิ่งที่ฉันสนใจที่จะคิดคือการดูรุ่นล่าสุดของคุณเมื่อคืนที่ผ่านมาทำงานวิจัยบางชนิดคุณได้รับมิกซ์นี้ตอนที่คุณได้รับ ความสามารถจากมุมมองของผู้ให้คำปรึกษาล่วงหน้าและการนำไปใช้ แต่คุณก็มีสแต็คที่คุณสามารถม้วนเข้ามาได้ฉันคิดว่านี่เป็นจุดที่ผู้ครอบครองตลาดกำลังดิ้นรนอยู่พักหนึ่ง เราเห็นพวกเขาหลายคนอย่างที่ฉันเคยทำในตลาด พวกเขามักจะอยู่ในสิ่งที่ฉันเรียกว่าโหนดการติดตามส่วนจากสิ่งที่คุณบอกเราเมื่อคุณทำการสนทนาเหล่านั้นและคุณกำลังดำเนินการอยู่
คุณช่วยยกตัวอย่างสองสามตัวอย่างของแนวดิ่งชายแดนที่คุณเห็นว่าเป็นลูกบุญธรรมได้ไหม ตัวอย่างเช่นมีสภาพแวดล้อมนิชนี่อย่างเช่นวิทยาศาสตร์จรวดและวางดาวเทียมในอวกาศและรวบรวมข้อมูลจากดาวอังคาร มีเพียงไม่กี่คนที่ทำสิ่งนั้นบนโลกใบนี้ แต่มีแนวดิ่งขนาดใหญ่เช่นสุขภาพเช่นวิชาการการขนส่งและโลจิสติกส์ในการผลิตและวิศวกรรมสิ่งที่เป็นตัวอย่างของภาคอุตสาหกรรมที่ใหญ่และกว้างกว่าที่คุณเคยเห็นมาจริง ๆ ยอมรับใน
อานันท์ Venugopal: Telco เป็นตัวอย่างที่ยิ่งใหญ่
ฉันจะแก้ไขสไลด์ที่นี่อย่างรวดเร็ว คุณสามารถดูสไลด์ที่นี่กรณีศึกษา 4 หรือไม่?
นี่เป็นกรณีของข้อมูล set-top box ที่ส่งผ่าน telco และทำหลายอย่างด้วย พวกเขากำลังดูสิ่งที่ลูกค้ากำลังทำในเวลาจริง พวกเขากำลังดูว่ามีข้อผิดพลาดเกิดขึ้นแบบเรียลไทม์ในกล่องรับสัญญาณหรือไม่ พวกเขากำลังพยายามแจ้งให้ศูนย์บริการทราบหากลูกค้ารายนี้โทรหาตอนนี้ข้อมูลลิงค์รหัสจากกล่องรับสัญญาณของลูกค้ารายนี้ข้อมูลตั๋วการบำรุงรักษาสัมพันธ์กันอย่างรวดเร็วว่ากล่องรับสัญญาณลูกค้ารายนี้มีปัญหาหรือไม่มาก่อน ลูกค้าพูดอะไรสักคำ บริษัท เคเบิลทุกแห่ง telco รายใหญ่ทุกคนพยายามทำสิ่งนี้ พวกเขานำข้อมูลกล่องรับสัญญาณเข้าทำการวิเคราะห์ตามเวลาจริงทำการวิเคราะห์แคมเปญเพื่อให้สามารถวางโฆษณาของตนได้ มีกรณีการใช้งานมากมาย
ดังที่ฉันได้กล่าวว่ามี บริษัท จำนองแห่งนี้ซึ่งเป็นรูปแบบทั่วไปอีกครั้งที่ระบบขนาดใหญ่มีส่วนร่วมในการประมวลผลข้อมูลจาก ข้อมูลที่ไหลผ่านระบบ A ไปยังระบบ B ไปยังระบบ C และธุรกิจเหล่านี้ได้รับการควบคุมซึ่งทุกอย่างจำเป็นต้องสอดคล้องกันบ่อยครั้งที่ระบบไม่สอดคล้องกันระบบหนึ่งกำลังพูดว่า“ ฉันกำลังประมวลผลสินเชื่อหนึ่งร้อยมูลค่ารวม $ 10 ล้าน” ระบบกำลังพูดว่า“ ไม่ฉันกำลังประมวลผลสินเชื่อ 110 รายการจากที่อื่น จำนวนที่แตกต่างกัน” พวกเขาต้องแก้ไขอย่างรวดเร็วเพราะพวกเขากำลังประมวลผลข้อมูลเดียวกันและทำการตีความที่แตกต่างกัน
ไม่ว่าจะเป็นบัตรเครดิตการประมวลผลสินเชื่อกระบวนการทางธุรกิจหรือไม่ว่าจะเป็นกระบวนการทางธุรกิจจำนองหรืออย่างอื่นเราช่วยให้พวกเขามีความสัมพันธ์และการสมานฉันท์ในแบบเรียลไทม์เพื่อให้แน่ใจว่ากระบวนการทางธุรกิจเหล่านั้นยังคงตรงกัน นั่นเป็นอีกกรณีการใช้งานที่น่าสนใจ มีผู้รับเหมารัฐบาลรายใหญ่ของสหรัฐอเมริกาที่กำลังมองหาการรับส่งข้อมูล DNS เพื่อทำการตรวจจับความผิดปกติ มีรูปแบบการฝึกอบรมแบบออฟไลน์ที่พวกเขาสร้างขึ้นและพวกเขากำลังทำคะแนนตามแบบจำลองนั้นกับการรับส่งข้อมูลแบบเรียลไทม์ กรณีการใช้งานที่น่าสนใจบางกรณี มีสายการบินรายใหญ่กำลังดูคิวการรักษาความปลอดภัยและพวกเขากำลังพยายามให้ข้อมูลแก่คุณว่า“ เฮ้นั่นเป็นประตูสู่เครื่องบินของคุณสำหรับเที่ยวบินของคุณ คิว TSA วันนี้ใช้เวลาประมาณ 45 นาทีต่อสองชั่วโมงเมื่อเทียบกับอย่างอื่น” คุณจะได้รับการอัปเดตล่วงหน้า พวกเขายังคงทำงานกับมัน IoT ที่น่าสนใจใช้กรณี แต่กรณีที่ยอดเยี่ยมของการวิเคราะห์สตรีมมิ่งมุ่งหน้าไปยังประสบการณ์ของลูกค้า
รีเบคก้า Jozwiak: นี่คือรีเบคก้า ในขณะที่คุณอยู่ในเรื่องของการใช้งานกรณีมีคำถามที่ดีจากสมาชิกผู้ชมที่สงสัยว่า "เป็นกรณีศึกษาเหล่านี้เป็นความคิดริเริ่มเหล่านี้ถูกขับเคลื่อนจากด้านการวิเคราะห์ระบบสารสนเทศของบ้านหรือพวกเขาถูกผลักดันจาก ธุรกิจที่มีคำถามหรือความต้องการเฉพาะในใจคืออะไร”
อานันท์ Venugopal: ฉันคิดว่าเราเห็นประมาณ 60 เปอร์เซ็นต์หรือประมาณ 50 เปอร์เซ็นต์ถึง 55 เปอร์เซ็นต์ซึ่งส่วนใหญ่เป็นโครงการเชิงรุกและกระตือรือร้นที่เกิดขึ้นจริงซึ่งเป็นที่เข้าใจค่อนข้างดีและเข้าใจความต้องการทางธุรกิจบางอย่างและพวกเขาอาจมีสปอนเซอร์รายหนึ่งที่ระบุ ทีมเทคโนโลยีคือเตรียมพร้อมสำหรับการโจมตีกรณีการใช้งานทางธุรกิจที่ผ่านมาแล้วเมื่อพวกเขาสร้างความสามารถพวกเขารู้ว่าพวกเขาสามารถทำสิ่งนี้ได้แล้วพวกเขาก็ไปทำธุรกิจและขายมันอย่างจริงจัง ใน 30 เปอร์เซ็นต์ถึง 40 เปอร์เซ็นต์ของกรณีเราเห็นว่าธุรกิจมีกรณีการใช้งานเฉพาะอยู่แล้วซึ่งกำลังร้องขอความสามารถในการวิเคราะห์สตรีมมิ่ง
รีเบคก้า Jozwiak: นั่นทำให้รู้สึก ฉันได้รับคำถามทางเทคนิคเพิ่มเติมอีกเล็กน้อยจากสมาชิกผู้ชม เขาสงสัยว่าระบบเหล่านี้รองรับสตรีมข้อมูลที่มีโครงสร้างและไม่มีโครงสร้างหรือไม่เช่นตะกอนของสตรีมหรือโพสต์แบบเรียลไทม์หรือต้องมีการกรองในตอนแรกหรือไม่
อานันท์ Venugopal: ผลิตภัณฑ์และเทคโนโลยีที่เรากำลังพูดถึงนั้นสนับสนุนข้อมูลทั้งแบบมีโครงสร้างและไม่มีโครงสร้าง พวกเขาสามารถกำหนดค่า ข้อมูลทั้งหมดมีโครงสร้างบางอย่างไม่ว่าจะเป็น a หรือ XML หรืออะไรก็ตาม มีโครงสร้างบางส่วนในแง่ของการมีการประทับเวลา อาจมีอีกหยดหนึ่งที่ต้องแยกวิเคราะห์เพื่อให้คุณสามารถแยกวิเคราะห์แยกเป็นกระแสเพื่อแยกวิเคราะห์โครงสร้างข้อมูล ถ้ามันมีโครงสร้างเราก็แค่บอกระบบว่า "โอเคถ้ามีค่าที่คั่นด้วยเครื่องหมายจุลภาคและอันแรกคือสตริงที่สองคือวันที่" ดังนั้นเราสามารถฉีดปัญญาที่แยกวิเคราะห์ลงในเลเยอร์หน้าจอและ ดำเนินการได้อย่างง่ายดายทั้งข้อมูลที่มีโครงสร้างและไม่มีโครงสร้าง
รีเบคก้า Jozwiak: ฉันได้รับคำถามเพิ่มเติมจากผู้ชม ฉันรู้ว่าเราวิ่งผ่านจุดบนสุดของเวลาไปสักหน่อย ผู้เข้าร่วมประชุมนี้ต้องการทราบว่าดูเหมือนว่าแอปพลิเคชั่นการสตรีมแบบเรียลไทม์อาจกำลังพัฒนาทั้งความต้องการและโอกาสในการผสานรวมกลับเข้ากับระบบธุรกรรมระบบป้องกันการฉ้อโกงที่พวกเขานำเสนอ ในกรณีดังกล่าวระบบการทำธุรกรรมจะต้องมีการปรับให้เหมาะสมกับสิ่งนั้นหรือไม่?
อานันท์ Venugopal: เป็นการรวมใช่มั้ย เป็นระบบการรวมธุรกรรม บางครั้งพวกเขากลายเป็นแหล่งข้อมูลที่เราวิเคราะห์ธุรกรรมแบบเรียลไทม์และในหลายกรณีที่มีกระแสแอปพลิเคชันและที่นี่ฉันพยายามแสดงไซต์ค้นหาข้อมูลแบบคงที่และในกรณีของเราที่สตรีมมิ่งบางประเภท ในและคุณกำลังค้นหาฐานข้อมูลแบบคงที่เช่น HBase หรือ RDBMS เพื่อเพิ่มประสิทธิภาพการสตรีมข้อมูลและข้อมูลแบบสแตติกเข้าด้วยกันเพื่อทำการตัดสินใจหรือการวิเคราะห์เชิงลึก
มีแนวโน้มของอุตสาหกรรมขนาดใหญ่อีกอย่างที่เราเห็นเช่นกันคือการรวมกันของ OLAP และ OLTP และนั่นเป็นสาเหตุที่คุณมีฐานข้อมูลเช่น Kudu และฐานข้อมูลในหน่วยความจำที่รองรับทั้งธุรกรรมและการวิเคราะห์ในเวลาเดียวกัน เลเยอร์การประมวลผลสตรีมจะอยู่ในหน่วยความจำทั้งหมดและเราจะดูหรือเชื่อมต่อกับฐานข้อมูลธุรกรรมบางส่วนเหล่านี้
รีเบคก้า Jozwiak: ฉันคิดว่าปริมาณงานที่หลากหลายเป็นหนึ่งในอุปสรรคสุดท้ายที่จะกระโดด Dez, Robin คุณสองคนมีคำถามอีกหรือไม่?
Dez Blanchfield: ฉันจะข้ามไปยังคำถามสุดท้ายหนึ่งคำถามและสรุปว่าหากคุณไม่ทราบ ความท้าทายแรกที่องค์กรต่างๆที่ฉันได้รับในช่วงสิบปีที่ผ่านมานำไปสู่ความท้าทายที่น่าตื่นเต้นของการวิเคราะห์กระแสสิ่งแรกที่พวกเขามักจะนำกลับมาวางบนโต๊ะเมื่อเราเริ่มการสนทนารอบ ๆ ความท้าทายทั้งหมดนี้คือที่ไหน เราได้รับชุดทักษะหรือไม่ เราจะฝึกทักษะใหม่อีกครั้งและเราจะได้รับความสามารถนั้นได้อย่างไรภายใน การมี Impetus เข้ามาและจับมือเราไว้ตลอดการเดินทางจากนั้นนำไปใช้เป็นขั้นตอนแรกที่ยอดเยี่ยมและมันก็สมเหตุสมผลอย่างยิ่ง
แต่สำหรับองค์กรขนาดกลางถึงขนาดใหญ่สิ่งที่คุณเห็นในขณะนี้เพื่อเตรียมความพร้อมสำหรับสิ่งนี้เพื่อสร้างความสามารถนั้นภายในเพื่อรับอะไรจากคำศัพท์พื้นฐานรอบ ๆ และพวกเขาสามารถทำอะไรกับ องค์กรรอบ ๆ การเปลี่ยนไปใช้เฟรมเวิร์กประเภทนี้และปรับแต่งเจ้าหน้าที่ด้านเทคนิคที่มีอยู่จาก IT จาก CEO เพื่อให้พวกเขาสามารถทำงานได้ด้วยตัวเองเมื่อคุณสร้างและใช้งานหรือไม่ เพียงแค่สั้น ๆ สิ่งที่ท้าทายและวิธีแก้พวกเขาลูกค้าที่คุณจัดการกับประเภทของความท้าทายที่พวกเขาพบและวิธีที่พวกเขาผ่านการแก้ปัญหาที่อบรมขึ้นใหม่และฟื้นประสบการณ์และความรู้เพื่อเตรียมพร้อมสำหรับสิ่งนี้และเพื่อ สามารถไปรอบ ๆ การดำเนินการ?
อานันท์ Venugopal: บ่อยครั้งที่คนกลุ่มเล็ก ๆ ที่พยายามออกไปซื้อแพลตฟอร์มการวิเคราะห์สตรีมมิ่งนั้นฉลาดพอสมควรที่พวกเขารู้ว่า Hadoop พวกเขาได้รับทักษะ Hadoop MapReduce แล้วและเพราะพวกเขาทำงานอย่างใกล้ชิดกับผู้จัดจำหน่าย Hadoop พวกเขาทั้งคุ้นเคย ยกตัวอย่างเช่นทุกอย่างกำลังได้รับคาฟคา พวกเขากำลังทำอะไรกับมันและสตอร์มมิ่ง Storm หรือ Spark อยู่ในโดเมนโอเพนซอร์ส ผู้คนคุ้นเคยกับมันหรือสร้างทักษะรอบตัวแน่นอน แต่มันเริ่มต้นด้วยคนกลุ่มเล็ก ๆ ที่มีทักษะเพียงพอและฉลาดพอ พวกเขากำลังเข้าร่วมการประชุม พวกเขากำลังเรียนรู้และพวกเขาถามคำถามที่ชาญฉลาดกับผู้ขายและในบางกรณีพวกเขาเรียนรู้กับผู้ขาย เมื่อผู้ขายมาและนำเสนอในการประชุมครั้งแรกพวกเขาอาจไม่รู้อะไรเลย แต่พวกเขาจะอ่านร่วมกันแล้วพวกเขาก็เริ่มเล่นกับมัน
คนกลุ่มเล็ก ๆ นั้นคือนิวเคลียสและจากนั้นก็เริ่มเติบโตขึ้นและทุกคนก็ตระหนักว่ากรณีใช้งานครั้งแรกทางธุรกิจได้รับการปฏิบัติ มีคลื่นเริ่มขึ้นและเราเห็นในการประชุมสุดยอด Spark เมื่อสัปดาห์ที่แล้วซึ่งมีองค์กรขนาดใหญ่อย่าง Capital One อยู่ที่นั่นและแข็งแกร่งอย่างเต็มที่ พวกเขากำลังทำการเลือก Spark พวกเขาพูดเกี่ยวกับเรื่องนี้ พวกเขากำลังให้ความรู้กับผู้คนจำนวนมากใน Spark เพราะพวกเขามีส่วนร่วมในหลาย ๆ กรณีในฐานะผู้ใช้ เราเห็นเหมือนกันกับหลาย ๆ องค์กรขนาดใหญ่หลายแห่ง มันเริ่มต้นด้วยชุดเล็ก ๆ ของคนที่ฉลาดมากและจากนั้นก็เริ่มเป็นคลื่นของการศึกษาโดยรวมและผู้คนรู้ว่าเมื่อรองประธานอาวุโสหรือผู้อำนวยการอาวุโสอยู่ในแนวเดียวกันและพวกเขาต้องการที่จะวางเดิมพันในสิ่งนี้ พวกเขาทั้งหมดเริ่มรับทักษะเหล่านี้
Dez Blanchfield: ฉันแน่ใจว่าคุณมีเวลาที่ยอดเยี่ยมในการสร้างแชมป์เหล่านั้นด้วย
อานันท์ Venugopal: ใช่. เราทำการศึกษามากมายขณะที่เราทำงานร่วมกับแชมเปี้ยนเริ่มต้นและเราจัดหลักสูตรการฝึกอบรมและอีกมากมายสำหรับลูกค้ารายใหญ่ของเราที่เราได้ย้อนกลับไปและมีคลื่นและคลื่นของการฝึกอบรมเพื่อนำผู้ใช้จำนวนมากเข้าสู่ช่วงการใช้งานหลักโดยเฉพาะ ในเว็บไซต์ Hadoop MapReduce เราพบว่าใน บริษัท บัตรเครดิตขนาดใหญ่ที่เป็นลูกค้าของเราเราได้จัดส่งโปรแกรมการฝึกอบรมอย่างน้อยห้าถึงแปดโปรแกรม นอกจากนี้เรายังมีรุ่นชุมชนฟรีของผลิตภัณฑ์เหล่านี้รวมถึงของเรากล่องทรายที่ผู้คนสามารถดาวน์โหลดรับใช้และให้ความรู้ด้วยตัวเองเช่นนั้น
Dez Blanchfield: นั่นคือทั้งหมดที่ฉันมีเมื่อเช้านี้สำหรับคุณ ขอบคุณมาก. ฉันพบว่ามันน่าสนใจอย่างไม่น่าเชื่อที่จะดูประเภทของโมเดลและกรณีการใช้งานที่คุณมีให้เราในวันนี้ ขอขอบคุณ.
อานันท์ Venugopal: ยิ่งใหญ่ ขอบคุณมาก ๆ
รีเบคก้า Jozwiak: ขอบคุณทุกคนที่เข้าร่วมกับเราในเว็บคาสต์เทคโนโลยีสุดฮอตเหล่านี้ เป็นที่น่าสนใจที่ได้ยินจาก Dez Blanchfield, Dr. Robin Bloor และจาก Impetus Technologies, Anand Venugopal ขอบคุณผู้นำเสนอ ขอบคุณผู้พูดและขอบคุณผู้ชม เรามีเทคโนโลยีสุดฮอตอีกเดือนหน้า คุณสามารถค้นหาเนื้อหาของเราที่เก็บถาวรได้ที่ Insideanalysis.com เรายังใส่เนื้อหาจำนวนมากบน SlideShare และบิตที่น่าสนใจบางส่วนบน YouTube เช่นกัน
นั่นคือคนทั้งหมด ขอบคุณอีกครั้งและมีวันที่ดี ลาก่อน.