פיתוח תוכנה לאינטראקציה בין אדם & רובוט הומנואיד
מעבדת אינטראקציה בין אדם & רובוט
בעולם בו רובוטים משתלטים על אספקטים שונים בחיים המודרני, רק הגיוני שהנתח של רובוטים אנושים ילך ויגדל. רובוטים אנושיים בעצם יהוו בעתיד את ה-UI לעולם המחשב וחלק נכבד מהתקשורת האנושית ייעשה דרכם.
הקורס מיועד להקנות ידע ויכולת ספציפיים בעיקר בתחום הבנת הראייה של רובוט אנושי (זיהוי פנים, רגשות וכו'), וביכולות דיבור והבנת שפה בדגש על אלגוריתמים מודרניים לזיהוי שפה טבעית ויכולות שיחה.
שיטת ההוראה בקורס זה, יתבסס על יישום פרויקטים מעשיים בהם ישתתפו מגוון רובוטים כולל רובוטים הומנואידים (רובוטים אנושיים), עם מגוון רחב של יכולות מובנות. זה יהיה קורס בין תחומי, אשר יתבסס בעיקר על תחומי ידע כגון: עיבוד קול ודיבור, ראיית ממוחשבת, רובוטיקה ומערכות נבונות, למידת מכונה, בינה מלאכותית ויישומם במדעי המחשב. במהלך הקורס יבצעו הסטודנטים פעולות למידה וניתוח נתונים בסביבת משובצת Linux ומסגרת סביבת מבוססת על שירות Java עם קוד פתוח לרובוטיקה ובקרת מכונות יצירתיות - myRobotLab.
הקורס מיועד לסטודנטים הפקולטה למדעי המחשב.
פקולטה: מדעים
מחלקה: מדעי המחשב
שם הקורס: עפיתוח תוכנה לאינטראקציה בין אדם & רובוט הומנואיד - 62304
מרצה: ד"ר רועי יוזביץ
מעבדה: אינטראקציה בין אדם & רובוט - Human Robot Interaction
אופן הוראה: הרצאה - 3 ש', תרגול/מעבדה - 1 ש'
שנת לימודים: ג'
נקודות זכות: 3.5 נ"ז
דרישות קדם: מערכות הפעלה 61206, למידת מכונה 63302
- הכרת עקרונות בסיס בתכנון\תכנות רובוטים אנושיים.
- State of the Art כיום. מגמות במחקר
- פיתוח תוכנה בסביבת עבודת Embedded Linux תחת ראספברי פאי (Raspberry Pi - RPI)
- הכרות עם Embedded OpenCV
- מבוא ל- Embedded DL- וההבדל בינו ובין שיטות DL סטדנדרטיות.
- היכרות עם ROS (מערכת הפעלה רובוט) כסביבה, אשר מספק ספריות וכלים שיעזרו למפתחי תוכנה ליצור יישומי רובוט.
תוכנה:
- סביבת עבודה: Embedded Linux
- OpenCV (ראשי תיבות של Open Source Computer Vision) - חבילת תוכנה (המיועדת למתכנתים) שנועדה לעזור לפתח יישומים של ראייה ממוחשבת.
- מערכת הפעלה רובוט (ROS) - כסביבה, אשר מספק ספריות וכלים שיעזרו למפתחי.
- MyRobotLab - היא פלטפורמת רובוטיקה מבוססת על קוד פתוח. זה כתוב בעיקר ב- Java, אך יש לו כריכות עבור Python. יש לו ממשק משתמש אינטרנטי כתוב ב- AngularJS המאפשר שליטה מרחוק. אחד השירותים הוא InMoov וירטואלי שניתן להשתמש בו לפיתוח או בדיקה ללא הרובוט הפיזי.
חומרה:
- כרטיס פיתוח - RASPBERRY PI 4 - MODEL B 2GB Talmir P/N: 6881503
♦ סוג מעבד : BROADCOM BCM2711 64BIT QUAD CORE 1.5GHZ
♦ זכרון 2GB LPDDR4-2400 SDRAM
♦ תקשורת אלחוטית : 2.4GHZ/5GHZ IEEE 802.11 b/g/b/ac
♦ תקשורת אלחוטית : BLUETOOTH LOW ENERGY V5.0
♦ חיבורים למטרות פיתוח ו 40PIN GPIO : IOT
♦ שתי יציאות USB 3.0 ועוד שתי יציאות USB 2.0
♦ מחבר סטריאו 4POLE עם יציאת COMPOSITE
♦ שתי יציאות MICRO HDMI 4Kp60 H.265
♦ מחבר CSI לחיבור מצלמת PI-CAMERA
♦ מחבר DSI לחיבור מסכי מגע של RASPBERRY PI
♦ חריץ לכרטיס זכרון מסוג MICRO SD להעלאת מערכת ההפעלה ולשמירת מידע
♦ מחבר USB TYPE C לכניסת מתח עם תמיכה בזרם עד 3.0 אמפר
♦ תמיכה ב POE (דרוש להוסיף כרטיס הרחבה POE HAT)
סקירה / מפרט: Raspberry Pi 4 Computer Model B
- RASPBERRY PI 4 MODEL Bספק כח מקורי Talmir P/N: 5496013
♦ מאושר בתקן יעילות ERP LEVEL VI :
♦ מתח כניסה: 100VAC ~ 240VAC
♦ תדר כניסה: 50Hz ~ 60Hz
♦ מתח יציאה: 5.1VDC+
♦ זרם מקסימלי: 3000MA
♦ סוג חיבור USB TYPE C :
סקירה / מפרט: Raspberry Pi 15.3W USB-C Power Supply
- מערכת הפעל עבור ULTRA NOOBS 16GB RASPBERRY PI 4 7082813 :Talmir P/N
♦ מערכת ההפעלה הפופולרית ביותר עבור ה RASPBERRY PI 4
♦ המערכת כוללת ממשק גרפי מתקדם או לחילופין ממשק COMMAND LINE
♦ דפדפן גרפי נוח לקידוד וגלישה באינטרנט
♦ המערכת מותקנת על כרטיס MICRO SD ULTRA CLASS 10
♦ מסופק עם מתאם לכרטיס זכרון SD
סקירה / מפרט: microSD Class 10 card series
- קופסת זיווד RASPBERRY PI 4 0719213 :Talmir P/N
♦ קופסת זיווד - RASPBERRY PI 4 OFFICIAL CASE - RED & WHITE
סקירה / מפרט: RASPBERRY PI 4 CASE
- PJRC Teensy 4.0 (Without pins) Manufacturer PN: DEV-15583
♦ ARM Cortex-M7 at 600MHz
♦ 1024K RAM (512K is tightly coupled)
♦ 2048K Flash (64K reserved for recovery & EEPROM emulation)
♦ 2 USB ports, both 480MBit/sec
סקירה / מפרט: Teensy 4.0
- Pan-Tilt servo for camera
♦ Suitable for 9g Servo.
♦ Kit Weight:20g
♦ Material: Nylon
♦ Suitable for 9g Servo
♦ Package includes:
♦ 1 x Mount kit.
♦ The kit wasn't assembled, kindly assemble by yourself after receiving
סקירה / מפרט: Camera Module Pan Tilt Mount Kit inc 9g Servo for Raspberry Pi Arduino RAMPS
- GY-PAJ7620 Gesture Moving Recognition Sensor Module I2C Breakout Board for Arduino
♦ The PAC7620 integrates gesture recognition function with general I2C interface into a single chip forming an image analytic sensor system.
♦ Nine gesture recognition: Recognizes Up, Down, Left, Right, Forward, Backward, Clockwise and Anti Clockwise.
♦ Gesture speed is 60°/s to 600°/s in Normal Mode and 60°/s to 1200°/s in Gaming Mode
♦ Flexible power saving scheme
♦ I2C interface up to 400 kbit/s, Pull-up voltage from 1.8V to 3.3V
♦ Ambient light noise cancellation
♦ Typical supply voltage is 2.8V to 3.3V and I/O voltage is 1.8V~3.3V
סקירה / מפרט: GY-PAJ7620 Gesture Moving Recognition Sensor Module I2C Breakout for Arduino
- Raspberry Pi 4B/3B+ Adjustable Focal OV5647 130 Degree Night Vision Camera Module
♦ Sensor: OV5647
♦ Best resolution: 1080P
♦ Pixel: 5MP
♦ Diagonal angle: 130 degrees (ordinary lens only 72 degrees)
♦ Dimension: 25mm x 24mm
♦ Aperture (F): 2.9
♦ Focal Length: 3.6mm adjustable focal length
♦ Night vision shooting distance 1 - 2 meters
♦ Package includes:1 * Webcam,2* Fill light,1* 15cm Cable
סקירה / מפרט: Raspberry Pi With Adapter Cable 5MP Camera Module Raspberry Pi Zero Webcam 1pc
למעבדות נוספות במרכז מעבדות המחשוב: