H OpenAI παρουσιάζει το νέο μοντέλο δημιουργίας “text to video”, Sora!

Η OpenAI λανσάρει ένα νέο μοντέλο δημιουργίας βίντεο, το οποίο ονομάζεται Sora. Η εταιρεία λέει ότι το Sora “μπορεί να δημιουργήσει ρεαλιστικές και ευφάνταστες σκηνές από οδηγίες κειμένου”. Το μοντέλο μετατροπής κειμένου σε βίντεο επιτρέπει στους χρήστες να δημιουργούν φωτορεαλιστικά βίντεο διάρκειας έως και ενός λεπτού – όλα βασισμένα σε οδηγίες (prompt) που έχουν γράψει οι ίδιοι.
Το Sora είναι σε θέση να δημιουργήσει “σύνθετες σκηνές με πολλούς χαρακτήρες, συγκεκριμένους τύπους κίνησης και ακριβείς λεπτομέρειες του θέματος και του φόντου”, σύμφωνα με την εισαγωγική ανάρτηση του OpenAI στο blog. Η εταιρεία σημειώνει επίσης ότι το μοντέλο μπορεί να κατανοήσει πώς τα αντικείμενα “υπάρχουν στον φυσικό κόσμο”, καθώς και να “ερμηνεύσει με ακρίβεια τα σκηνικά και να δημιουργήσει συναρπαστικούς χαρακτήρες που εκφράζουν ζωντανά συναισθήματα”.

Το μοντέλο μπορεί επίσης να δημιουργήσει ένα βίντεο με βάση μια ακίνητη εικόνα, καθώς και να συμπληρώσει τα καρέ που λείπουν από ένα υπάρχον βίντεο ή να το επεκτείνει. Τα demo που δημιουργήθηκαν από το Sora και περιλαμβάνονται στην ανάρτηση του OpenAI στο blog περιλαμβάνουν μια εναέρια σκηνή της Καλιφόρνιας κατά τη διάρκεια της περιόδου του “πυρετού του χρυσού”, ένα βίντεο που μοιάζει σαν να έχει γυριστεί από το εσωτερικό ενός τρένου στο Τόκιο και άλλα. Πολλά έχουν κάποια αποκαλυπτικά σημάδια τεχνητής νοημοσύνης – όπως ένα ύποπτα κινούμενο πάτωμα σε ένα βίντεο ενός μουσείου – και το OpenAI αναφέρει ότι το μοντέλο “μπορεί να δυσκολευτεί με την ακριβή προσομοίωση της φυσικής μιας πολύπλοκης σκηνής”, αλλά τα αποτελέσματα είναι συνολικά αρκετά εντυπωσιακά.

Πριν από μερικά χρόνια, ήταν οι γεννήτριες μετατροπής κειμένου σε εικόνα, όπως η Midjourney, που βρίσκονταν στην πρώτη γραμμή της ικανότητας των μοντέλων να μετατρέπουν τις λέξεις σε εικόνες. Πρόσφατα, όμως, το βίντεο έχει αρχίσει να βελτιώνεται με αξιοσημείωτο ρυθμό: εταιρείες όπως η Runway και η Pika έχουν παρουσιάσει εντυπωσιακά δικά τους μοντέλα μετατροπής κειμένου σε βίντεο, και το Lumiere της Google φαίνεται να είναι ένας από τους κύριους ανταγωνιστές του OpenAI και σε αυτόν τον τομέα. Παρόμοια με το Sora, το Lumiere παρέχει στους χρήστες εργαλεία μετατροπής κειμένου σε βίντεο και τους επιτρέπει επίσης να δημιουργούν βίντεο από μια ακίνητη εικόνα.

Το Sora είναι προς το παρόν διαθέσιμο μόνο σε “κόκκινες ομάδες” που αξιολογούν το μοντέλο για πιθανές βλάβες και κινδύνους. Το OpenAI προσφέρει επίσης πρόσβαση σε ορισμένους εικαστικούς καλλιτέχνες, σχεδιαστές και κινηματογραφιστές για να λάβει ανατροφοδότηση. Σημειώνει ότι το υπάρχον μοντέλο ενδέχεται να μην προσομοιώνει με ακρίβεια τη φυσική μιας σύνθετης σκηνής και να μην ερμηνεύει σωστά ορισμένες περιπτώσεις αιτίας και αποτελέσματος.

Νωρίτερα αυτό το μήνα, η OpenAI ανακοίνωσε ότι προσθέτει υδατογραφήματα στο εργαλείο μετατροπής κειμένου σε εικόνα DALL-E 3, αλλά σημειώνει ότι αυτά μπορούν “εύκολα να αφαιρεθούν”. Όπως και τα άλλα προϊόντα τεχνητής νοημοσύνης της, η OpenAI θα πρέπει να αντιμετωπίσει τις συνέπειες του να μπερδεύονται τα ψεύτικα, φωτορεαλιστικά βίντεο τεχνητής νοημοσύνης με τα πραγματικά.

Πηγή: The Verge