Πάνω από 1.200 μέλη της κοινότητας συμμετείχαν σε hackathon για την αναπαραγωγή papers του ICML 2026, claim by claim, και μέσα σε 19 ημέρες δημοσίευσαν 6.816 Trackio logbooks για 2.226 εργασίες. Η προσπάθεια αυτή κάλυψε περίπου το ένα τρίτο του συνεδρίου και στόχευσε να δείξει ποιος ρόλος απομένει στους ανθρώπους όταν οι agents κάνουν τα ερευνητικά πειράματα.
Πώς οργανώθηκε το ICML 2026 Open Reproductions challenge;
Το challenge πραγματοποιήθηκε από τις 15 Ιουλίου έως τις 2 Αυγούστου 2026. Αντί να γίνει εσωτερικός έλεγχος των papers, η διαδικασία άνοιξε σε όλη την κοινότητα, με διαφορετικά agent frameworks, budgets για υπολογιστικούς πόρους και επιστημονικές προσεγγίσεις.
📖 Διάβασε επίσης
Οι συμμετέχοντες έλαβαν 20 δολάρια σε Hugging Face compute credits για να τρέξουν πειράματα στο HF Jobs. Συνολικά εκκίνησαν 2.962 cloud jobs.
Τι έκαναν όταν η πλήρης αναπαραγωγή δεν ήταν εφικτή;
Όταν μια εργασία δεν μπορούσε να αναπαραχθεί πλήρως, οι συμμετέχοντες προχώρησαν σε toy reproductions πάνω σε συνθετικά δεδομένα που μιμούνταν τα χαρακτηριστικά του αρχικού υλικού.
Αυτό συνέβη, για παράδειγμα, όταν το dataset ενός paper ήταν ιδιωτικό ή όταν τα checkpoints δεν είχαν δοθεί στη δημοσιότητα.
- 1.200+ μέλη της κοινότητας συμμετείχαν.
- 6.816 Trackio logbooks δημοσιεύτηκαν.
- 2.226 papers αναπαράχθηκαν.
- 2.962 cloud jobs εκτελέστηκαν.
Γιατί τέθηκε το ζήτημα της αναπαραγωγιμότητας;
Οι ερωτήσεις για το πόσο αναπαραγώγιμη είναι πραγματικά η έρευνα στην τεχνητή νοημοσύνη υπάρχουν εδώ και χρόνια. Το κείμενο σημειώνει ότι το ζήτημα γίνεται εντονότερο όσο αυξάνεται η κλίμακα, ενώ το ICML 2026 έλαβε 23.918 submissions και δέχθηκε 6.352 papers, περίπου διπλάσια από την προηγούμενη χρονιά.
Σύμφωνα με το υλικό, η τάση αυτή συνεχίζεται εκθετικά και συνδέεται, τουλάχιστον εν μέρει, με AI agents που κάνουν πιο γρήγορη την εκτέλεση πειραμάτων και τη συγγραφή τους.
Τι έδειξε το παράδειγμα ενός spotlight paper;
Στο κείμενο παρατίθεται η αξιολόγηση ενός accepted ICML 2026 spotlight paper, όπου ο reviewer έγραψε: «My low confidence score is because I did not check all the proofs carefully.» Το paper αυτό είχε πάρει ισχυρές βαθμολογίες και είχε πάρει spotlight.
Το ίδιο υλικό αναφέρει ότι το paper αυτό θα επανερχόταν αργότερα στο κείμενο, όταν τελικά ελέγχθηκαν προσεκτικά οι αποδείξεις του.
Τι σημαίνει αυτό για την Ευρώπη και την Ελλάδα;
Το δημοσίευμα δεν αναφέρεται ειδικά σε Ελλάδα ή Ευρώπη, αλλά αφορά διεθνώς την τεχνητή νοημοσύνη και τον τρόπο με τον οποίο οργανώνεται η ερευνητική διαδικασία σε μεγάλη κλίμακα. Η αναπαραγωγή 2.226 papers δείχνει πώς η κοινότητα δοκιμάζει στην πράξη τα όρια της αξιολόγησης σε ένα πεδίο που μεγαλώνει γρήγορα.
Η πρωτοβουλία περιγράφεται ως πιθανότατα η μεγαλύτερη απόπειρα αναπαραγωγής τέτοιου τύπου μέχρι σήμερα.
