Ο σύλλογος ιδρύθηκε το 1928 στην περιοχή τού Κολωνακίου. Πρώτη του δραστηριότητα ήταν η ενασχόληση με την μουσική, κάτι που δικαιολογεί και την επιλογή του ονόματος, από τον αρχαίο μουσικό, Αρίωνα τον Μηθυμναίο, ενώ επόμενες δραστηριότητες για τον νεοσύστατο σύλλογο ήταν η τοξοβολία και η σκοποβολή.
Τήν επόμενη χρονιά, παράγοντες προερχόμενοι από τόν Παναθηναϊκό, βοήθησαν στην δημιουργία τού ποδοσφαιρικού τμήματος.
To 1930 ήταν η χρονιά που εμφανίσθηκε για πρώτη φορά ο Αρίωνας στα πρωταθλήματα της Αθήνας. Εκείνη την χρονιά συμμετείχε ως ανεξάρτητη ομάδα, στο πρωτάθλημα Ανεξαρτήτων Συλλόγων που διοργάνωνε η εφημερίδα “Βραδυνή” με εποπτεία από την Ένωση, με προοπτική νά μπει στα επίσημα πρωταθλήματα από την σεζόν 1931-32. Αυτό το κατάφερε ως Αρίων Κολωνακίου, όπως λεγόταν τήν εποχή εκείνη.
Μετά την επιτυχημένη είσοδό του στα πρωταθλήματα Αθηνών, η παρουσία του Αρίωνα σταθεροποιήθηκε. Στα τέλη της δεκαετίας τού ’30, άρχισε η μετεγκατάσταση του στην γειτονιά του Αγίου Αρτεμίου, έπειτα από πρωτοβουλία αθλητικών παραγόντων της περιοχής. Ανάμεσα σε άλλους, οι Βγενόπουλος, Παστελάκος, Αρκούδης, Κυριαζής, όπου αμέσως μετά τον πόλεμο, ένωσαν τις ανεξάρτητες ομάδες τής περιοχής (Ένωση φιλάθλων Αγίου Αρτεμίου, Αρίων Γούβας – η Β’ομαδα με παίκτες που δεν έπαιζαν την Κυριακή στον Αρίωνα και κοινούς από άλλες ομάδες- , Τριφυλλιακός, Πράσινα Πουλιά, Δάφνη, Κένταυρος Γούβας, Ένωση Δάφνης, Δόξα Γούβας, κ.α) ώστε να δημιουργηθεί πλέον ο «Αρίων – Ένωση Φιλάθλων Αγίου Αρτεμίου», όνομα το οποίο διατήρησε μέχρι το 1967. Έδρα της νεοσύστατης ομάδος ήταν το γήπεδο επί της οδού Υμηττού, στην πλάτη του Α’ Νεκροταφείου, ενώ σύμφωνα με τις τότε μαρτυρίες, αρκετοί παίκτες τών ανεξάρτητων εκείνων ομάδων έπαιζαν παράλληλα σε δύο και τρείς ομάδες! Εν τέλει, οι μισοί ενσωματώθηκαν στον Αρίωνα καί οι υπόλοιποι ενσωματώθηκαν στην Αθλητική Ένωση Παγκρατίου.
Το 1945, ο Αρίωνας συμμετείχε στο πρώτο κύπελλο πού διοργάνωσε η Ένωση μαζί με τον Δήμο Αθηναίων, το οποίο ονομάστηκε κύπελλο Ελευθερίας και αποτέλεσε την μοναδική επίσημη διοργάνωση που διεξήχθη τη σεζόν 1944-45, μετά δηλαδή από την απελευθέρωση της Αθήνας από τα κατοχικά στρατεύματα. Η δεκατία του 1950 χαρακτηρίζεται από μία ταλαντούχα φουρνιά παικτών, η οποία βλέπει σημαίνοντες παίκτες της περιόδου εκείνης, τον Λάκη Σοφιανό, τον Ανδρέα Απέργη και τον Γιώργο Ανδρέου, να μεταγράφονται στην ομάδα του Παναθηναϊκού! Μία σύντομη συγχώνευση με τόν Απόλλωνα Αθηνών, τέλος δεκαετίας τού ’50, δυστυχώς εξαφανίζει ένα μεγάλο μέρος του παλαιότερου αρχείου τής ομάδας.
To 1965 είναι χρονιά ορόσημο για τον σύλλογο, καθώς ιδρύεται από τον Γιώργο Ακτύπη το τμήμα Καλαθοσφαίρισης. Το νεοσύστατο τμήμα συμμετέχει στα πρωταθλήματα της ΕΟΚ και γίνεται μέλος της μετέπειτα ιδρυθείσας Ένωσης Σωματείων Καλαθοσφαίρισης Αττικής (ΕΣΚΑ).
Σημαντικότερη στιγμή της ιστορίας του μπασκετικού τμήματος από άποψης αγωνιστικών επιτυχιών, είναι η αγωνιστικές επιτυχίες του στα μέσα και τέλη της δεκαετίας του 1990. Η ομάδα του Αρίωνα κατακτάει τη σεζόν 1995-96 την πρώτη θέση στον 2ο όμιλο Νότου της Γ’ Εθνικής, παίρνοντας την άνοδο για την Β’ Εθνική κατηγορία. Εκεί, την περίοδο 1996-97 θα βγει τρίτος, χάνοντας οριακά την άνοδο στην Α2 από τον γείτονα Αμύντα, τον οποίο τελικά έμελλε να συναντήσει στη δεύτερη τη τάξει εθνική κατηγορία ένα χρόνο αργότερα, καθώς τη σεζόν 1997-98, στέφεται πρωταθλήτρια ομάδα της Β’ Εθνικής και κερδίζει το εισιτήριο για τα “σαλόνια” της Α2! Η παρουσία του Αρίωνα στην Α2 θα διαρκέσει 3 σεζόν, από το 1998 μέχρι και το καλοκαίρι του 2001, ενώ ως το 2006 θα συνεχίσει να αγωνίζεται στις χαμηλότερες Εθνικές κατηγορίες.