Ο Γιάννης Μαρκογιαννάκης (Μαρκόγιαννης) γεννήθηκε στο Σπήλι Αγίου Βασιλείου Ρεθύμνης το 1926. 

Με το λαούτο ξεκίνησε να ασχολείται το 1934 σε ηλικία 8 ετών. Στο καφενείο του πατέρα του Γιάννη Μαρκογιαννάκη στο Σπήλι γινόντουσαν όλα τα μεγάλα γλέντια εκείνης της εποχής. Εκεί ο Γιώργης Μαρκογιαννάκης (πατέρας) έπαιζε λύρα για τους θαμώνες του καφενείου μόνος του. 

Ο Γιάννης Μαρκογιαννάκης από την ηλικία των 5 ετών βρίσκονταν στο καφενείο και τον άκουγε. Ένα βράδυ γύρω στο 1934, όταν ο Μαρκογιάννης ήταν μόλις 8 ετών, ο πατέρας του, τoυ έδωσε το λαούτο και του έδειξε κάποιες κινήσεις που έπρεπε να κάνει για να τον συνοδέψει. Ενώ δεν μπορούσε καλά - καλά να κρατήσει το όργανο μιας και ήταν μικρός σε ηλικία και το λαούτο είναι μεγάλο σε μέγεθος όργανο, ο μικρός τότε Γιάννης Μαρκογιαννάκης ήταν μέσα στον χρόνο της μελωδίας από την πρώτη κιόλας στιγμή. Αυτό ήταν το βάπτισμα του πυρός για τον δεξιοτέχνη λαουτιέρη που μόλις "γεννήθηκε". 

Ο Θανάσης Σκορδαλός που ήταν πρώτος ξάδερφος του πατέρα του Μαρκογιάννη ξεκίνησε να συνεργάζεται μαζί του από το 1936, μια συνεργασία που κράτησε για 30 περίπου χρόνια, μέχρι το τέλος της ζωής του μεγάλου αυτού λυράρη, ηχογραφώντας μεγάλες επιτυχίες. Το 1946 έγραψαν τον πρώτο τους δίσκο με τίτλο «Μόνο εκείνος π’ αγαπά», που περιείχε το ομώνυμο συρτό, το οποίο είναι ένα από τα πιο κλασσικά συρτά της Κρητικής μουσικής. 

Εμφανίστηκε στην Ευρώπη, Αμερική, Καναδά, Αυστραλία και Αφρική, παίζοντας για Κρητικούς μετανάστες. 

Στο Ελσίνκι το 1962 πήγαν με τον Σύλλογο Βρακοφόρων Κρήτης, συμμετέχοντας στο Παγκόσμιο Φεστιβάλ Ειρήνης και Φιλίας, στο οποίο βρίσκονταν συγκροτήματα από όλο τον κόσμο. Στο φεστιβάλ αυτό απέσπασαν το πρώτο βραβείο χορού. 

Έχει σημαδέψει με την απαράμιλλη τεχνική και το προσωπικό του ύφος την μουσική, και ως συνοδοιπόρος του Θανάση Σκορδαλού, σημάδεψαν την εποχή τους και την παραδοσιακή τέχνη του νησιού.