קביליו החל את דרכו כשוער מחליף בקבוצת הכדורגל מכבי יפו כשזו הייתה בליגה הלאומית. הופעתו הראשונה הייתה בעונה 1972 כשוער מחליף, ומאז במשך 4 עונות הופיע 47 פעמים. בעונה 1976/77 שובץ כשוער קבוע ומאז ובמשך 8 עונות שיחק ב-176 משחקים. כולם בליגה הלאומית – אז הליגה הבכירה. היו אלו העונות המפוארות של הקבוצה, עם משה אוננה בהתקפה ומוצי לאון בהגנה.
קביליו השוער שהחל את הקריירה שלו בגיל מאוחר יחסית (26), נחשב ספורטאי למופת ומנהיג הקבוצה. בין היתר זומן לנבחרת ישראל ושימש כשוער לצידם של השוערים אריה חביב ויוסי מזרחי.
ב-1983 פרץ במכבי יפו ריב בין שחקני הקבוצה לבין ההנהלה, על רקע קשיים כספיים ואיחור בתשלום משכורות. שחקני הקבוצה לא עלו למגרש ובמקומם העלתה ההנהלה את שחקני הנוער. המחלוקת הסתיימה בפשרה אך המנהיג קביליו, נאלץ לעזוב בעקבות מרד השחקנים ועל רקע מתיחות קשה בינו ובין ההנהלה שחששה ממנהיגותו.
עזיבתו של קביליו היכתה בהלם את האוהדים ואת שחקני הקבוצה, וגם אותו עצמו. כמי שגדל ביפו ועשה בה את כל הקריירה שלו, לקח קביליו את העזיבה באופן קשה. את צערו ביטא בשיר מפורסם ביותר "לירושלים הלכתי", שהיה להיט גדול. השיר על מילותיו ולחנו המלנכוליים הוא שיר קינה על העיר שנאלץ לעזוב, עם האנשים, הטעמים והריחות שאהב.
קביליו עבר להפועל ירושלים, והיה חלק מהצוות שהעלה את הקבוצה לליגה הלאומית, אך לא יכול היה להשלים עם המעבר והוסיף לחלום על שובו אל הקבוצה שהייתה ביתו. אז לקה בסרטן, והניסיונות להשיבו כבר לא הועילו. בחודש מרץ 1986 נפטר.
הרצל קביליו ביצע את השיר "עוד שבת של כדורגל", שנכתב והולחן על ידי עמי אסא, אשר שימש במשך שנים רבות כשיר אוהדי הקבוצה שלו ושל אוהדי כדורגל אחרים.

בסוף שנות ה-90 נקלעה מכבי יפו לקשיים כלכלים, וביולי 1999 הוחלט להוריד אותה שלוש ליגות בעקבות עבירות תקנון הרשות לבקרת התקציבים. שנה מאוחר יותר (2000) פורקה הקבוצה בגלל אי קיום פסקי בוררות, ושיתוף שחקן לא חוקי במשחקה בליגה הלאומית (השנייה) לאחר מכן הוקמה הקבוצה שנית תחת השם א.ס. רמת אליהו/חצרות יפו (או: ארגון ספורט יפו). הקבוצה שיחקה בליגה א' דרום מזה מספר שנים, אך בעונת 2006/07 ירדה לליגה ב'.
לאחרונה הוקמה מחדש הקבוצה על ידי אוהדיה תחת השם "מכבי קביליו יפו" על שמו של הרצל קביליו, במתכונת הדומה לזו הפועלת בהפועל קטמון והפועל אוסישקין מתרומות אוהדים בלבד ותפתח את עונתה הראשונה במחוז ת"א של ליגה ג' בעונת 2008-09. (מתוך ויקיפדיה).

"לירושלים הלכתי" - שירו המפורסם ביותר של הרצל קביליו