הדגל המזוהה ביותר של הג'ולי רוג'ר הוא הגולגולת והעצמות המוצלבות, הכוללות גולגולת על רקע שחור עם שתי עצמות ארוכות מוצלבות בצורת X למטה. כמה מדגלי Jolly Roger כללו גם שעון חול, המסמל את המועד המתקרב לכניעת הקורבן; אחרים תיארו גולגולת חודרת את הלב בחנית.
לצבעי הדגל היו משמעויות ספציפיות. לפי אדמירל בריטי מהמאה ה-18, דגל פיראט שחור פירושו שרבע מהשלל יישאר מאחור, בעוד שדגל פיראט אדום פירושו ששום דבר לא יישאר מאחור, מה שמצביע על כך שהעלייה למטוס תהיה בכוח וללא רחמים.
תפקידו העיקרי של הג'ולי רוג'ר היה לזהות את הפיראט ולהפחיד את הקורבן שייכנע ללא קרב.
