أنشئ جهاز المراجعة المالية منذ سنوات طويلة مضت تحت اسـم ( ديوان المحاسبة ) وفقا لأحكام القانون رقم (21) لسنة 1955م والمعدل بالقانون رقم (22) لسنة 1962 م والذي عدل بالقانون الصادر في سنة 1966 م .
إلا أن البداية الحقيقية للعمل الرقابي في ليبيا كانت بصدور القانون رقم ( 79 ) لسنة 1975 م بشأن ديوان المحاسبة حيث استمر العمل وفقا لهذا التنظيم إلى أن تم دمج الأجهزة الرقابية بمختلف تخصـصاتها ( المالية – الإدارية – الفنية ) ، في جهاز رقابي واحد أطلق عليه اسم ( الجهاز الشعبي للمتابعة ) وذلك بموجب قرار مؤتمر الشعب العام رقم ( 7 ) لسنة 1988 م .
وفي سنة 1996 م صدر القانون رقم ( 11 ) لسنة 1996 م بشأن إعادة تنظيم الرقابة الشعبية واستمر العمل بهذا القانون تحت مسمى(جهاز التفتيش والرقابة الشعبية) حتى 13 / 6 / 2003 إذ أصدر مؤتمر الشعب العام القانون رقم ( 13 ) لسنة 2003 م ، والذي بموجبه تم إعادة فصل اختصاص الرقابة المالية والفنية عن الرقابة الإدارية وتم تسمية ( اللجنة الشعبية العامة لجهاز المراجعة المالية ) كجهاز يختص بممارسة كافة أوجه الرقابة المالية على جميع الجهات الخاضعة له وفقا لأحكام القانون المشار إليه .
ويعد جهاز المراجعة المالية هيئة مستقلة ملحقة بمؤتمر الشعب العام وهو يعتبر أداة المؤتمرات الشعبية الأساسية في تحقيق رقابة مالية وفنية فعالة على كافة الجهات الخاضعة لرقابته .