日本的高等教育机构根据设立主体的不同，可以分为国立、公立、私立三种。
大学里的“大学院”是实施研究生教育的机构，有硕士（学制2年）、博士（学制3年）学位授予权。有些学校硕士课程和博士课程分别设立，有些学校是合在一起设立，分博士课程前期2年，博士课程后期3年，前期课程2年也视为硕士课程。
“学部”是实施本科教育的机构，有学士学位授予权。本科一般4年，医科6年（含牙医、兽医，毕业后可直接报考4年制博士研究生课程）。
短期大学和高等专门学校只能实施大学专科教育，学制2-3年，颁发专科毕业证书，不能授予学位。
在学部和大学院里，除攻读学位的正规学生外，还有“旁听生”、“履修生”和“进修生”。这三类学生都不能获得毕业证书或学位证书，只有“履修生”修读的学分被承认。学部不招收“研究生”。
日本的高等教育机构大多用日语授课，少数课程用英语授课。进入日本的高等教育机构学习，要求日语国际能力考试至少达到二级。