我们可以通过设未知数来解决这个问题。假设小明答对了x道题，那么他做错或者没有回答的题目数量就是20-x。
根据题目给出的计分规则，我们可以建立以下方程：
\[5x - 2(20-x) = 76\]
接下来我们逐步解这个方程：
首先展开括号：
\[5x - 40 + 2x = 76\]
合并同类项：
\[7x - 40 = 76\]
将常数项移到等式右边：
\[7x = 116\]
最后求解x：
\[x = \frac{116}{7}\]
计算结果为：
\[x = 16.57\]
由于答对的题目数量必须是整数，因此我们需要重新审视问题设定或是检查是否有其他条件遗漏。但按照常规逻辑推导，小明可能在实际答题过程中存在部分题目既非完全正确也非完全错误的情况，这需要进一步的信息确认。
