优化,有两点多余，i 可以从 2 开始加 2，i-j 必定是偶的:

#include <stdio.h>

int main (void)
{
    int  i, j, m, n, x;
    for (i = 2; i <= 168 / 2; i=i+2)
    {
        if (168 % i == 0)
        {
            j = 168 / i;
            if ( i > j && (i + j) % 2 == 0)
            {
                m = (i + j) / 2;
                n = (i - j) / 2;
                x = n * n - 100;
                printf ("%d + 100 = %d * %d\n", x, n, n);
                printf ("%d + 268 = %d * %d\n", x, m, m);
            }
        }
    }
    return 0;
}

/*
  思路：
    1.根据已知条件判断该整数 x 的上下限
        由已知条件得
            sqrt(x + 100) = y    由 y>=0 可知 x 的下限即为 -100
            sqrt(x + 268) = z
        由上面两式可得
            z^2 - y^2 = 168
        按照两个相邻整数的平方差间隔越来越大的特性，找出极限情况下的数值 y 与 z
        将 z^2 - 268 或 y^2 - 100 作为 x 的上限
    2.然后在范围内暴力搜索，找出所有符合描述的值
        根据 x 的值计算 y, z
        判断 y, z 均为整数，即输出 x
*/

# include <stdio.h>
# include <math.h>

int main()
{
    int x, c1, c2, L, H;
    c1 = 100;
    c2 = 168;

    L = -c1;

    int i = 0;    
    for (i = 1; i*i - (i - 1)*(i - 1) <= c2; ++i)
        ;

    H = i*i - (c1 + c2);

    int j;
    double y, z;
    for (j = L; j <= H; ++j)
    {
        y = sqrt(j + c1);
        z = sqrt(j + c1 + c2);
        if (y == (int)y && z == (int)z)
            printf("x的值为 %d\n", j);
    }

    return 0;
}

输出结果为：

x的值为 -99
x的值为 21
x的值为 261
x的值为 1581

参考方法：

#include <stdio.h>

/*
    一个整数，它加上100后是一个完全平方数，再加上168又是一个完全平方数，请问该数是多少？
    x + 100 = m^2;
    x + 268 = n^2;
    x∈Z,m,n∈Z+;
    (m+n)(m-n)=168=2*2*2*3*7 <因式分解>
    =2*84=4*42=6*28=12*14
    数论问题：奇偶分析
    计算机优化整数搜索空间：枚举法
    i*j=168,m=(i+j)/2,n=(i-j)/2,i>j
    for i∈[2,84]
    for i∈[2,12],13^2=169>168
*/

int main()
{
    int i=0,j=0,n=0,x=0;
    for(i=2; i<=12; i++)
    {
        if(168%i == 0)
        {
            j = 168/i;
            if(i%2==0 && j%2==0 && i<j)
            {
                n = (i+j)/2;
                x = n*n-268;
                printf("i=%d,x=%d\n",i,x);
            }
        }
    }
    return 0;
}

参考方法:

#include <stdio.h>
#include <math.h>

int main()
{
    int a,x;    // x 为该整数，x+100 可被 a 开平方；
    double b;   // x+268 可被 b 开平方；
    for(a=0;b*b-(b-1)*(b-1)<168;a++)  // a*a 最小值为 0，故 a 取值从 0 开始，需满足 b*b-(b-1)*(b-1)<168，否则不存 在a*a +168=b*b
    {
        b=sqrt(a*a+168);
        if    ( b==(int)b ) {
            x=a*a-100;  
            printf("x=%d a=%d b=%f\n",x,a,b);  
        }
    }
}