我不知道原因，但在 xelatex 之下我會優先採用 unicode-math 來寫數學式。
既然你原本用了 txfonts，那我建議採用 XITS 和 XITS Math，都屬於 Times 系列。
\documentclass[12pt]{article}
\usepackage{amsmath,amssymb,amsthm,mathrsfs}
\usepackage{fontspec}
\usepackage{xeCJK}
\usepackage{unicode-math}
\setmainfont{XITS}
\setCJKmainfont{標楷體}
\setmathfont{XITS Math}
\setmathfont[range={\mathcal,\mathbfcal},StylisticSet=1]{XITS Math}
% xelatex 儘量不要再用下面二列
%\usepackage{txfonts}
%\usepackage[T1]{fontenc}
\usepackage{pstricks,pstricks-add}
\newcommand{\textc}[1]{{\begin{pspicture*}(-0.25,-0.2)(0.25,0.3)\rput[c](0,0)
{\large \textcircled{\footnotesize #1}} \end{pspicture*} }}
\newcounter{onumc}
\setcounter{onumc}{1}
\newcommand{\addto}{\addtocounter{onumc}{1}}
\newcommand{\fc}{\textc{\arabic{onumc}} \addto }
\begin{document}
\setcounter{onumc}{11}
$\underline{\ \fc\fc \sqrt{\fc} \ }$。
$\fc\fc\fc$
\end{document}
※ 引述《s60984 (Angus)》之銘言：
: 想請問諸位以下問題
: \documentclass[12pt]{article}
: \usepackage{amsmath,amssymb,amsthm,mathrsfs}
: \usepackage{fontspec}
: \usepackage{xeCJK}
: \setCJKmainfont{標楷體}
: \usepackage{txfonts}
: \usepackage[T1]{fontenc}
: \usepackage{pstricks,pstricks-add}
: %參考其他神人的設定
: \newcommand{\textc}[1]{{\begin{pspicture*}(-0.25,-0.2)(0.25,0.3)\rput[c](0,0)
: {\large \textcircled{\footnotesize #1}} \end{pspicture*} }}
: \newcounter{onumc}
: \setcounter{onumc}{1}
: \newcommand{\addto}{\addtocounter{onumc}{1}}
: \newcommand{\fc}{\textc{\arabic{onumc}} \addto }
: \begin{document}
: \setcounter{onumc}{11}
: $\underline{\ \fc\fc \sqrt{\fc} \ }$。
: $\fc\fc\fc$
: \end{document}
: 卻得到
: 11圈12圈根號14圈
: 17圈18圈19圈
: 然後把
: \usepackage{txfonts}
: \usepackage[T1]{fontenc}
: 註解掉後，就是正常的計數了
: 想請問是否有解決之道。