מנדלקרן בכתיבה ספרותית, ופרסם בכתבי העת העבריים באירופה שירים, מאמרים ומחקרים. הוא תואר כאיש אשכולות רב־כישרונות ורב־ידע בתחומים רבים - בשירה ובביקורת, בתרגום ובחקר המקרא והלשון העברית. את חיבורו הראשון "תשועת מלך רב", שיר תהילה לצאר הרוסי, כתב 1866־ב לכבודו של אלכסנדר השני, כשהיהודים עוד תלו בו תקוות. שני ספרי שירה שלו, "בת שבע או שיגיון לדוד" ו"חיצים שנונים", ראו אור שנה אחר שנה, 1866־ב וב־7681 בהתאמה. 1873־ב פרסם את "דברי ימי רוסיא", ספר רחב יריעה בן שלושה כרכים, יחיד במינו בהיסטוריוגרפיה היהודית, שעוסק לא רק בהיסטוריה הפוליטית של רוסיה אלא גם בהיסטוריה הכלכלית, הדתית והתרבותית שלה. החיבור העברי זיכה אותו בכמה שניות של תהילה, כשקיבל בעדו מתנה מהצאר - טבעת שוהם יקרה. כל זה לא עזר לו להציל עצמו מעונש הגירוש לאחר פרשת הזיוף העיתונאי.

בשנים שעמל על הקונקורדנציה בלייפציג, האפילה המשימה הזו על שאר כישרונותיו ודחקה את יכולתו להעמיד יצירות מקוריות. ובכל זאת, גם אז הצליח מנדלקרן ליצור – למשל את "שירי שפת עבר", שיריו בשנים ,1901-1882 שכללו גם תרגומי שירה, וכן ספר דקדוק של השפה הרוסית, מילון רוסי־גרמני, ויצירות ותרגומים נוספים. בין השאר תרגם לעברית את "מנגינות עבריות" של לורד ביירון.

1884־ב הוציא מנדלקרן בגרמניה חוברת לדוגמה של הקונקורדנציה החדשה, בעוד העבודה נמשכת לקראת הפרסום; הדוגמה התקבלה באהדה וברוב שבחים בקרב אנשי המדע. גם לאחר השלמת הכתיבה, ההדפסה הסופית התעכבה כי מנדלקרן כתב על הכרטיסיות בכתב מחובר, שהסדרים התקשו לקרוא. חמש שנים עברו עליו בהעתקה לכתב מרובע, ולבסוף בשנת תרנ"ו )1896( הופיעה הקונקורדנציה במלוא הדרה. מאז היא הופצה בעשרות מהדורות באירופה, בארצות הברית ובארץ ישראל.

לכול היה ברור שדבר כזה טרם נראה בעולם היהודי. מנדלקרן זכה לשבחים רבים על עבודתו הקשה, ועד היום הקונקורדנציה שלו משמשת חוקרי לשון ומקרא. היא זכתה להכרה גם בעולם המדע היהודי והנוצרי, דחקה כמעט כליל את רגליהן של הקונקורדנציות האחרות, והוצגה כקונקורדנציה המקיפה והשלמה ביותר בנמצא, בייחוד לאחר התיקונים