前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >BS1046-基于hadoop+大数据分析实现校园图书推荐系统

BS1046-基于hadoop+大数据分析实现校园图书推荐系统

作者头像
计算机程序优异哥
发布2022-12-05 10:20:36
4370
发布2022-12-05 10:20:36
举报
文章被收录于专栏:毕设程序汇总

基于hadoop+大数据分析的的校园图书推荐系统统,系统采用多层MVC软件架构,采用Java springboot框架集成hadoop、hbase实现大批量图书情况下的可视化分析与计算。计算不同图书之间的相似程度,以及通过协同过滤及图书特征提取的方式,实现在用户与图书,用户与用户之间,发现关联性,从而实现校园图书的精准推荐功能等。

原文地址

一、程序设计

本次基于hadoop+大数据分析的的校园图书推荐系统,主要内容涉及:

主要功能模块:书籍聚类图谱,书籍专业统计,书籍文献管理,相似书籍推荐,热门书籍排行,我的借阅,系统管理等等

主要包含技术:java,springboot,mybatis,hadoop,hbase,,网络爬虫,mysql,html,javascript,echarts,vue.js

主要包含算法:数据分析计算等

二、效果实现

书籍聚类

在这里插入图片描述
在这里插入图片描述

推荐计算

在这里插入图片描述
在这里插入图片描述

数据分布

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其他效果省略

三、核心代码

1.书籍推荐

本系统书籍推荐计算模块,主要采用mysql与hadoop,hbase结合处理的方式进行处理。首先仅有网络爬虫采用到的书籍内容,进行正则及程序代码处理后,写入到mysql中,然后通过Ik分词器对书籍内容进行分词提取,采用SVM对书籍内容提取特征,并将提取到的关键词及特征写入mysql数据中。

然后利用关键词及书籍特征与书籍之间建立反向映射关系,将书籍数据及映射关系,写入hadoop,hbase中,后续系统内部的书籍内容推荐计算通过hbase进行二级映射查询实现。

代码语言:java
复制
public static double getSimilarity(String doc1, String doc2) {
        if (doc1 != null && doc1.trim().length() > 0 && doc2 != null && doc2.trim().length() > 0) {
            Map<Integer, int[]> AlgorithmMap = new HashMap<Integer, int[]>();
            //将两个字符串中的中文字符以及出现的总数封装到,AlgorithmMap中
            for (int i = 0; i < doc1.length(); i++) {
                char d1 = doc1.charAt(i);
                if (isHanZi(d1)) {//标点和数字不处理
                    int charIndex = getGB2312Id(d1);//保存字符对应的GB2312编码
                    if (charIndex != -1) {
                        int[] fq = AlgorithmMap.get(charIndex);
                        if (fq != null && fq.length == 2) {
                            fq[0]++;//已有该字符,加1
                        } else {
                            fq = new int[2];
                            fq[0] = 1;
                            fq[1] = 0;
                            AlgorithmMap.put(charIndex, fq);//新增字符入map
                        }
                    }
                }
            }
            for (int i = 0; i < doc2.length(); i++) {
                char d2 = doc2.charAt(i);
                if (isHanZi(d2)) {
                    int charIndex = getGB2312Id(d2);
                    if (charIndex != -1) {
                        int[] fq = AlgorithmMap.get(charIndex);
                        if (fq != null && fq.length == 2) {
                            fq[1]++;
                        } else {
                            fq = new int[2];
                            fq[0] = 0;
                            fq[1] = 1;
                            AlgorithmMap.put(charIndex, fq);
                        }
                    }
                }
            }
            Iterator<Integer> iterator = AlgorithmMap.keySet().iterator();
            double sqdoc1 = 0;
            double sqdoc2 = 0;
            double denominator = 0;
            while (iterator.hasNext()) {
                int[] c = AlgorithmMap.get(iterator.next());
                denominator += c[0] * c[1];
                sqdoc1 += c[0] * c[0];
                sqdoc2 += c[1] * c[1];
            }
            double v = denominator / Math.sqrt(sqdoc1 * sqdoc2);//余弦计算
            v = Double.isNaN(v) ? 0d : v;
            return v;
        } else {
            throw new NullPointerException(" the Document is null or have not cahrs!!");
        }
    }
    public static boolean isHanZi(char ch) {
        // 判断是否汉字
        return (ch >= 0x4E00 && ch <= 0x9FA5);
        /*if (ch >= 0x4E00 && ch <= 0x9FA5) {//汉字
            return true;
        }else{
            String str = "" + ch;
            boolean isNum = str.matches("[0-9]+");
            return isNum;
        }*/
        /*if(Character.isLetterOrDigit(ch)){
            String str = "" + ch;
            if (str.matches("[0-9a-zA-Z\\u4e00-\\u9fa5]+")){//非乱码
                return true;
            }else return false;
        }else return false;*/
    }
    /**
     * 根据输入的Unicode字符,获取它的GB2312编码或者ascii编码,
     *
     * @param ch 输入的GB2312中文字符或者ASCII字符(128个)
     * @return ch在GB2312中的位置,-1表示该字符不认识
     */
    public static short getGB2312Id(char ch) {
        try {
            byte[] buffer = Character.toString(ch).getBytes("GB2312");
            if (buffer.length != 2) {
                // 正常情况下buffer应该是两个字节,否则说明ch不属于GB2312编码,故返回'?',此时说明不认识该字符
                return -1;
            }
            int b0 = (int) (buffer[0] & 0x0FF) - 161; // 编码从A1开始,因此减去0xA1=161
            int b1 = (int) (buffer[1] & 0x0FF) - 161;
            return (short) (b0 * 94 + b1);// 第一个字符和最后一个字符没有汉字,因此每个区只收16*6-2=94个汉字
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
        return -1;
    }

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文系转载前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
作者已关闭评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、程序设计
  • 二、效果实现
    • 书籍聚类
      • 推荐计算
        • 数据分布
        • 三、核心代码
        相关产品与服务
        TDSQL MySQL 版
        TDSQL MySQL 版(TDSQL for MySQL)是腾讯打造的一款分布式数据库产品,具备强一致高可用、全球部署架构、分布式水平扩展、高性能、企业级安全等特性,同时提供智能 DBA、自动化运营、监控告警等配套设施,为客户提供完整的分布式数据库解决方案。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档